Шумоподавление — это процесс удаления шума из сигнала . Существуют методы шумоподавления для аудио и изображений. Алгоритмы шумоподавления могут в некоторой степени искажать сигнал. Подавление шума — это способность схемы изолировать нежелательный компонент сигнала от желаемого компонента сигнала, как в случае с коэффициентом подавления синфазного сигнала .
Все устройства обработки сигналов , как аналоговые , так и цифровые , имеют черты, которые делают их восприимчивыми к шуму. Шум может быть случайным с равномерным распределением частот ( белый шум ) или частотно-зависимым шумом, вносимым механизмом устройства или алгоритмами обработки сигналов .
В электронных системах основным типом шума является шипение , создаваемое случайным движением электронов из-за теплового возбуждения. Эти возбужденные электроны быстро добавляются и вычитаются из выходного сигнала и, таким образом, создают обнаруживаемый шум .
В случае фотопленки и магнитной ленты шум (как видимый, так и слышимый) возникает из-за зернистой структуры носителя. В фотопленке размер зерен в пленке определяет чувствительность пленки, более чувствительная пленка имеет зерна большего размера. В магнитной ленте, чем крупнее зерна магнитных частиц (обычно оксида железа или магнетита ), тем более подвержен носитель шуму. Чтобы компенсировать это, можно использовать большие площади пленки или магнитной ленты, чтобы снизить шум до приемлемого уровня.
Алгоритмы шумоподавления имеют тенденцию изменять сигналы в большей или меньшей степени. Локальный алгоритм ортогонализации сигнала и шума может быть использован для избежания изменений сигналов. [1]
Усиление сигналов в сейсмических данных особенно важно для сейсмической визуализации , [2] [3] инверсии, [4] [5] и интерпретации, [6] тем самым значительно повышая вероятность успеха в разведке нефти и газа. [7] [8] [9] Полезный сигнал, который размазывается в окружающем случайном шуме, часто игнорируется и, таким образом, может вызывать ложную прерывистость сейсмических событий и артефакты в окончательном мигрированном изображении. Усиление полезного сигнала при сохранении краевых свойств сейсмических профилей путем ослабления случайного шума может помочь уменьшить трудности интерпретации и риски введения в заблуждение при обнаружении нефти и газа.
Шипение ленты является проблемой, ограничивающей производительность аналоговой записи на ленту . Это связано с размером частиц и текстурой, используемой в магнитной эмульсии, которая распыляется на носитель записи, а также с относительной скоростью ленты через головки ленты .
Существует четыре типа шумоподавления: односторонняя предварительная запись, одностороннее снижение шипения, одностороннее снижение поверхностного шума и кодековые или двухстороннее системы. Односторонняя предварительная запись (например, Dolby HX Pro ) воздействует на носитель записи во время записи. Односторонняя система снижения шипения (например, DNL [10] или DNR) снижает шум по мере его возникновения, в том числе до и после процесса записи, а также для приложений прямой трансляции. Одностороннее снижение поверхностного шума (например, CEDAR и более ранние SAE 5000A, Burwen TNE 7000 и Packburn 101/323/323A/323AA и 325 [11] ) применяется к воспроизведению граммофонных записей для устранения царапин, щелчков и поверхностных нелинейностей. Однотактные расширители динамического диапазона , такие как Phase Linear Autocorrelator Noise Reduction и Dynamic Range Recovery System (модели 1000 и 4000), могут уменьшать различные шумы из старых записей. Двухтактные системы (такие как система шумоподавления Dolby или dbx ) имеют процесс предварительного выделения, применяемый во время записи, а затем процесс снятия выделения, применяемый во время воспроизведения.
Современные цифровые звукозаписи больше не нуждаются в беспокойстве о шипении ленты, поэтому аналоговые системы шумоподавления не нужны. Однако интересный поворот заключается в том, что системы дизеринга фактически добавляют шум к сигналу, чтобы улучшить его качество.
Системы шумоподавления с двухсторонним компандером используют процесс предварительной коррекции, применяемый во время записи, а затем процесс коррекции, применяемый во время воспроизведения. Системы включают профессиональные системы Dolby A [10] и Dolby SR от Dolby Laboratories , dbx Professional и dbx Type I от dbx , Donald Aldous' EMT NoiseBX, [12] Burwen Noise Eliminator , [13] [14] [15] Telefunken 's telcom c4 [10] и MXR Innovations' MXR [16], а также потребительские системы Dolby NR , Dolby B , [10] Dolby C и Dolby S , dbx Type II , [10] Telefunken's High Com [10] и Nakamichi 's High-Com II , Toshiba 's (Aurex AD-4) adres , [10] [17] JVC 's ANRS [10] [17] и Super ANRS , [10] [17] Super D от Fisher / Sanyo , [18] [10] [17] SNRS , [17] и венгерско-восточногерманская система Ex-Ko . [19] [17]
В некоторых системах компандеров сжатие применяется во время профессионального производства медиа, а слушателем применяется только расширение; например, такие системы, как dbx disc , High-Com II , CX 20 [17] и UC, используются для виниловых записей, а Dolby FM , High Com FM и FMX используются в радиовещании FM.
Первая широко используемая технология шумоподавления была разработана Рэем Долби в 1966 году. Предназначенная для профессионального использования, система Dolby Type A представляла собой систему кодирования/декодирования, в которой амплитуда частот в четырех полосах увеличивалась во время записи (кодирования), а затем пропорционально уменьшалась во время воспроизведения (декодирования). В частности, при записи тихих частей аудиосигнала частоты выше 1 кГц усиливались. Это приводило к увеличению отношения сигнал/шум на ленте до 10 дБ в зависимости от исходной громкости сигнала. При воспроизведении декодер обращал процесс, фактически снижая уровень шума до 10 дБ.
Система Dolby B (разработанная совместно с Генри Клоссом ) была однополосной системой, разработанной для потребительских товаров. Система Dolby B, хотя и не была столь эффективна, как Dolby A, имела то преимущество, что оставалась пригодной для прослушивания на системах воспроизведения без декодера.
Интегральная схема Telefunken High Com U401BR также могла использоваться для работы в качестве компандера, в основном совместимого с Dolby B. [20] В различных кассетных деках High Com последнего поколения функция D NR Expander, эмулирующая Dolby-B, работала не только при воспроизведении, но и, как недокументированная функция, также во время записи.
dbx была конкурирующей аналоговой системой шумоподавления, разработанной Дэвидом Э. Блэкмером , основателем Dbx, Inc. [21] Она использовала алгоритм кодирования/декодирования со среднеквадратичным значением (RMS) с усилением подверженных шуму высоких частот, а весь сигнал подавался через компандер 2:1. dbx работала во всей слышимой полосе пропускания и, в отличие от Dolby B, была непригодна для использования без декодера. Однако она могла достигать шумоподавления до 30 дБ.
Поскольку в аналоговых видеозаписях используется частотная модуляция для яркостной составляющей (композитный видеосигнал в системах прямой цветности), что позволяет поддерживать уровень насыщенности ленты, шумоподавление в аудиостиле не требуется.
Динамический ограничитель шума ( DNL ) — это система шумоподавления, изначально представленная компанией Philips в 1971 году для использования на кассетных магнитофонах . [10] Его схема также основана на одной микросхеме . [22] [23]
В дальнейшем она была доработана компанией National Semiconductor в динамическое шумоподавление ( DNR ) для снижения уровня шума при междугородной телефонной связи . [24] Впервые проданная в 1981 году, DNR часто путают с гораздо более распространенной системой шумоподавления Dolby . [25]
В отличие от систем шумоподавления Dolby и dbx Type I и Type II , DNL и DNR являются системами обработки сигнала только для воспроизведения, которые не требуют предварительного кодирования исходного материала. Они могут использоваться для удаления фонового шума из любого аудиосигнала, включая записи на магнитной ленте и радиопередачи FM , снижая шум на целых 10 дБ. [26] Их также можно использовать в сочетании с другими системами шумоподавления, при условии, что они используются до применения DNR, чтобы предотвратить возникновение ошибки отслеживания другой системы шумоподавления DNR. [27]
Одно из первых широко распространенных применений DNR было в автомобильных стереосистемах GM Delco в автомобилях GM в США, представленных в 1984 году. [28] Он также использовался в заводских автомобильных стереосистемах в автомобилях Jeep в 1980-х годах, таких как Cherokee XJ . Сегодня DNR, DNL и подобные системы чаще всего встречаются в качестве систем шумоподавления в микрофонных системах. [29]
Второй класс алгоритмов работает в частотно-временной области, используя некоторые линейные или нелинейные фильтры , которые имеют локальные характеристики и часто называются частотно-временными фильтрами . [30] [ нужна страница ] Поэтому шум также может быть удален с помощью спектральных инструментов редактирования, которые работают в этой частотно-временной области, позволяя локальные изменения, не влияя на близлежащую энергию сигнала. Это можно сделать вручную, как в программе рисования картинок. Другой способ - определить динамический порог для фильтрации шума, который выводится из локального сигнала, снова по отношению к локальной частотно-временной области. Все, что ниже порога, будет отфильтровано, все, что выше порога, например, части голоса или желаемый шум , останется нетронутым. Область обычно определяется местоположением мгновенной частоты сигнала, [31], поскольку большая часть энергии сигнала, которая должна быть сохранена, сосредоточена вокруг нее.
Еще один подход — это автоматический ограничитель шума и подавитель помех, обычно встречающиеся в радиопередатчиках любительского радио , радиопередатчиках CB и т. д. Оба вышеупомянутых фильтра могут использоваться по отдельности или совместно друг с другом одновременно, в зависимости от самого трансивера.
Большинство цифровых звуковых рабочих станций (DAW) и программного обеспечения для редактирования звука имеют одну или несколько функций шумоподавления.
Изображения, снятые цифровыми камерами или обычными пленочными камерами, будут содержать шум из различных источников. Дальнейшее использование этих изображений часто потребует снижения шума либо в эстетических целях, либо в практических целях, таких как компьютерное зрение .
В шуме «соль и перец» (разреженные светлые и темные помехи), [32] также известном как импульсный шум, [33] пиксели на изображении сильно отличаются по цвету или интенсивности от окружающих пикселей; определяющей характеристикой является то, что значение шумного пикселя не имеет никакого отношения к цвету окружающих пикселей. При просмотре изображение содержит темные и белые точки, отсюда и термин «шум «соль и перец». Как правило, этот тип шума затрагивает только небольшое количество пикселей изображения. Типичными источниками являются пылинки внутри камеры и перегретые или неисправные элементы ПЗС .
В гауссовском шуме [ 34] каждый пиксель изображения будет изменен относительно своего исходного значения на (обычно) небольшую величину. Гистограмма, график величины искажения значения пикселя против частоты, с которой оно происходит, показывает нормальное распределение шума. Хотя возможны и другие распределения, гауссово (нормальное) распределение обычно является хорошей моделью из-за центральной предельной теоремы , которая гласит, что сумма различных шумов имеет тенденцию приближаться к гауссовскому распределению.
В любом случае шум в разных пикселях может быть как коррелированным, так и некоррелированным; во многих случаях значения шума в разных пикселях моделируются как независимые и одинаково распределенные , а значит, некоррелированные.
Существует множество алгоритмов шумоподавления при обработке изображений. [35] При выборе алгоритма шумоподавления необходимо учитывать несколько факторов:
На реальных фотографиях самая высокая пространственно-частотная детализация состоит в основном из вариаций яркости ( яркостная детализация ), а не из вариаций оттенка ( цветная детализация ). Большинство алгоритмов шумоподавления в фотографии разделяют детали изображения на цветность и яркость и применяют больше шумоподавления к первой или позволяют пользователю управлять шумоподавлением цветности и яркости по отдельности.
Одним из методов удаления шума является свертывание исходного изображения с маской, которая представляет собой фильтр нижних частот или операцию сглаживания. Например, гауссова маска содержит элементы, определяемые гауссовой функцией . Эта свертка приводит значение каждого пикселя в более тесную гармонию со значениями его соседей. В общем случае сглаживающий фильтр устанавливает для каждого пикселя среднее значение или средневзвешенное значение самого себя и своих ближайших соседей; гауссов фильтр — это всего лишь один из возможных наборов весов.
Сглаживающие фильтры имеют тенденцию размывать изображение, поскольку значения интенсивности пикселей, которые значительно выше или ниже, чем окружающие окрестности, размазываются по области. Из-за этого размывания линейные фильтры редко используются на практике для снижения шума; [ необходима цитата ] они, однако, часто используются в качестве основы для нелинейных фильтров снижения шума.
Другой метод удаления шума — это эволюция изображения под действием сглаживающего уравнения в частных производных , похожего на уравнение теплопроводности , которое называется анизотропной диффузией . При пространственно постоянном коэффициенте диффузии это эквивалентно уравнению теплопроводности или линейной гауссовой фильтрации , но при коэффициенте диффузии, предназначенном для обнаружения краев, шум можно удалить, не размывая края изображения.
Другой подход к удалению шума основан на нелокальном усреднении всех пикселей изображения. В частности, величина веса для пикселя основана на степени сходства между небольшим участком, центрированным на этом пикселе, и небольшим участком, центрированным на пикселе, который подвергается шумоподавлению.
Медианный фильтр является примером нелинейного фильтра и, если он правильно спроектирован, очень хорошо сохраняет детали изображения. Чтобы запустить медианный фильтр:
Медианный фильтр — это фильтр рангового выбора (RS), особенно строгий член семейства фильтров рангового выбора с учетом ранга (RCRS); [36] гораздо более мягкий член этого семейства, например, тот, который выбирает ближайшее из соседних значений, когда значение пикселя является внешним по отношению к его соседству, и оставляет его неизменным в противном случае, иногда предпочтительнее, особенно в фотографических приложениях.
Медианный и другие фильтры RCRS хорошо удаляют шум типа «соль и перец» с изображения, а также вызывают относительно небольшое размытие краев, поэтому их часто используют в приложениях компьютерного зрения.
Основная цель алгоритма шумоподавления изображения — достичь как снижения шума [37] , так и сохранения признаков [38] с помощью банков вейвлет-фильтров. [39] В этом контексте методы на основе вейвлетов представляют особый интерес. В области вейвлетов шум равномерно распределен по всем коэффициентам, в то время как большая часть информации об изображении сосредоточена в нескольких крупных. [40] Поэтому первые методы шумоподавления на основе вейвлетов были основаны на пороговой обработке коэффициентов поддиапазона деталей. [41] [ нужна страница ] Однако большинство методов пороговой обработки вейвлетов страдают от недостатка, заключающегося в том, что выбранный порог может не соответствовать конкретному распределению компонентов сигнала и шума в разных масштабах и ориентациях.
Для устранения этих недостатков были разработаны нелинейные оценщики на основе байесовской теории. В байесовской структуре было признано, что успешный алгоритм шумоподавления может достичь как снижения шума, так и сохранения признаков, если он использует точное статистическое описание компонентов сигнала и шума. [40]
Существуют также статистические методы шумоподавления изображений. Для гауссова шума можно смоделировать пиксели в изображении в оттенках серого как автоматически нормально распределенные, где истинное значение оттенков серого каждого пикселя распределено нормально со средним значением, равным среднему значению оттенков серого соседних пикселей и заданной дисперсией.
Пусть обозначают пиксели, соседние с пикселем y. Тогда условное распределение интенсивности серого (по шкале) в узле y равно:
для выбранного параметра и дисперсии . Один из методов шумоподавления, использующий автонормальную модель, использует данные изображения как байесовское априорное распределение и автонормальную плотность как функцию правдоподобия, при этом полученное апостериорное распределение предлагает среднее значение или моду в качестве шумоподавленного изображения. [42] [43]
Алгоритм сопоставления блоков может быть применен для группировки похожих фрагментов изображения перекрывающихся макроблоков одинакового размера. Затем стеки похожих макроблоков фильтруются вместе в области преобразования, и каждый фрагмент изображения в конечном итоге восстанавливается в исходном месте с использованием взвешенного среднего перекрывающихся пикселей. [44]
Метод сжатия полей — это метод машинного обучения на основе случайных полей , который обеспечивает производительность, сравнимую с блочным сопоставлением и 3D-фильтрацией, но при этом требует гораздо меньших вычислительных затрат, поэтому его можно выполнять непосредственно во встроенных системах . [45]
Для достижения снижения шума [46] и решения таких задач по восстановлению изображений были предложены различные подходы к глубокому обучению . Deep Image Prior — один из таких методов, использующий сверточную нейронную сеть и отличающийся тем, что не требует никаких данных предварительного обучения. [47]
Большинство универсальных программ для редактирования изображений и фотографий имеют одну или несколько функций шумоподавления (медиану, размытие , удаление пятен и т. д.).
ExKo Breitband-Kompander Aufnahme/Wiedergabe 9 дБ Tonband(Примечание. Страница 736 отсутствует в связанном PDF-файле.)
AI Image Denoiser гораздо более агрессивен, значительно улучшает детали, но также применяет сильное сглаживание. DxO PureRAW, который напрямую улучшает необработанное изображение с помощью глубокого обучения, обученного на «миллионах изображений, проанализированных DxO за 15 лет», был легко самым эффективным из многих протестированных шумоподавителей.