Шумоподавление — это процесс удаления шума из сигнала . Существуют методы шумоподавления для звука и изображений. Алгоритмы шумоподавления могут в некоторой степени искажать сигнал. Подавление шума — это способность схемы изолировать нежелательную составляющую сигнала от полезной составляющей сигнала, как и в случае коэффициента подавления синфазного сигнала .
Все устройства обработки сигналов , как аналоговые , так и цифровые , имеют характеристики, делающие их восприимчивыми к шуму. Шум может быть случайным с равномерным распределением частот ( белый шум ) или частотно-зависимым шумом, вносимым механизмом устройства или алгоритмами обработки сигналов .
В электронных системах основным типом шума является шипение , создаваемое случайным движением электронов из-за теплового возбуждения. Эти возбужденные электроны быстро добавляют и вычитают выходной сигнал и, таким образом, создают заметный шум .
В случае фотопленки и магнитной ленты шум (как видимый, так и слышимый) возникает из-за зернистой структуры носителя. В фотопленке размер зерен в пленке определяет чувствительность пленки, более чувствительная пленка имеет зерна большего размера. В магнитной ленте, чем крупнее зерна магнитных частиц (обычно оксида железа или магнетита ), тем более склонна среда к шуму. Чтобы компенсировать это, можно использовать пленку или магнитную ленту большего размера, чтобы снизить шум до приемлемого уровня.
Алгоритмы шумоподавления имеют тенденцию изменять сигналы в большей или меньшей степени. Алгоритм локальной ортогонализации сигнала и шума можно использовать, чтобы избежать изменений сигналов. [1]
Усиление сигналов в сейсмических данных особенно важно для сейсмических изображений , [2] [3] инверсии, [4] [5] и интерпретации [6] , тем самым значительно повышая вероятность успеха при разведке нефти и газа. [7] [8] [9] [10] Полезный сигнал, который размазан в окружающем случайном шуме, часто игнорируется и, таким образом, может вызвать ложную неоднородность сейсмических событий и артефакты в окончательном мигрированном изображении. Усиление полезного сигнала при сохранении краевых свойств сейсмических профилей за счет ослабления случайного шума может помочь уменьшить трудности интерпретации и риски введения в заблуждение при обнаружении нефти и газа.
Шипение ленты является проблемой, ограничивающей производительность аналоговой записи на магнитную ленту . Это связано с размером и текстурой частиц, используемых в магнитной эмульсии, которая распыляется на носитель записи, а также с относительной скоростью ленты на головках ленты .
Существует четыре типа шумоподавления: несимметричная предварительная запись, несимметричное подавление шипения, несимметричное поверхностное шумоподавление и кодек или двусторонние системы. Односторонние системы предварительной записи (такие как Dolby HX Pro ) воздействуют на носитель записи во время записи. Односторонние системы подавления шипения (такие как DNL [11] или DNR) работают для снижения шума по мере его возникновения, в том числе как до, так и после процесса записи, а также для приложений прямого вещания. Одностороннее поверхностное шумоподавление (например, CEDAR и более ранние SAE 5000A, Burwen TNE 7000 и Packburn 101/323/323A/323AA и 325 [12] ) применяется при воспроизведении граммофонных пластинок для устранения царапин, тресков и нелинейности поверхности. Несимметричные расширители динамического диапазона, такие как система шумоподавления и восстановления динамического диапазона фазового линейного автокоррелятора (модели 1000 и 4000), могут уменьшить различные шумы в старых записях. В двусторонних системах (таких как система шумоподавления Dolby или dbx ) во время записи применяется процесс предварительного предыскажения, а затем во время воспроизведения применяется процесс уменьшения предыскажения.
При современных цифровых звукозаписях больше не нужно беспокоиться о шипении ленты, поэтому нет необходимости в аналоговых системах шумоподавления. Однако интересный момент заключается в том, что системы дизеринга фактически добавляют шум к сигналу для улучшения его качества.
В системах шумоподавления с двусторонним компандером во время записи применяется процесс предварительного предыскажения, а затем при воспроизведении применяется процесс уменьшения предыскажения. Системы включают профессиональные системы Dolby A [11] и Dolby SR от Dolby Laboratories , dbx Professional и dbx Type I от dbx , EMT NoiseBX Дональда Олдоса , [13] Burwen Noise Eliminator , [14] [15] [16] ] Telefunken 's telcom c4 [11] и MXR Innovations' MXR [17] , а также потребительские системы Dolby NR , Dolby B , [11] Dolby C и Dolby S , dbx Type II , [11] Telefunken's High Com [11] и High-Com II от Nakamichi , адрес Toshiba (Aurex AD-4) , [11] [18] ANRS от JVC [11] [18] и Super ANRS , [11] [18] Fisher / Sanyo 's Super D , [19] [11] [18] SNRS , [18] и венгерско-восточно-германская система Ex-Ko . [20] [18]
В некоторых системах компандеров сжатие применяется во время профессионального медиапроизводства, а слушатель применяет только расширение; например, такие системы, как dbx disk , High-Com II , CX 20 [18] и UC , используемые для виниловых записей, а также Dolby FM , High Com FM и FMX , используемые в FM-радиовещании.
Первый широко используемый метод снижения шума звука был разработан Рэем Долби в 1966 году. Предназначенная для профессионального использования, Dolby Type A представляла собой систему кодирования/декодирования, в которой амплитуда частот в четырех полосах увеличивалась во время записи (кодирования), а затем пропорционально уменьшалась. во время воспроизведения (декодирования). В частности, при записи тихих частей аудиосигнала частоты выше 1 кГц будут усиливаться. Это привело к увеличению отношения сигнал/шум на ленте до 10 дБ в зависимости от начальной громкости сигнала. При его воспроизведении декодер обращал процесс вспять, фактически снижая уровень шума до 10 дБ.
Система Dolby B (разработанная совместно с Генри Клоссом ) представляла собой однополосную систему, предназначенную для потребительских товаров. Система Dolby B, хотя и не так эффективна, как Dolby A, имела то преимущество, что ее можно было слушать на системах воспроизведения без декодера.
Интегральная схема Telefunken High Com U401BR также может использоваться в качестве компандера, в основном совместимого с Dolby B. [21] В различных кассетных деках High Com последнего поколения функция Dolby-B, имитирующая функцию D NR Expander, работала не только для воспроизведения, но, как недокументированная функция, также во время записи.
dbx была конкурирующей аналоговой системой шумоподавления, разработанной Дэвидом Э. Блэкмером , основателем Dbx, Inc. [22] В ней использовался среднеквадратичный алгоритм кодирования/декодирования (RMS) с усилением подверженных шуму высоких частот и Весь сигнал подается через компандер 2:1. dbx работал во всей звуковой полосе пропускания и, в отличие от Dolby B, был непригоден для использования без декодера. Тем не менее, это может обеспечить снижение шума до 30 дБ.
Поскольку в аналоговых видеозаписях для яркостной части используется частотная модуляция (композитный видеосигнал в системах прямой цветности), которая удерживает ленту на уровне насыщения, шумоподавление в стиле аудио не требуется.
Динамический ограничитель шума ( DNL ) — это система шумоподавления, первоначально представленная компанией Philips в 1971 году для использования на кассетных деках . [11] Его схема также основана на одном чипе . [23] [24]
В дальнейшем он был развит в динамическое шумоподавление ( DNR ) компанией National Semiconductor для снижения уровня шума при междугородной телефонной связи . [25] Впервые проданный в 1981 году, DNR часто путают с гораздо более распространенной системой шумоподавления Dolby . [26]
В отличие от систем шумоподавления Dolby и dbx Type I и Type II , DNL и DNR представляют собой системы обработки сигналов только для воспроизведения, которые не требуют предварительного кодирования исходного материала. Их можно использовать для удаления фонового шума из любого аудиосигнала, включая записи на магнитной ленте и FM- радиопередачи, снижая шум на целых 10 дБ. [27] Их также можно использовать в сочетании с другими системами шумоподавления при условии, что они используются до применения DNR, чтобы предотвратить неправильное отслеживание DNR другой системой шумоподавления. [28]
Одним из первых широко распространенных применений DNR были стереосистемы GM Delco в автомобилях GM в США, представленные в 1984 году. [29] Он также использовался в заводских стереосистемах автомобилей Jeep в 1980-х годах, таких как Cherokee XJ . Сегодня DNR, DNL и подобные системы чаще всего встречаются в качестве системы шумоподавления в микрофонных системах. [30]
Второй класс алгоритмов работает в частотно-временной области, используя некоторые линейные или нелинейные фильтры, которые имеют локальные характеристики и часто называются частотно-временными фильтрами. [31] [ нужна страница ] Таким образом, шум можно также удалить с помощью инструментов спектрального редактирования, которые работают в этой частотно-временной области, позволяя выполнять локальные модификации, не затрагивая близлежащую энергию сигнала. Это можно сделать вручную, как в программе рисования, рисующей изображения. Другой способ — определить динамический порог для фильтрации шума, который получается из локального сигнала, опять же относительно локальной частотно-временной области. Все, что ниже порога, будет отфильтровано, все, что выше порога, например части голоса или желаемый шум , останется нетронутым. Область обычно определяется местоположением мгновенной частоты сигнала [32] , поскольку большая часть сохраняемой энергии сигнала сосредоточена вокруг нее.
Большинство цифровых аудио рабочих станций (DAW) и программного обеспечения для редактирования звука имеют одну или несколько функций шумоподавления.
Изображения, снятые цифровыми или обычными пленочными камерами, будут содержать шум из различных источников. Дальнейшее использование этих изображений часто потребует уменьшения шума либо в эстетических целях, либо в практических целях, таких как компьютерное зрение .
При шуме соли и перца (редкие световые и темные помехи), [33] также известном как импульсный шум, [34] пиксели изображения сильно отличаются по цвету или интенсивности от окружающих их пикселей; определяющей характеристикой является то, что значение зашумленного пикселя не имеет никакого отношения к цвету окружающих пикселей. При просмотре изображение содержит темные и белые точки, отсюда и термин «шум соли и перца». Как правило, этот тип шума влияет только на небольшое количество пикселей изображения. Типичными источниками являются пылинки внутри камеры, а также перегретые или неисправные ПЗС- элементы.
В гауссовском шуме [ 35] каждый пиксель изображения будет отличаться от исходного значения на (обычно) небольшую величину. Гистограмма — график зависимости величины искажения значения пикселя от частоты, с которой оно происходит, — показывает нормальное распределение шума. Хотя возможны и другие распределения, гауссово (нормальное) распределение обычно является хорошей моделью благодаря центральной предельной теореме , которая гласит, что сумма различных шумов имеет тенденцию приближаться к гауссову распределению.
В любом случае шум в разных пикселях может быть коррелированным или некоррелированным; во многих случаях значения шума в разных пикселях моделируются как независимые и одинаково распределенные и, следовательно, некоррелированные.
При обработке изображений существует множество алгоритмов шумоподавления. [36] При выборе алгоритма шумоподавления необходимо учитывать несколько факторов:
На реальных фотографиях детализация с самой высокой пространственной частотой состоит в основном из изменений яркости ( детализация яркости ), а не из изменений оттенка ( детализация цветности ). Большинство алгоритмов шумоподавления фотографий разделяют детали изображения на компоненты цветности и яркости и применяют к первым большее снижение шума или позволяют пользователю отдельно управлять подавлением цветности и яркостного шума.
Один из методов удаления шума — свертка исходного изображения с маской, которая представляет собой фильтр нижних частот или операцию сглаживания. Например, маска Гаусса содержит элементы, определяемые функцией Гаусса . Эта свертка приводит значение каждого пикселя в более близкое соответствие со значениями его соседей. В общем, сглаживающий фильтр устанавливает для каждого пикселя среднее или средневзвешенное значение самого себя и его ближайших соседей; фильтр Гаусса — это всего лишь один из возможных наборов весов.
Фильтры сглаживания имеют тенденцию размывать изображение, поскольку значения интенсивности пикселей, которые значительно выше или ниже, чем у окружающей окрестности, размазываются по всей области. Из-за этого размытия линейные фильтры на практике редко используются для снижения шума; [ нужна цитация ] однако они часто используются в качестве основы для фильтров нелинейного шумоподавления.
Другой метод удаления шума заключается в преобразовании изображения с помощью сглаживающего уравнения в частных производных, аналогичного уравнению теплопроводности , которое называется анизотропной диффузией . С пространственно постоянным коэффициентом диффузии это эквивалентно уравнению теплопроводности или линейной фильтрации Гаусса , но с коэффициентом диффузии, предназначенным для обнаружения краев, шум можно удалить, не размывая края изображения.
Другой подход к удалению шума основан на нелокальном усреднении всех пикселей изображения. В частности, величина взвешивания пикселя основана на степени сходства между небольшим участком, сосредоточенным на этом пикселе, и небольшим участком, сосредоточенным на пикселе, в котором происходит шумоподавление.
Медианный фильтр является примером нелинейного фильтра и, если он правильно спроектирован, очень хорошо сохраняет детали изображения. Чтобы запустить медианный фильтр:
Медианный фильтр — это фильтр рангового выбора (RS), особенно суровый член семейства фильтров рангового выбора с обусловленным рангом (RCRS); [37] Иногда предпочтительнее, особенно в фотографических приложениях, гораздо более мягкий член этого семейства, например тот, который выбирает ближайшее из соседних значений, когда значение пикселя является внешним по отношению к его окрестности, и оставляет его неизменным в противном случае.
Медианный и другие фильтры RCRS хорошо удаляют шумы соли и перца из изображения, а также вызывают относительно небольшое размытие краев и, следовательно, часто используются в приложениях компьютерного зрения.
Основная цель алгоритма шумоподавления изображения — добиться как снижения шума [38] , так и сохранения характеристик [39] с использованием банков вейвлет-фильтров. [40] В этом контексте особый интерес представляют методы, основанные на вейвлетах. В вейвлет-области шум равномерно распределяется по коэффициентам, в то время как большая часть информации об изображении сосредоточена в нескольких больших. [41] Таким образом, первые методы шумоподавления на основе вейвлетов были основаны на пороговом определении коэффициентов поддиапазонов детализации. [42] [ нужна страница ] Однако большинство методов определения порога вейвлета страдают тем недостатком, что выбранный порог может не соответствовать конкретному распределению компонентов сигнала и шума в разных масштабах и ориентациях.
Чтобы устранить эти недостатки, были разработаны нелинейные оценки, основанные на байесовской теории. В рамках байесовской модели было признано, что успешный алгоритм шумоподавления может обеспечить как снижение шума, так и сохранение характеристик, если он использует точное статистическое описание компонентов сигнала и шума. [41]
Также существуют статистические методы шумоподавления изображений, хотя они используются нечасто, поскольку требуют больших вычислительных ресурсов. Для гауссовского шума можно смоделировать пиксели в изображении в оттенках серого как с автонормальным распределением, где истинное значение шкалы серого каждого пикселя обычно распределяется со средним значением, равным среднему значению шкалы серого соседних пикселей и заданной дисперсии.
Обозначим пиксели, соседние с пикселем. Тогда условное распределение интенсивности оттенков серого (по шкале) в th узле будет:
для выбранного параметра и дисперсии . Один из методов шумоподавления, использующий автонормальную модель, использует данные изображения в качестве байесовского априора, а автонормальную плотность - как функцию правдоподобия, при этом результирующее апостериорное распределение предлагает среднее значение или моду в качестве изображения с шумоподавлением. [43] [44]
Алгоритм сопоставления блоков может применяться для группировки похожих фрагментов изображения в перекрывающиеся макроблоки одинакового размера, затем стопки подобных макроблоков фильтруются вместе в области преобразования, и каждый фрагмент изображения наконец восстанавливается в исходное местоположение с использованием средневзвешенного значения перекрывающихся макроблоков. пикселей. [45]
Поля сжатия — это метод машинного обучения на основе случайных полей , который обеспечивает производительность, сравнимую с производительностью сопоставления блоков и трехмерной фильтрации, но требует гораздо меньших вычислительных затрат (так что его можно выполнять непосредственно во встроенных системах ). [46]
Для решения задач шумоподавления [47] и подобных задач восстановления изображений были предложены различные подходы глубокого обучения . Deep Image Prior — один из таких методов, который использует сверточную нейронную сеть и отличается тем, что не требует данных предварительного обучения. [48]
Большинство программ общего назначения для редактирования изображений и фотографий имеют одну или несколько функций шумоподавления (медиана, размытие, удаление пятен и т. д.).
ExKo Breitband-Kompander Aufnahme/Wiedergabe 9 дБ Tonband(Примечание. Страница 736 отсутствует в связанном PDF-файле.)
[…] Super-Dolby im Plus N 55 […] Der Kompander «Plus N55» работает с системой шумоподавления Super-D от Sanyo.
Это специальное предложение для 3-х кассетных накопителей и бумажных кассет с бумажными кассетами в японском стиле.
Для Hi-Fi-соединения, в соответствии с DIN-Buchsen, может использоваться Aussteuerung durch den Plus N55, если для компрессора (энкодера) установлено напряжение 60 мВ, чтобы обеспечить хорошее напряжение, а также для самого компандерного сигнала.
Die ebenfalls im Gesamten Tonfrequenzbereich wirksamen Kompressor/Expander-Funktionen sind in zwei Frequenz-Bereiche aufgeteilt (f
0
≈ 4,8 кГц), um Jeweils einOptimes Arbeiten in diesen Bereichen zu gewährleisten […] Die Kompander-Kennlinien des Super-D-Verfahrens […] veranschaulichen den Vorgang der wechselweisen Kompression und Expansion. Эти настройки кодировщика и декодера работают в пределах 0 дБ и −20 дБ с розовым контролем Rauschen […] Da sich die Encoder/Decoder-Kennlinien hier schneiden, muß auch der Ausgangspegel des Decoders wieder O dB sein. Der Absenkungsgrad für das Bandrauschen взят сюда. 10 дБ […] Wird ein Pegel von −20 dB eingespeist, hebt der Encoder diesen auf einen Ausgangspegel von −10 dB and […] Am Decoder Eingang Liegt nun - vom Bandgerät kommend ein Signalpegel von −10 dB, der nun gemeinsam mit dem Bandrauschen Wieder um 10 dB auf den Ursprungswert herabgesetzt wird […] Geht das Encoder-Eingangssignal zum Beispiel auf -60 dB zurück, wird es auf -30 dB angehoben und auch Wieder um 30 dB расширяется. Так что Bandrauschen immer um den jeweiligen Kompressions/Expansionsgrad unterdrückt. […] «Über Alles» gesehen stellen sich bei jedem Eingangspegel Lineare Frequenzgänge im Gesamten Tonfrequenzbereich ein […] Das setzt allerdings voraus, daß die Kompressor- und Expander-Kennlinien bei Aufnahme und Wiedergabe Decungsgleich Angesteuert Werden. Если вы хотите использовать пегельтон-генератор, вы должны использовать Ausschlag der Fluoreszenz-Anzeige на Plus N55 и Aussteuerungsanzeiger des Tonbandgerätes auf gleiche Werte (zum Beispiel −5 dB) einpegeln. Das ist ein einmaliger Vorgang bei gleichbleibender Gerätekombination. Danach wird die Aufnahme nur noch am Kompander ausgesteuert. […] Beachtenswert sind noch die Verzerrungen, die durch das Einfügen einer ganzen Anzahl von Transistorstufen in den Übertragungsweg zusätzlich entstehen. Эта диаграмма […] должна содержать частотный фактор, который будет использоваться для кодирования и декодера в Plus N55. Im Vergleich zu Linear Verstärkern Sind Sie Relative Hoch, gegenüber Den im Bereich der Vollaussteuerung vorliegenden kubischen Klirrfaktoren Bei Cassetten-Bändern aber Noch Vertretbar. […]
AI Image Denoiser гораздо более агрессивен, значительно улучшает детализацию, но также применяет сильное сглаживание.
DxO PureRAW, который напрямую улучшает необработанное изображение с помощью глубокого обучения, обученного на «миллионах изображений, проанализированных DxO за 15 лет», оказался, пожалуй, самым эффективным из многих протестированных шумоподавителей.