Шум изображения представляет собой случайное изменение яркости или цветовой информации в изображениях и обычно является аспектом электронного шума . Оно может быть создано датчиком изображения и схемой сканера или цифровой камеры . Шум изображения также может возникать из-за зернистости пленки и неизбежного дробового шума идеального детектора фотонов. Шум изображения — нежелательный побочный продукт захвата изображения, который скрывает нужную информацию. Обычно термин «шум изображения» используется для обозначения шума в 2D-изображениях, а не в 3D-изображениях.
Первоначальное значение слова «шум» было «нежелательный сигнал»; нежелательные электрические колебания в сигналах, принимаемых AM-радиоприемниками, вызывали слышимый акустический шум («статический»). По аналогии нежелательные электрические колебания еще называют «шумом». [1]
Шум изображения может варьироваться от почти незаметных пятен на цифровой фотографии, сделанной при хорошем освещении, до оптических и радиоастрономических изображений, которые почти полностью представляют собой шум, из которого путем сложной обработки можно получить небольшое количество информации. Такой уровень шума был бы неприемлем на фотографии, поскольку невозможно было бы даже определить объект съемки.
Основные источники гауссова шума в цифровых изображениях возникают во время съемки. Датчик имеет собственный шум, обусловленный уровнем освещенности и собственной температурой, а электронные схемы, подключенные к датчику, вносят свою долю шума в электронные схемы . [2]
Типичная модель шума изображения является гауссовской, аддитивной, независимой для каждого пикселя и независимой от интенсивности сигнала, вызванной в первую очередь шумом Джонсона-Найквиста (тепловым шумом), включая тот, который возникает из-за шума сброса конденсаторов («шум kTC»). ). [3] Шум усилителя составляет основную часть «шума чтения» датчика изображения, то есть постоянного уровня шума в темных областях изображения. [4] В цветных камерах, где в синем цветовом канале используется большее усиление, чем в зеленом или красном канале, в синем канале может быть больше шума. [5] Однако при более высоких экспозициях в шуме датчика изображения преобладает дробовой шум, который не является гауссовым и не зависит от интенсивности сигнала. Кроме того, существует множество алгоритмов гауссовского шумоподавления. [6]
Распределенный или «импульсивный» шум с толстым хвостом иногда называют шумом соли и перца или пиковым шумом. [7] Изображение, содержащее шум «соль и перец», будет иметь темные пиксели в ярких областях и яркие пиксели в темных областях. [8] Этот тип шума может быть вызван ошибками аналого-цифрового преобразователя , битовыми ошибками при передаче и т. д. [9] [10] Его можно в основном устранить с помощью вычитания темного кадра , медианной фильтрации , комбинирования медианы и среднего значения . фильтрация [11] и интерполяция вокруг темных/ярких пикселей.
Битые пиксели на ЖК-мониторе создают аналогичное, но неслучайное изображение. [12]
Преобладающий шум в более ярких частях изображения с датчика изображения обычно вызван статистическими квантовыми флуктуациями, то есть изменением количества фотонов, воспринимаемых при данном уровне экспозиции. Этот шум известен как шум фотонного выстрела . [5] Дробовой шум подчиняется распределению Пуассона , которое можно аппроксимировать распределением Гаусса для изображений большой интенсивности. Дробовой шум имеет стандартное отклонение, пропорциональное квадратному корню из интенсивности изображения, а шумы в разных пикселях независимы друг от друга.
Помимо фотонного дробового шума, может присутствовать дополнительный дробовой шум из-за темнового тока утечки в датчике изображения; этот шум иногда называют «темновым дробовым шумом» [5] или «темновым дробовым шумом». [13] Темновой ток наибольший в «горячих пикселях» внутри матрицы. Переменный темный заряд нормальных и горячих пикселей можно вычесть (используя «вычитание темного кадра»), оставив только дробовой шум или случайный компонент утечки. [14] [15] Если вычитание темного кадра не выполнено или если время экспозиции достаточно велико, и заряд горячих пикселей превышает емкость линейного заряда, шум будет больше, чем просто дробовый шум, и горячие пиксели выглядят как соль. -и-перцовый шум.
Шум, вызванный квантованием пикселей воспринятого изображения до нескольких дискретных уровней, известен как шум квантования . Он имеет примерно равномерное распределение . Хотя он может зависеть от сигнала, он будет независимым от сигнала, если другие источники шума достаточно велики, чтобы вызвать сглаживание , или если сглаживание применяется явно. [10]
Зернистость фотопленки представляет собой шум, зависящий от сигнала, статистический состав которого аналогичен дробовому шуму . [16] Если зерна пленки распределены равномерно (равное количество на площадь), и если каждое зерно имеет равную и независимую вероятность превратиться в зерно темного серебра после поглощения фотонов , то количество таких темных зерен на площади будет случайным. с биномиальным распределением . В областях, где вероятность мала, это распределение будет близко к классическому распределению Пуассона дробового шума. Простое распределение Гаусса часто используется в качестве достаточно точной модели. [10]
Зерно пленки обычно рассматривают как почти изотропный (неориентированный) источник шума. Его эффект усугубляется тем, что распределение зерен галогенида серебра в пленке также является случайным. [17]
Некоторые источники шума проявляются на изображениях в значительной ориентации. Например, датчики изображения иногда подвержены шуму строк или столбцов. [18]
Распространенным источником периодического шума на изображении являются электрические помехи в процессе захвата изображения. [7] Изображение, подверженное периодическому шуму, будет выглядеть так, как будто поверх исходного изображения был добавлен повторяющийся узор. В частотной области этот тип шума можно рассматривать как дискретные выбросы. Значительного снижения этого шума можно добиться применением режекторных фильтров в частотной области. [7] На следующих изображениях показано изображение, подверженное воздействию периодического шума, а также результат снижения шума с помощью фильтрации в частотной области. Обратите внимание, что отфильтрованное изображение по-прежнему имеет некоторый шум по краям. Дальнейшая фильтрация может уменьшить этот пограничный шум, однако она также может уменьшить некоторые мелкие детали изображения. Компромисс между снижением шума и сохранением мелких деталей зависит от конкретного приложения. Например, если мелкие детали замка не считаются важными, подходящим вариантом может быть фильтрация нижних частот. Если мелкие детали замка считаются важными, жизнеспособным решением может быть полное обрезание границ изображения.
При слабом освещении правильная экспозиция требует использования длинной выдержки (т. е. длительного времени выдержки) или открытой диафрагмы (меньшее число f ), или того и другого, чтобы увеличить количество улавливаемого света (фотонов), что, в свою очередь, снижает воздействие выстреловый шум. Если пределы выдержки (движения) и диафрагмы (глубины резкости) достигнуты, а полученное изображение все еще недостаточно яркое, то следует использовать более высокое усиление ( чувствительность ISO ) для уменьшения шума чтения. В большинстве камер более длинная выдержка приводит к увеличению шума «соль с перцем» из-за токов утечки фотодиода . За счет удвоения дисперсии шума чтения (увеличение стандартного отклонения шума чтения на 41%) этот «соль и перец» можно в основном устранить путем вычитания темного кадра . Полосатый шум, похожий на теневой шум , может быть введен посредством осветления теней или обработки цветового баланса. [19]
В цифровой фотографии поступающие фотоны преобразуются в заряд в форме электронов. Затем это напряжение проходит через цепь обработки сигнала цифровой камеры и оцифровывается аналого-цифровым преобразователем . Любые колебания напряжения в цепи обработки сигналов, способствующие отклонению от идеального значения, пропорционального количеству фотонов, называются шумом считывания. [20]
Количество света, собираемого всей матрицей во время экспозиции, является важнейшим фактором, определяющим уровни сигнала, которые определяют соотношение сигнал/шум для дробового шума и, следовательно, видимые уровни шума. Важно отметить, что число f указывает на плотность света в фокальной плоскости (например, фотонов на квадратный микрон). При постоянных числах f по мере увеличения фокусного расстояния диаметр апертуры объектива увеличивается, и объектив собирает больше света от объекта. Поскольку фокусное расстояние, необходимое для захвата сцены под определенным углом зрения , примерно пропорционально ширине датчика, при постоянном числе f количество собираемого света примерно пропорционально площади датчика, что приводит к лучшему сигналу. Отношение к шуму для более крупных датчиков. При постоянном диаметре апертуры количество собираемого света не зависит от размера датчика, а соотношение сигнал/шум для дробового шума не зависит от размера датчика. В случае изображений, достаточно ярких, чтобы находиться в режиме ограничения дробового шума, когда изображение масштабируется до того же размера на экране или печатается в том же размере, количество пикселей мало влияет на воспринимаемый уровень шума – шум зависит в первую очередь от общего освещения по всей площади сенсора, а не от того, как эта область разделена на пиксели. Для изображений с более низкими уровнями сигнала (более высокие настройки ISO), где шум чтения (минимальный уровень шума) значителен, большее количество пикселей в пределах данной области датчика сделает изображение более шумным, если шум чтения на пиксель одинаков.
Например, уровень шума, создаваемый матрицей формата «четыре трети » при ISO 800, примерно эквивалентен уровню шума, создаваемому полнокадровой матрицей (с примерно в четыре раза большей площадью) при ISO 3200, а также уровню шума, создаваемому 1/2,5-дюймовой компактной матрицей камеры. (примерно 1/16 площади) при ISO 100. Все камеры будут иметь примерно одинаковые настройки ISO для данной сцены при одинаковой выдержке и одинаковом числе f, что приводит к существенно меньшему шуму при использовании полнокадровой камеры. , если бы все камеры использовали объективы с одинаковым диаметром апертуры, настройки ISO были бы разными для разных камер, но уровни шума были бы примерно одинаковыми. [21]
Датчик изображения имеет отдельные фотосайты для сбора света с заданной области. Не все области датчика используются для сбора света из-за другой схемы. Более высокий коэффициент заполнения матрицы позволяет собирать больше света, что позволяет повысить производительность ISO в зависимости от размера матрицы. [22]
Температура также может влиять на уровень шума, создаваемого датчиком изображения из-за утечки. Имея это в виду, известно, что зеркалки летом производят больше шума, чем зимой. [14]
Изображение — это изображение, фотография или любая другая форма двухмерного представления любой сцены. [23] Большинство алгоритмов преобразования данных датчика изображения в изображение, будь то в камере или на компьютере, включают в себя ту или иную форму шумоподавления . [24] [25] Для этого существует множество процедур, но все они пытаются определить, являются ли фактические различия в значениях пикселей шумом или реальными фотографическими деталями, и усредняют первые, пытаясь сохранить вторые. Однако ни один алгоритм не может сделать это решение идеально (для всех случаев), поэтому часто приходится искать компромисс между удалением шума и сохранением мелких, малоконтрастных деталей, которые могут иметь характеристики, аналогичные шуму.
Упрощенный пример невозможности однозначного шумоподавления: область однородного красного цвета на изображении может иметь очень маленькую черную часть. Если это один пиксель, он, скорее всего (но не обязательно), будет паразитным и шумным; если он охватывает несколько пикселей абсолютно правильной формы, это может быть дефект группы пикселей в датчике съемки (паразитный и нежелательный, но не строго шум); если оно нерегулярное, то, скорее всего, это истинная особенность изображения. Но однозначного ответа нет.
Этому решению может помочь знание характеристик исходного изображения и человеческого зрения. Большинство алгоритмов шумоподавления выполняют гораздо более агрессивное подавление цветного шума, поскольку существует мало важных мелких деталей цветности, которые можно потерять. Более того, многие люди находят яркостной шум менее неприятным для глаз, поскольку его текстурированный вид имитирует зернистость пленки .
Качество изображения высокой чувствительности данной камеры (или рабочий процесс обработки RAW) может сильно зависеть от качества алгоритма, используемого для шумоподавления. Поскольку уровень шума увеличивается с увеличением чувствительности ISO, большинство производителей камер автоматически увеличивают степень шумоподавления при более высокой чувствительности. Это приводит к ухудшению качества изображения при более высокой чувствительности по двум причинам: уровень шума увеличивается, а мелкие детали сглаживаются за счет более агрессивного шумоподавления.
В случаях сильного шума, таких как астрономические изображения очень удаленных объектов, речь идет не столько о шумоподавлении, сколько о извлечении небольшого количества информации, скрытой в большом количестве шума; Методы разные: они ищут небольшие закономерности в массивно случайных данных.
В видео и телевидении под шумом понимается случайный узор из точек, который накладывается на изображение в результате электронного шума, «снег», который можно увидеть при плохом (аналоговом) телевизионном приеме или на кассетах VHS. Помехи и статические помехи — это другие формы шума в том смысле, что они нежелательны, хотя и не случайны, и могут влиять на радио- и телевизионные сигналы.
Цифровой шум иногда присутствует в видео, закодированных в формате MPEG-2, как артефакт сжатия .
Высокие уровни шума почти всегда нежелательны, но бывают случаи, когда определенное количество шума полезно, например, для предотвращения артефактов дискретизации (цветовых полос или постеризации ). Некоторый шум также увеличивает резкость (кажущуюся резкость). Шум, специально добавленный для таких целей, называется дизерингом ; он улучшает восприятие изображения, хотя и ухудшает соотношение сигнал/шум .
Датчик изображения в цифровой камере содержит фиксированное количество пикселей (которые определяют заявленное количество пикселей камеры). Эти пиксели имеют так называемую глубину колодца. [26] Пиксельную яму можно рассматривать как ведро. [27]
Настройка ISO на цифровой камере — это первая (а иногда и единственная) настраиваемая пользователем ( аналоговая ) настройка усиления в цепочке обработки сигнала . Он определяет величину усиления, прикладываемую к выходному напряжению датчика изображения, и оказывает непосредственное влияние на шум считывания. Все блоки обработки сигналов в системе цифровой камеры имеют минимальный уровень шума . Разница между уровнем сигнала и минимальным уровнем шума называется отношением сигнал/шум . Более высокое соотношение сигнал/шум соответствует более высокому качеству изображения. [28]
В ярких солнечных условиях, при длинной выдержке, широко открытой диафрагме или в какой-либо комбинации всех трех факторов на датчик изображения может попасть достаточно фотонов, чтобы полностью заполнить или иным образом достичь почти полной емкости пиксельных лунок. Если емкость пиксельных лунок превышена, это соответствует передержке . Когда пиксельные ямы почти заполнены, сами фотоны, попавшие в датчик изображения, генерируют достаточно энергии, чтобы возбудить эмиссию электронов в датчике изображения и создать достаточное напряжение на выходе датчика изображения, [20] что соответствует отсутствие необходимости усиления ISO (более высокое ISO выше базовой настройки камеры). Это соответствует достаточному уровню сигнала (от датчика изображения), который проходит через оставшуюся электронику обработки сигнала, что приводит к высокому соотношению сигнал/шум, или низкому уровню шума, или оптимальной экспозиции.
И наоборот, в более темных условиях, при более короткой выдержке, закрытой диафрагме или некоторой комбинации всех трех факторов может не хватать достаточного количества фотонов, попадающих на датчик изображения, чтобы генерировать подходящее напряжение от датчика изображения для преодоления минимального уровня шума сигнальной цепи. , что приводит к низкому отношению сигнал/шум или высокому шуму (преимущественно шуму чтения). В этих условиях увеличение усиления ISO (более высокая настройка ISO) повысит качество выходного изображения, [29] поскольку усиление ISO будет усиливать низкое напряжение датчика изображения и генерировать более высокое соотношение сигнал/шум за счет остальная электроника обработки сигналов.
Видно, что более высокая настройка ISO (при правильном применении) сама по себе не приводит к повышению уровня шума, и наоборот, более высокая настройка ISO снижает шум при чтении. Увеличение шума, часто наблюдаемое при использовании более высокого значения ISO, является результатом усиления дробового шума и более низкого динамического диапазона в результате технических ограничений современной технологии.
