stringtranslate.com

Шум изображения

Шум, видимый на изображении с цифровой камеры

Шум изображения — это случайное изменение яркости или цветовой информации в изображениях , и обычно является аспектом электронного шума . Он может быть создан датчиком изображения и схемой сканера или цифровой камеры . Шум изображения может также возникать из-за зернистости пленки и неизбежного дробового шума идеального детектора фотонов. Шум изображения — это нежелательный побочный продукт захвата изображения, который скрывает нужную информацию. Обычно термин «шум изображения» используется для обозначения шума в 2D-изображениях, а не в 3D-изображениях.

Первоначальное значение слова «шум» было «нежелательный сигнал»; нежелательные электрические колебания в сигналах, принимаемых радиоприемниками AM, вызывали слышимый акустический шум («статика»). По аналогии нежелательные электрические колебания также называются «шумом». [1]

Шум изображения может варьироваться от почти незаметных пятнышек на цифровой фотографии, сделанной при хорошем освещении, до оптических и радиоастрономических изображений, которые почти полностью состоят из шума, из которого с помощью сложной обработки можно извлечь небольшое количество информации. Такой уровень шума был бы неприемлем на фотографии, поскольку было бы невозможно даже определить объект.

Типы

Гауссовский шум

Основные источники гауссовского шума в цифровых изображениях возникают во время получения. Датчик имеет собственный шум из-за уровня освещенности и собственной температуры, а электронные схемы, подключенные к датчику, вносят свою долю шума электронных схем . [2]

Типичная модель шума изображения — гауссовская, аддитивная, независимая в каждом пикселе и независимая от интенсивности сигнала, вызванная в первую очередь шумом Джонсона-Найквиста (тепловым шумом), включая тот, который возникает из-за шума сброса конденсаторов («шум kTC»). [3] Шум усилителя — это основная часть «шума считывания» датчика изображения, то есть постоянного уровня шума в темных областях изображения. [4] В цветных камерах, где в синем цветовом канале используется больше усиления, чем в зеленом или красном канале, в синем канале может быть больше шума. [5] Однако при более высоких экспозициях шум датчика изображения преобладает из-за дробового шума, который не является гауссовым и не зависит от интенсивности сигнала. Кроме того, существует множество алгоритмов гауссовского шумоподавления. [6]

Шум соли и перца

Изображение с шумом «соль и перец»

Распределенный с толстым хвостом или «импульсный» шум иногда называют шумом «соль и перец» или пиковым шумом. [7] Изображение, содержащее шум «соль и перец», будет иметь темные пиксели в ярких областях и яркие пиксели в темных областях. [8] Этот тип шума может быть вызван ошибками аналого-цифрового преобразователя , ошибками битов при передаче и т. д. [9] [10] Его можно устранить, в основном, с помощью вычитания темных кадров , медианной фильтрации , комбинированной медианной и средней фильтрации [11] и интерполяции вокруг темных/ярких пикселей.

Мертвые пиксели на ЖК-мониторе создают похожее, но неслучайное изображение. [12]

Шум выстрела

Доминирующий шум в более ярких частях изображения с датчика изображения обычно вызван статистическими квантовыми флуктуациями, то есть изменением числа фотонов, обнаруженных при заданном уровне экспозиции. Этот шум известен как фотонный дробовой шум . [5] Дробовой шум следует распределению Пуассона , которое может быть аппроксимировано гауссовым распределением для большой интенсивности изображения. Дробовой шум имеет стандартное отклонение, пропорциональное квадратному корню интенсивности изображения, и шум в разных пикселях независим друг от друга.

В дополнение к фотонному дробовому шуму может быть дополнительный дробовой шум от темнового тока утечки в датчике изображения; этот шум иногда называют «темным дробовым шумом» [5] или «дробовым шумом темнового тока». [13] Темновой ток самый большой в «горячих пикселях» в датчике изображения. Переменный темный заряд нормальных и горячих пикселей можно вычесть (используя «вычитание темного кадра»), оставив только дробовой шум или случайный компонент утечки. [14] [15] Если вычитание темного кадра не выполняется или если время экспозиции достаточно велико, чтобы заряд горячего пикселя превысил линейную зарядовую емкость, шум будет больше, чем просто дробовой шум, и горячие пиксели будут выглядеть как шум «соль с перцем».

Шум квантования (равномерный шум)

Шум, вызванный квантованием пикселей считанного изображения на ряд дискретных уровней, известен как шум квантования . Он имеет приблизительно равномерное распределение . Хотя он может зависеть от сигнала, он будет независим от сигнала, если другие источники шума достаточно велики, чтобы вызвать сглаживание , или если сглаживание применяется явно. [10]

Зернистость пленки

Зернистость фотопленки — это шум, зависящий от сигнала, с аналогичным статистическим распределением дробового шума . [16] Если зерна пленки распределены равномерно (равное количество на область), и если каждое зерно имеет равную и независимую вероятность развития в темное серебристое зерно после поглощения фотонов , то число таких темных зерен в области будет случайным с биномиальным распределением . В областях, где вероятность низка, это распределение будет близко к классическому распределению Пуассона дробового шума. В качестве достаточно точной модели часто используется простое гауссово распределение . [10]

Зернистость пленки обычно рассматривается как почти изотропный (неориентированный) источник шума. Его влияние ухудшается из-за того, что распределение зерен галогенида серебра в пленке также является случайным. [17]

Анизотропный шум

Некоторые источники шума проявляются со значительной ориентацией на изображениях. Например, датчики изображения иногда подвержены шуму строк или столбцов. [18]

Периодический шум

Распространенным источником периодического шума на изображении являются электрические помехи во время процесса захвата изображения. [7] Изображение, затронутое периодическим шумом, будет выглядеть так, как будто поверх исходного изображения был добавлен повторяющийся узор. В частотной области этот тип шума можно увидеть как дискретные пики. Значительного снижения этого шума можно добиться, применив режекторные фильтры в частотной области. [7] На следующих изображениях показано изображение, затронутое периодическим шумом, и результат снижения шума с помощью фильтрации в частотной области. Обратите внимание, что отфильтрованное изображение все еще имеет некоторый шум на границах. Дальнейшая фильтрация может уменьшить этот граничный шум, однако она также может уменьшить некоторые мелкие детали на изображении. Компромисс между снижением шума и сохранением мелких деталей зависит от приложения. Например, если мелкие детали на замке не считаются важными, фильтрация нижних частот может быть подходящим вариантом. Если мелкие детали замка считаются важными, жизнеспособным решением может быть полное обрезание границы изображения.

В цифровых камерах

Изображение слева имеет время экспозиции >10 секунд при слабом освещении. Изображение справа имеет достаточное освещение и экспозицию 0,1 секунды.

При слабом освещении правильная экспозиция требует использования медленной выдержки (т. е. длительного времени экспозиции) или открытой диафрагмы (меньшего числа f ), или и того, и другого, чтобы увеличить количество улавливаемого света (фотонов), что, в свою очередь, снижает влияние шума кадра. Если пределы затвора (движения) и диафрагмы (глубины резкости) достигнуты, а полученное изображение все еще недостаточно яркое, следует использовать более высокий коэффициент усиления ( чувствительность ISO ) для снижения шума считывания. На большинстве камер более медленные выдержки приводят к увеличению шума «соль-перец» из-за токов утечки фотодиода . За счет удвоения дисперсии шума считывания (увеличение стандартного отклонения шума считывания на 41%) этот шум «соль-перец» можно в основном устранить путем вычитания темного кадра . Полосчатый шум, похожий на теневой шум , может быть введен путем осветления теней или посредством обработки цветового баланса. [19]

Шум чтения

В цифровой фотографии входящие фотоны преобразуются в заряд в форме электронов. Затем это напряжение проходит через цепь обработки сигнала цифровой камеры и оцифровывается аналого -цифровым преобразователем . Любые колебания напряжения в цепи обработки сигнала, которые способствуют отклонению от идеального значения, пропорционального количеству фотонов, называются шумом чтения. [20]

Влияние размера сенсора

Количество света, собранного по всему датчику во время экспозиции, является важнейшим фактором, определяющим уровень сигнала, который определяет отношение сигнал/шум для дробового шума и, следовательно, уровни видимого шума.

Число f указывает на плотность света в фокальной плоскости (например, фотонов на квадратный микрон). При постоянных числах f, по мере увеличения фокусного расстояния , диаметр апертуры объектива увеличивается, и объектив собирает больше света от объекта. Поскольку фокусное расстояние, необходимое для захвата сцены под определенным углом зрения, примерно пропорционально ширине сенсора, при постоянном числе f количество собранного света примерно пропорционально площади сенсора, что приводит к лучшему соотношению сигнал/шум для более крупных сенсоров. При постоянных диаметрах апертуры количество собранного света не зависит от размера сенсора, а отношение сигнал/шум для дробового шума не зависит от размера сенсора. В случае изображений, достаточно ярких, чтобы находиться в режиме ограничения дробового шума, когда изображение масштабируется до того же размера на экране или печатается с тем же размером, количество пикселей мало влияет на воспринимаемые уровни шума — шум зависит в первую очередь от общего света по всей площади сенсора, а не от того, как эта область разделена на пиксели. Для изображений с более низким уровнем сигнала (более высокие настройки ISO), где шум считывания (минимальный уровень шума) имеет большое значение, большее количество пикселей в заданной области сенсора сделает изображение более шумным, если шум считывания на пиксель одинаков.

Например, уровень шума, создаваемый датчиком Four Thirds при ISO 800, примерно эквивалентен уровню шума, создаваемому полнокадровым датчиком (с примерно в четыре раза большей площадью) при ISO 3200, и уровню шума, создаваемому компактным датчиком камеры 1/2,5" (с примерно 1/16 площадью) при ISO 100. Все камеры будут иметь примерно одинаковую настройку ISO для заданной сцены при одинаковой выдержке и одинаковом числе f, что приведет к существенно меньшему уровню шума с полнокадровой камерой. И наоборот, если бы все камеры использовали объективы с одинаковым диаметром диафрагмы, настройки ISO были бы разными для всех камер, но уровни шума были бы примерно одинаковыми. [21]

Коэффициент заполнения датчика

Датчик изображения имеет отдельные фотоэлементы для сбора света с заданной области. Не все области датчика используются для сбора света из-за других схем. Более высокий коэффициент заполнения датчика приводит к тому, что собирается больше света, что позволяет улучшить производительность ISO в зависимости от размера датчика. [22] . С датчиками CMOS с задней подсветкой коэффициент заполнения близок к 100%. [23]

Датчик тепла

Температура также может влиять на количество шума, производимого датчиком изображения из-за утечки. Учитывая это, известно, что зеркальные фотокамеры будут производить больше шума летом, чем зимой. [14]

Снижение шума

Изображение — это рисунок, фотография или любая другая форма двумерного представления любой сцены. [24] Большинство алгоритмов преобразования данных датчика изображения в изображение, будь то в камере или на компьютере, включают в себя некоторую форму шумоподавления . [25] [26] Для этого существует множество процедур, но все они пытаются определить, являются ли фактические различия в значениях пикселей шумом или реальной фотографической деталью, и усреднить первое, пытаясь сохранить последнее. Однако ни один алгоритм не может сделать это суждение идеально (для всех случаев), поэтому часто приходится искать компромисс между удалением шума и сохранением мелких, малоконтрастных деталей, которые могут иметь характеристики, похожие на шум.

Упрощенный пример невозможности однозначного шумоподавления: область однородного красного цвета на изображении может иметь очень маленькую черную часть. Если это один пиксель, он, скорее всего (но не обязательно), будет ложным и шумом; если он покрывает несколько пикселей абсолютно правильной формы, это может быть дефект в группе пикселей в датчике съемки (ложный и нежелательный, но не строго шум); если он нерегулярный, то, скорее всего, это истинная особенность изображения. Но точного ответа нет.

Это решение может быть принято, если знать характеристики исходного изображения и человеческого зрения. Большинство алгоритмов шумоподавления выполняют гораздо более агрессивное снижение цветового шума, поскольку существует мало важных тонких цветовых деталей, которые можно потерять. Кроме того, многие люди считают яркостный шум менее неприятным для глаз, поскольку его текстурированный вид имитирует вид зерна пленки .

Высокочувствительное качество изображения данной камеры (или процесс обработки RAW) может сильно зависеть от качества алгоритма, используемого для шумоподавления. Поскольку уровень шума увеличивается с ростом чувствительности ISO, большинство производителей камер автоматически увеличивают агрессивность шумоподавления при более высокой чувствительности. Это приводит к снижению качества изображения при более высокой чувствительности двумя способами: уровень шума увеличивается, а мелкие детали сглаживаются более агрессивным шумоподавлением.

В случаях сильного шума, например, при съемке астрономических изображений очень удаленных объектов, речь идет не столько об уменьшении шума, сколько об извлечении небольшого количества информации, скрытой под большим количеством шума; методы здесь иные, они направлены на поиск небольших закономерностей в массивных случайных данных.

Видео шум

В видео и телевидении шум относится к случайному точечному узору, который накладывается на изображение в результате электронного шума, «снегу», который виден при плохом (аналоговом) телевизионном приеме или на кассетах VHS. Помехи и статические помехи являются другими формами шума, в том смысле, что они нежелательны, хотя и не случайны, и могут влиять на радио- и телевизионные сигналы.

Цифровой шум иногда присутствует в видео, закодированных в формате MPEG-2, как артефакт сжатия .

Полезный шум

Высокий уровень шума почти всегда нежелателен, но бывают случаи, когда определенное количество шума полезно, например, для предотвращения артефактов дискретизации (цветная полосатость или постеризация ). Некоторый шум также увеличивает резкость (кажущуюся резкость). Шум, намеренно добавленный для таких целей, называется дизерингом ; он улучшает изображение с точки зрения восприятия, хотя и ухудшает отношение сигнал/шум .

Примеры шума при низком и высоком ISO

Шум ISO (ISO 50-204800) Sony α9 II

Низкий и высокий уровень технической экспертизы ISO

Моделирование фотонного шума . Количество фотонов на пиксель увеличивается слева направо и от верхнего ряда к нижнему.

Датчик изображения в цифровой камере содержит фиксированное количество пикселей (которые определяют заявленные мегапиксели камеры). Эти пиксели имеют то, что называется глубиной колодца. [27] Колодец пикселей можно рассматривать как ведро. [28]

Настройка ISO на цифровой камере является первой (а иногда и единственной) настраиваемой пользователем ( аналоговой ) настройкой усиления в цепочке обработки сигнала . Она определяет величину усиления, применяемую к выходному напряжению датчика изображения, и оказывает прямое влияние на шум считывания. Все блоки обработки сигнала в системе цифровой камеры имеют минимальный уровень шума . Разница между уровнем сигнала и минимальным уровнем шума называется отношением сигнал/шум . Более высокое отношение сигнал/шум соответствует лучшему качеству изображения. [29]

При ярком солнечном свете, медленной выдержке, широко открытой диафрагме или некоторой комбинации всех трех факторов может быть достаточно фотонов, попадающих на датчик изображения, чтобы полностью заполнить или иным образом достичь почти полной емкости пиксельных ячеек. Если емкость пиксельных ячеек превышена, это равносильно передержке . Когда пиксельные ячейки близки к полной емкости, сами фотоны, которые были экспонированы на датчике изображения, генерируют достаточно энергии, чтобы возбудить испускание электронов в датчике изображения и создать достаточное напряжение на выходе датчика изображения, [20] что равносильно отсутствию необходимости в усилении ISO (более высокая ISO выше базовой настройки камеры). Это равносильно достаточному уровню сигнала (от датчика изображения), который проходит через оставшуюся электронику обработки сигнала, что приводит к высокому отношению сигнал/шум или низкому уровню шума или оптимальной экспозиции.

Наоборот, в более темных условиях, при более коротких выдержках, закрытых диафрагмах или при некоторой комбинации всех трех может быть недостаточно фотонов, попадающих на датчик изображения, чтобы сгенерировать подходящее напряжение от датчика изображения для преодоления уровня шума в цепи сигнала, что приводит к низкому отношению сигнал/шум или высокому шуму (преимущественно шуму считывания). В этих условиях увеличение усиления ISO (более высокая настройка ISO) увеличит качество выходного изображения, [30] поскольку усиление ISO усилит низкое напряжение от датчика изображения и сгенерирует более высокое отношение сигнал/шум через оставшуюся электронику обработки сигнала.

Видно, что более высокая настройка ISO (примененная правильно) сама по себе не приводит к повышению уровня шума, и наоборот, более высокая настройка ISO снижает уровень шума при считывании. Увеличение шума, часто обнаруживаемое при использовании более высокой настройки ISO, является результатом усиления дробового шума и более низкого динамического диапазона из-за технических ограничений современных технологий.

Смотрите также

Ссылки

  1. ^ Штробель, Лесли; Закия, Ричард Д. (1995). Энциклопедия фотографии Focal. Focal Press. стр. 507. ISBN 978-0-240-51417-8.
  2. ^ Филипп Каттин (2012-04-24). «Восстановление изображений: введение в обработку сигналов и изображений». MIAC, Базельский университет. Архивировано из оригинала 2016-09-18 . Получено 11 октября 2013 .
  3. ^ Jun Ohta (2008). Интеллектуальные датчики изображения CMOS и их применение. CRC Press. ISBN 978-0-8493-3681-2.
  4. ^ Дзюнъити Накамура (2005). Датчики изображения и обработка сигнала для цифровых фотокамер. CRC Press. ISBN 0-8493-3545-0.
  5. ^ abc Линдси Макдональд (2006). Цифровое наследие. Баттерворт-Хайнеманн. ISBN 0-7506-6183-6.
  6. ^ Мехди Мафи, Гарольд Мартин, Жан Андриан, Армандо Баррето, Мерседес Кабрерисо, Малек Аджуади, «Комплексный обзор импульсных и гауссовых шумоподавляющих фильтров для цифровых изображений», Обработка сигналов, т. 157, стр. 236-260, 2019.
  7. ^ abc Рафаэль К. Гонсалес; Ричард Э. Вудс (2007). Цифровая обработка изображений. Pearson Prenctice Hall. ISBN 978-0-13-168728-8.
  8. ^ Алан С. Бовик (2005). Справочник по обработке изображений и видео. Academic Press. ISBN 0-12-119792-1.
  9. ^ Линда Г. Шапиро ; Джордж К. Стокман (2001). Компьютерное зрение. Prentice-Hall. ISBN 0-13-030796-3.[ постоянная мертвая ссылка ]
  10. ^ abc Бонселет, Чарльз (2005). "Модели шума изображения". В Алан С. Бовик (ред.). Справочник по обработке изображений и видео . Academic Press. ISBN 0-12-119792-1.
  11. ^ Мехди Мафи, Хода Раджаи, Мерседес Кабрерисо, Малек Аджуади, «Надежный подход к обнаружению краев в присутствии высокой интенсивности импульса посредством переключения адаптивной медианы и фиксированной взвешенной фильтрации среднего», IEEE Transactions on Image Processing, т. 27, вып. 11, 2018, стр. 5475-5490.
  12. ^ Чарльз Бонселет (2005), Алан С. Бовик. Справочник по обработке изображений и видео. Academic Press. ISBN 0-12-119792-1 
  13. ^ Джейнсик, Джеймс Р. (2001). Научные приборы с зарядовой связью. SPIE Press. ISBN 0-8194-3698-4.
  14. ^ ab Майкл А. Ковингтон (2007). Цифровая зеркальная астрофотография. Cambridge University Press. ISBN 978-0-521-70081-8.
  15. ^ RE Jacobson; SF Ray; GG Attridge; NR Axford (2000). Руководство по фотографии. Focal Press. ISBN 0-240-51574-9.
  16. ^ Томас С. Хуан (1986). Достижения в области компьютерного зрения и обработки изображений. JAI Press. ISBN 0-89232-460-0.
  17. ^ Брайан В. Килан; Роберт Э. Кукингем (2002). Справочник по качеству изображения. CRC Press. ISBN 0-8247-0770-2.
  18. ^ Джозеф Г. Пеллегрино и др. (2006). «Характеристика инфракрасной камеры». В Джозеф Д. Бронзино (ред.). Основы биомедицинской инженерии . CRC Press. ISBN 0-8493-2122-0.
  19. ^ Макхью, Шон. «Цифровые камеры: имеет ли значение размер пикселя? Часть 2: Примеры изображений с использованием пикселей разного размера (имеет ли значение размер сенсора?)» . Получено 03.06.2010 .
  20. ^ ab Martinec, Emil (2008-05-22). "Шум, динамический диапазон и битовая глубина в цифровых зеркальных фотокамерах (шум чтения)" . Получено 2020-11-24 .
  21. ^ RN, Clark (22.12.2008). "Цифровые камеры: имеет ли значение размер пикселя? Часть 2: Примеры изображений с использованием пикселей разного размера (имеет ли значение размер сенсора?)" . Получено 03.06.2010 .
  22. ^ Wrotniak, J. Anderzej (2009-02-26). "Размер сенсора Four Thirds и соотношение сторон" . Получено 2010-06-03 .
  23. ^ Таверни, Джемма (2018). «Сравнение динамических и активных пиксельных датчиков зрения с фронтальной и задней подсветкой». Труды IEEE по схемам и системам II: Экспресс-краткие обзоры . 65 (5): 677–681. doi :10.1109/TCSII.2018.2824899.
  24. ^ Сингх, Аканша; Сингх, К.К. (2012). Цифровая обработка изображений. Публикации Умеша. ISBN 978-93-80117-60-7.
  25. ^ Приядаршини, Неха; Саркар, Мукул (январь 2021 г.). «A 2e rms − Временной шумовой КМОП-датчик изображения с внутрипиксельным шумоподавлением 1/ f и модуляцией усиления преобразования для получения изображений при слабом освещении». Труды IEEE по схемам и системам I: Регулярные статьи . 68 (1): 185–195. doi : 10.1109/TCSI.2020.3034377. ISSN  1549-8328. S2CID  229251410.
  26. ^ Червяков, Николай; Ляхов, Павел; Нагорнов, Николай (2020-02-11). "Анализ шума квантования в фильтрах дискретного вейвлет-преобразования для трехмерной медицинской визуализации". Прикладные науки . 10 (4): 1223. doi : 10.3390/app10041223 . ISSN  2076-3417.
  27. ^ "Астрофотография, пиксель за пикселем: Часть 1 - Глубина скважины, размер пикселя и квантовая эффективность". Cloudbreak Optics . Получено 24.11.2020 .
  28. ^ Кларк, Роджер Н. (2012-07-04). «Экспозиция и цифровые камеры, часть 1. Что такое ISO на цифровой камере? Когда камера не имеет ISO? Мифы об ISO и цифровые камеры» . Получено 24.11.2020 .
  29. ^ Мартинек, Эмиль (2008-05-22). «Шум, динамический диапазон и битовая глубина в цифровых зеркальных фотокамерах (соотношение сигнал/шум в зависимости от экспозиции и динамического диапазона)» . Получено 2020-11-24 .
  30. ^ Мартинек, Эмиль (2008-05-22). «Шум, динамический диапазон и битовая глубина в цифровых зеркальных фотокамерах (решения по соотношению сигнал/шум и экспозиции)» . Получено 24.11.2020 .

Внешние ссылки

На Викискладе есть медиафайлы по теме «Шум изображения» .