stringtranslate.com

Демозаика

Демозаика (или демозаика , демозаика ), также известная как реконструкция цвета , представляет собой алгоритм цифровой обработки изображений , используемый для реконструкции полноцветного изображения из неполных цветовых образцов, выводимых с датчика изображения, наложенных на массив цветовых фильтров (CFA), например, фильтр Байера . Она также известна как интерполяция CFA или дебайеризация .

Большинство современных цифровых камер получают изображения с помощью одного датчика изображения, на который наложен CFA, поэтому демозаика является частью конвейера обработки , необходимого для преобразования этих изображений в пригодный для просмотра формат.

Многие современные цифровые камеры могут сохранять изображения в формате RAW, что позволяет пользователю демозаику с помощью программного обеспечения, а не с помощью встроенной прошивки камеры .

Цель

Целью алгоритма демозаики является реконструкция полноцветного изображения (т.е. полного набора цветовых троек) из пространственно недовыбранных цветовых каналов, выведенных из CFA. Алгоритм должен иметь следующие черты:

Фон: массив цветных фильтров

Расположение цветных фильтров Байера на пиксельной матрице датчика изображения. Каждая ячейка размером два на два содержит два зеленых, один синий и один красный фильтр.

Массив цветных фильтров представляет собой мозаику цветных фильтров перед датчиком изображения. В коммерческих целях наиболее часто используемой конфигурацией CFA является фильтр Байера, показанный здесь. Он имеет чередующиеся красные (R) и зеленые (G) фильтры для нечетных рядов и чередующиеся зеленые (G) и синие (B) фильтры для четных рядов. Зеленых фильтров в два раза больше, чем красных или синих, что соответствует более высокой чувствительности человеческого глаза к зеленому свету.

Поскольку цветовая субдискретизация CFA по своей природе приводит к наложению спектров , оптический фильтр сглаживания обычно помещается на оптическом пути между датчиком изображения и объективом, чтобы уменьшить ложные цветовые артефакты (хроматические наложения), вносимые интерполяцией. [1]

Поскольку каждый пиксель сенсора находится за цветным фильтром, выход представляет собой массив значений пикселей, каждое из которых указывает на сырую интенсивность одного из трех цветов фильтра. Таким образом, необходим алгоритм для оценки для каждого пикселя уровней цвета для всех цветовых компонентов, а не для одного компонента.

Иллюстрация

Для реконструкции полноцветного изображения из данных, собранных массивом цветовой фильтрации, необходима форма интерполяции для заполнения пробелов. Математика здесь подлежит индивидуальной реализации и называется демозаикингом.

В этом примере мы используем бикубическую интерполяцию Adobe Photoshop для моделирования схемы устройства с фильтром Байера, такого как цифровая камера .

Изображение ниже имитирует выходной сигнал от датчика изображения с фильтром Байера; каждый пиксель имеет только красный, зеленый или синий компонент. Соответствующее исходное изображение показано рядом с демозаичной реконструкцией в конце этого раздела.

Цифровая камера обычно имеет средства для реконструкции всего изображения RGB с использованием вышеуказанной информации. Результирующее изображение может быть примерно таким:

Восстановленное изображение обычно является точным в областях однородного цвета, но имеет потерю разрешения (детальности и резкости) и краевые артефакты (например, края букв имеют видимые цветные полосы и некоторую шероховатость).

Алгоритмы

Простая интерполяция

Эти алгоритмы являются примерами многомерной интерполяции на равномерной сетке, использующей относительно простые математические операции над близлежащими экземплярами одного и того же цветового компонента. Самый простой метод — интерполяция ближайшего соседа , которая просто копирует соседний пиксель того же цветового канала. Он не подходит для любого приложения, где качество имеет значение, но может быть полезен для создания предварительных просмотров с учетом ограниченных вычислительных ресурсов. Другой простой метод — билинейная интерполяция , при которой красное значение некрасного пикселя вычисляется как среднее значение двух или четырех соседних красных пикселей, и аналогично для синего и зеленого. Более сложные методы, которые интерполируют независимо в пределах каждой цветовой плоскости, включают бикубическую интерполяцию , сплайновую интерполяцию и повторную выборку Ланцоша .

Хотя эти методы могут давать хорошие результаты в однородных областях изображения, они склонны к серьезным артефактам демозаики в областях с краями и деталями при использовании с CFA чистого цвета. [2] Однако линейная интерполяция может давать очень хорошие результаты в сочетании с пространственно-спектральным (панхроматическим) CFA. [3] Можно использовать простые модели формирования изображений для демозаики. В естественных изображениях в пределах одного сегмента соотношение цветов должно быть сохранено. Этот факт был использован в чувствительной к изображению интерполяции для демозаики. [4]

Корреляция пикселей в изображении

Более сложные алгоритмы демозаики используют пространственную и/или спектральную корреляцию пикселей в цветном изображении. [5] Пространственная корреляция — это тенденция пикселей принимать схожие значения цвета в пределах небольшой однородной области изображения. Спектральная корреляция — это зависимость между значениями пикселей различных цветовых плоскостей в небольшой области изображения.

Эти алгоритмы включают в себя:

Видео сверхвысокое разрешение/демозаика

Было показано, что суперразрешение и демозаика — это две стороны одной и той же проблемы, и разумно решать их в едином контексте. [10] Обратите внимание, что обе эти проблемы сталкиваются с проблемой алиасинга. Поэтому, особенно в случае реконструкции видео (многокадровой), совместный подход суперразрешения и демозаики обеспечивает оптимальное решение.

Компромиссы

Некоторые методы могут давать лучшие результаты для естественных сцен, а некоторые для печатных материалов, например. Это отражает неотъемлемую проблему оценки пикселей, которые не известны окончательно. Естественно, существует также повсеместный компромисс между скоростью и качеством оценки.

Использование в программном обеспечении для компьютерной обработки изображений

Когда у вас есть доступ к необработанным данным изображения с цифровой камеры, вы можете использовать компьютерное программное обеспечение с различными алгоритмами демозаики вместо того, чтобы ограничиваться встроенным в камеру. Несколько программ обработки необработанных изображений, такие как RawTherapee и darktable , дают пользователю возможность выбрать, какой алгоритм следует использовать. Однако большинство программ закодированы для использования одного конкретного метода. Различия в рендеринге мельчайших деталей (и зернистой текстуры), которые возникают из-за выбора алгоритма демозаики, являются одними из основных различий между различными проявителями необработанных изображений; часто фотографы предпочитают определенную программу по эстетическим причинам, связанным с этим эффектом.

Цветовые артефакты, возникающие в результате демозаики, дают важные подсказки для идентификации подделок фотографий. [11]

Смотрите также

Ссылки

  1. ^ Адриан Дэвис; Фил Феннесси (2001). Цифровые изображения для фотографов (Четвертое изд.). Focal Press. ISBN 978-0-240-51590-8.
  2. ^ Lanlan Chang; Yap-Peng Tan (2006). "Демозаика гибридного цветового фильтра для эффективного подавления артефактов" (PDF) . Journal of Electronic Imaging . 15 : 2. Bibcode :2006JEI....15a3003C. doi :10.1117/1.2183325. Архивировано из оригинала (PDF) 29.12.2009.
  3. ^ Хиракава, К. и Вольфе, П. Дж. (2007, сентябрь). Проектирование массива цветных фильтров для повышения точности изображения. В 2007 году Международная конференция IEEE по обработке изображений (т. 2, стр. II-81). IEEE.
  4. ^ Киммел, Р. (1999). Демозаика: восстановление изображений по образцам цветных ПЗС. Труды IEEE по обработке изображений, 8(9), 1221-1228.
  5. ^ Lanlan Chang; Yap-Peng Tan (2006). "Демозаика гибридного цветового фильтра для эффективного подавления артефактов" (PDF) . Journal of Electronic Imaging . 15 : 013003. Bibcode :2006JEI....15a3003C. doi :10.1117/1.2183325. Архивировано из оригинала (PDF) 29.12.2009.
  6. ^ Тинг Чен. "Интерполяция с использованием переменного числа градиентов на основе порога". Архивировано из оригинала 2012-04-22.
  7. ^ Чуан-кай Линь, Портлендский государственный университет (2004). «Группировка пикселей для демозаики цветных фильтров». Архивировано из оригинала 23-09-2016.
  8. ^ Киего Хиракава; Томас В. Паркс (2005). «Алгоритм адаптивной гомогенности-направленной демозаики» (PDF) . Труды IEEE по обработке изображений . 14 (3): 360–369. Bibcode :2005ITIP...14..360H. doi :10.1109/TIP.2004.838691. PMID  15762333. S2CID  37217924.
  9. ^ Декодирование необработанных цифровых фотографий в Linux. Архивировано 19 октября 2016 г. на Wayback Machine , Дэйв Коффин.
  10. ^ Сина Фарсиу; Майкл Элад; Пейман Миланфар (2006). «Многокадровая демозаика и сверхвысокое разрешение цветных изображений» (PDF) . Труды IEEE по обработке изображений . 15 (1): 141–159. Bibcode :2006ITIP...15..141F. CiteSeerX 10.1.1.132.7607 . doi :10.1109/TIP.2005.860336. PMID  16435545. S2CID  2989394. 
  11. ^ YiZhen Huang; YangJing Long (2008). «Распознавание демозаики с приложениями в цифровой аутентификации фотографий на основе модели квадратичной корреляции пикселей» (PDF) . Proc. IEEE Conference on Computer Vision and Pattern Recognition : 1–8. Архивировано из оригинала (PDF) 2010-06-17.

Внешние ссылки