Демозаика (или демозаика , демозаика ), также известная как реконструкция цвета , представляет собой алгоритм цифровой обработки изображений , используемый для реконструкции полноцветного изображения из неполных цветовых образцов, выводимых с датчика изображения, наложенных на массив цветовых фильтров (CFA), например, фильтр Байера . Она также известна как интерполяция CFA или дебайеризация .
Большинство современных цифровых камер получают изображения с помощью одного датчика изображения, на который наложен CFA, поэтому демозаика является частью конвейера обработки , необходимого для преобразования этих изображений в пригодный для просмотра формат.
Многие современные цифровые камеры могут сохранять изображения в формате RAW, что позволяет пользователю демозаику с помощью программного обеспечения, а не с помощью встроенной прошивки камеры .
Целью алгоритма демозаики является реконструкция полноцветного изображения (т.е. полного набора цветовых троек) из пространственно недовыбранных цветовых каналов, выведенных из CFA. Алгоритм должен иметь следующие черты:
Массив цветных фильтров представляет собой мозаику цветных фильтров перед датчиком изображения. В коммерческих целях наиболее часто используемой конфигурацией CFA является фильтр Байера, показанный здесь. Он имеет чередующиеся красные (R) и зеленые (G) фильтры для нечетных рядов и чередующиеся зеленые (G) и синие (B) фильтры для четных рядов. Зеленых фильтров в два раза больше, чем красных или синих, что соответствует более высокой чувствительности человеческого глаза к зеленому свету.
Поскольку цветовая субдискретизация CFA по своей природе приводит к наложению спектров , оптический фильтр сглаживания обычно помещается на оптическом пути между датчиком изображения и объективом, чтобы уменьшить ложные цветовые артефакты (хроматические наложения), вносимые интерполяцией. [1]
Поскольку каждый пиксель сенсора находится за цветным фильтром, выход представляет собой массив значений пикселей, каждое из которых указывает на сырую интенсивность одного из трех цветов фильтра. Таким образом, необходим алгоритм для оценки для каждого пикселя уровней цвета для всех цветовых компонентов, а не для одного компонента.
Для реконструкции полноцветного изображения из данных, собранных массивом цветовой фильтрации, необходима форма интерполяции для заполнения пробелов. Математика здесь подлежит индивидуальной реализации и называется демозаикингом.
В этом примере мы используем бикубическую интерполяцию Adobe Photoshop для моделирования схемы устройства с фильтром Байера, такого как цифровая камера .
Изображение ниже имитирует выходной сигнал от датчика изображения с фильтром Байера; каждый пиксель имеет только красный, зеленый или синий компонент. Соответствующее исходное изображение показано рядом с демозаичной реконструкцией в конце этого раздела.
Цифровая камера обычно имеет средства для реконструкции всего изображения RGB с использованием вышеуказанной информации. Результирующее изображение может быть примерно таким:
Восстановленное изображение обычно является точным в областях однородного цвета, но имеет потерю разрешения (детальности и резкости) и краевые артефакты (например, края букв имеют видимые цветные полосы и некоторую шероховатость).
Эти алгоритмы являются примерами многомерной интерполяции на равномерной сетке, использующей относительно простые математические операции над близлежащими экземплярами одного и того же цветового компонента. Самый простой метод — интерполяция ближайшего соседа , которая просто копирует соседний пиксель того же цветового канала. Он не подходит для любого приложения, где важно качество, но может быть полезен для создания предпросмотров с учетом ограниченных вычислительных ресурсов. Другой простой метод — билинейная интерполяция , при которой красное значение некрасного пикселя вычисляется как среднее значение двух или четырех соседних красных пикселей, и аналогично для синего и зеленого. Более сложные методы, которые интерполируют независимо в каждой цветовой плоскости, включают бикубическую интерполяцию , сплайновую интерполяцию и повторную выборку Ланцоша .
Хотя эти методы могут давать хорошие результаты в однородных областях изображения, они склонны к серьезным артефактам демозаики в областях с краями и деталями при использовании с CFA чистого цвета. [2] Однако линейная интерполяция может давать очень хорошие результаты в сочетании с пространственно-спектральным (панхроматическим) CFA. [3] Можно использовать простые модели формирования изображений для демозаики. В естественных изображениях в пределах одного сегмента соотношение цветов должно быть сохранено. Этот факт был использован в чувствительной к изображению интерполяции для демозаики. [4]
Более сложные алгоритмы демозаики используют пространственную и/или спектральную корреляцию пикселей в цветном изображении. [5] Пространственная корреляция — это тенденция пикселей принимать схожие значения цвета в пределах небольшой однородной области изображения. Спектральная корреляция — это зависимость между значениями пикселей различных цветовых плоскостей в небольшой области изображения.
Эти алгоритмы включают в себя:
Было показано, что суперразрешение и демозаика — это две стороны одной и той же проблемы, и разумно решать их в едином контексте. [10] Обратите внимание, что обе эти проблемы сталкиваются с проблемой алиасинга. Поэтому, особенно в случае реконструкции видео (многокадровой), совместный подход суперразрешения и демозаики обеспечивает оптимальное решение.
Некоторые методы могут давать лучшие результаты для естественных сцен, а некоторые для печатных материалов, например. Это отражает неотъемлемую проблему оценки пикселей, которые не известны окончательно. Естественно, существует также повсеместный компромисс между скоростью и качеством оценки.
Когда у вас есть доступ к необработанным данным изображения с цифровой камеры, вы можете использовать компьютерное программное обеспечение с различными алгоритмами демозаики вместо того, чтобы ограничиваться встроенным в камеру. Несколько программ обработки необработанных изображений, такие как RawTherapee и darktable , дают пользователю возможность выбрать, какой алгоритм следует использовать. Однако большинство программ закодированы для использования одного конкретного метода. Различия в рендеринге мельчайших деталей (и зернистой текстуры), которые возникают из-за выбора алгоритма демозаики, являются одними из основных различий между различными проявителями необработанных изображений; часто фотографы предпочитают определенную программу по эстетическим причинам, связанным с этим эффектом.
Цветовые артефакты, возникающие в результате демозаики, дают важные подсказки для идентификации подделок фотографий. [11]