Демозаика (или демозаика , демозаика ), также известная как реконструкция цвета , представляет собой алгоритм цифровой обработки изображений , используемый для восстановления полноцветного изображения из неполных образцов цвета, выводимых с датчика изображения , с наложением массива цветовых фильтров (CFA), такого как фильтр Байера . Это также известно как интерполяция CFA или дебайеризация .
Большинство современных цифровых камер получают изображения с помощью одного датчика изображения, наложенного на CFA, поэтому демозаика является частью конвейера обработки , необходимой для преобразования этих изображений в видимый формат.
Многие современные цифровые камеры могут сохранять изображения в необработанном формате, что позволяет пользователю демозаизировать их с помощью программного обеспечения, а не встроенной прошивки камеры .
Целью алгоритма демозаики является восстановление полноцветного изображения (т.е. полного набора цветовых троек) из пространственно субдискретизированных цветовых каналов , выводимых из CFA. Алгоритм должен иметь следующие особенности:
Массив цветных фильтров представляет собой мозаику цветных фильтров перед датчиком изображения. В коммерческих целях наиболее часто используемой конфигурацией CFA является фильтр Байера, показанный здесь. Он имеет чередующиеся красные (R) и зеленые (G) фильтры для нечетных строк и чередующиеся зеленые (G) и синие (B) фильтры для четных строк. Зеленых фильтров в два раза больше, чем красных или синих, что обеспечивает более высокую чувствительность человеческого глаза к зеленому свету.
Поскольку субдискретизация цвета CFA по своей природе приводит к сглаживанию , оптический фильтр сглаживания обычно размещается на оптическом пути между датчиком изображения и объективом, чтобы уменьшить артефакты ложного цвета (хроматические псевдонимы), вносимые интерполяцией. [1]
Поскольку каждый пиксель датчика находится за цветовым фильтром, выходные данные представляют собой массив значений пикселей, каждое из которых указывает необработанную интенсивность одного из трех цветов фильтра. Таким образом, необходим алгоритм для оценки для каждого пикселя уровней цвета всех компонентов цвета, а не одного компонента.
Чтобы восстановить полноцветное изображение на основе данных, собранных массивом цветовой фильтрации, необходима форма интерполяции для заполнения пробелов. Математика здесь подлежит индивидуальной реализации и называется демозаикой.
В этом примере мы используем бикубическую интерполяцию Adobe Photoshop для моделирования схемы устройства с фильтром Байера, такого как цифровая камера .
Изображение ниже имитирует выходной сигнал датчика изображения с фильтром Байера; каждый пиксель имеет только красный, зеленый или синий компонент. Соответствующее исходное изображение показано рядом с демозаичной реконструкцией в конце этого раздела.
Цифровая камера обычно имеет средства для восстановления всего изображения RGB с использованием приведенной выше информации. Итоговое изображение может быть примерно таким:
Реконструированное изображение обычно является точным в областях однородного цвета, но имеет потерю разрешения (детализации и резкости) и имеет краевые артефакты (например, края букв имеют видимые цветные полосы и некоторую шероховатость).
Эти алгоритмы являются примерами многомерной интерполяции на однородной сетке, использующей относительно простые математические операции над соседними экземплярами одного и того же цветового компонента. Самый простой метод — это интерполяция ближайшего соседа, которая просто копирует соседний пиксель того же цветового канала. Он непригоден для любого приложения, где качество имеет значение, но может быть полезен для создания предварительного просмотра при ограниченных вычислительных ресурсах. Другой простой метод — билинейная интерполяция , при которой значение красного некрасного пикселя вычисляется как среднее значение двух или четырех соседних красных пикселей, и аналогично для синего и зеленого. Более сложные методы, которые интерполируют независимо внутри каждой цветовой плоскости, включают бикубическую интерполяцию , сплайн-интерполяцию и повторную выборку Ланцоша .
Хотя эти методы могут дать хорошие результаты в однородных областях изображения, они склонны к серьезным артефактам демозаики в областях с краями и деталями при использовании с чистоцветными CFA. [2] Однако линейная интерполяция может дать очень хорошие результаты в сочетании с пространственно-спектральной (панхроматической) CFA. [3] Для демозаики можно использовать простые модели формирования изображений. В естественных изображениях в пределах одного сегмента соотношение цветов должно сохраняться. Этот факт был использован в чувствительной к изображению интерполяции для демозаики. [4]
Более сложные алгоритмы демозаики используют пространственную и/или спектральную корреляцию пикселей цветного изображения. [5] Пространственная корреляция — это тенденция пикселей принимать одинаковые значения цвета в небольшой однородной области изображения. Спектральная корреляция — это зависимость между значениями пикселей разных цветовых плоскостей в небольшой области изображения.
Эти алгоритмы включают в себя:
Показано, что сверхразрешение и демозаика — две стороны одной и той же проблемы и их разумно рассматривать в едином контексте. [10] Обратите внимание, что обе эти проблемы сталкиваются с проблемой псевдонимов. Поэтому, особенно в случае реконструкции видео (многокадровой), совместный подход сверхразрешения и демозаики обеспечивает оптимальное решение.
Некоторые методы могут дать лучшие результаты для природных сцен, а некоторые, например, для печатных материалов. Это отражает внутреннюю проблему оценки пикселей, которые точно не известны. Естественно, существует также повсеместный компромисс между скоростью и качеством оценки.
Когда у вас есть доступ к необработанным данным изображения с цифровой камеры, вы можете использовать компьютерное программное обеспечение с множеством различных алгоритмов демозаики, а не ограничиваться тем, который встроен в камеру. Некоторые программы разработки, такие как RawTherapee и darktable , дают пользователю возможность выбрать, какой алгоритм следует использовать. Однако большинство программ запрограммировано на использование одного конкретного метода. Различия в рендеринге мельчайших деталей (и зернистой текстуры), возникающие в результате выбора алгоритма демозаики, являются одними из основных различий между различными разработчиками RAW; часто фотографы отдают предпочтение определенной программе по эстетическим соображениям, связанным с этим эффектом.
Цветовые артефакты, возникающие из-за демозаики, служат важным ключом к выявлению подделок фотографий. [11]