Мозаика фильтра Байера — это массив цветных фильтров (CFA) для размещения цветных фильтров RGB на квадратной сетке фотодатчиков. Его особое расположение цветных фильтров используется в большинстве однокристальных цифровых датчиков изображения, используемых в цифровых фотоаппаратах и камкордерах для создания цветного изображения. Шаблон фильтра наполовину зеленый, на четверть красный и на четверть синий, поэтому его также называют BGGR , RGBG , [1] [2] GRBG , [3] или RGGB . [4]
Он назван в честь своего изобретателя, Брайса Байера из Eastman Kodak . Байер также известен своей рекурсивно определенной матрицей, используемой в упорядоченном сглаживании .
Альтернативы фильтру Байера включают как различные модификации цветов и компоновки, так и совершенно другие технологии, такие как цветовая совместная выборка , датчик Foveon X3 , дихроичные зеркала или прозрачная матрица дифракционных фильтров. [5]
Патент Брайса Байера (патент США № 3,971,065 [6] ) в 1976 году назвал зеленые фотосенсоры элементами, чувствительными к яркости , а красные и синие — элементами, чувствительными к цвету . Он использовал вдвое больше зеленых элементов, чем красных или синих, чтобы имитировать физиологию человеческого глаза . Восприятие яркости сетчаткой человека использует объединенные колбочки M и L во время дневного зрения, которые наиболее чувствительны к зеленому свету. Эти элементы называются сенсорными элементами , сенсорами , пиксельными датчиками или просто пикселями ; значения выборки, воспринимаемые ими, после интерполяции становятся пикселями изображения . В то время, когда Байер регистрировал свой патент, он также предложил использовать комбинацию голубого, пурпурного и желтого , то есть еще один набор противоположных цветов. Такое расположение было непрактичным в то время, поскольку необходимых красителей не существовало, но используется в некоторых новых цифровых камерах. Большим преимуществом новых красителей CMY является то, что они обладают улучшенной характеристикой поглощения света; то есть их квантовая эффективность выше.
Необработанный вывод камер с фильтром Байера называется изображением шаблона Байера . Поскольку каждый пиксель фильтруется для записи только одного из трех цветов, данные из каждого пикселя не могут полностью определить каждое из значений красного, зеленого и синего по отдельности. Чтобы получить полноцветное изображение, можно использовать различные алгоритмы демозаики для интерполяции набора полных значений красного, зеленого и синего для каждого пикселя. Эти алгоритмы используют окружающие пиксели соответствующих цветов для оценки значений для конкретного пикселя.
Различные алгоритмы, требующие разной вычислительной мощности, приводят к получению конечных изображений разного качества. Это можно сделать в камере, создав изображение в формате JPEG или TIFF , или вне камеры, используя необработанные данные непосредственно с сенсора. Поскольку вычислительная мощность процессора камеры ограничена, многие фотографы предпочитают выполнять эти операции вручную на персональном компьютере. Чем дешевле камера, тем меньше возможностей влиять на эти функции. В профессиональных камерах функции коррекции изображения полностью отсутствуют или их можно отключить. Запись в формате Raw дает возможность вручную выбирать алгоритм демозаики и управлять параметрами преобразования, что используется не только в потребительской фотографии, но и при решении различных технических и фотометрических задач. [7]
Демозаику можно выполнять разными способами. Простые методы интерполируют значение цвета пикселей одного цвета в окрестности. Например, как только чип подвергся воздействию изображения, каждый пиксель может быть считан. Пиксель с зеленым фильтром обеспечивает точное измерение зеленого компонента. Красный и синий компоненты для этого пикселя получаются от соседей. Для зеленого пикселя два красных соседа могут быть интерполированы для получения красного значения, также два синих пикселя могут быть интерполированы для получения синего значения.
Этот простой подход хорошо работает в областях с постоянным цветом или плавными градиентами, но он может вызывать артефакты, такие как цветовое кровотечение в областях, где есть резкие изменения цвета или яркости, особенно заметные вдоль резких краев изображения. Из-за этого другие методы демозаики пытаются идентифицировать высококонтрастные края и интерполировать только вдоль этих краев, но не поперек них.
Другие алгоритмы основаны на предположении, что цвет области на изображении относительно постоянен даже при изменении условий освещения, так что цветовые каналы сильно коррелируют друг с другом. Поэтому сначала интерполируется зеленый канал, затем красный, а затем синий канал, так что цветовые соотношения красный-зеленый и сине-зеленый соответственно постоянны. Существуют и другие методы, которые делают другие предположения о содержании изображения и, начиная с этого, пытаются вычислить недостающие цветовые значения.
Изображения с мелкими деталями, близкими к пределу разрешения цифрового сенсора, могут стать проблемой для алгоритма демозаики, создавая результат, который не похож на модель. Наиболее частым артефактом является муар , который может выглядеть как повторяющиеся узоры, цветовые артефакты или пиксели, расположенные в нереалистичном лабиринтоподобном узоре.
Распространенным и неприятным артефактом интерполяции Color Filter Array (CFA) или демозаики является то, что известно и рассматривается как ложная окраска. Обычно этот артефакт проявляется вдоль краев, где резкие или неестественные сдвиги цвета происходят в результате неправильной интерполяции поперек, а не вдоль края. Существуют различные методы предотвращения и удаления этой ложной окраски. Плавная интерполяция перехода оттенков используется во время демозаики, чтобы предотвратить проявление ложных цветов в конечном изображении. Однако существуют и другие алгоритмы, которые могут удалять ложные цвета после демозаики. Они имеют преимущество удаления ложных артефактов окраски с изображения при использовании более надежного алгоритма демозаики для интерполяции красной и синей цветовых плоскостей.
Артефакт застежки-молнии — еще один побочный эффект демозаики CFA, который также происходит в основном вдоль краев, известен как эффект застежки-молнии. Проще говоря, застежки-молнии — это еще одно название размытия краев, которое происходит по схеме включения/выключения вдоль края. Этот эффект возникает, когда алгоритм демозаики усредняет значения пикселей по краю, особенно в красной и синей плоскостях, что приводит к его характерному размытию. Как упоминалось ранее, лучшими методами предотвращения этого эффекта являются различные алгоритмы, которые интерполируют вдоль, а не поперек краев изображения. Интерполяция распознавания образов, адаптивная интерполяция цветовой плоскости и направленно-взвешенная интерполяция — все это попытки предотвратить застежку-молнию путем интерполяции вдоль краев, обнаруженных на изображении.
Однако даже при наличии теоретически идеального сенсора, способного улавливать и различать все цвета на каждом фотосайте, муар и другие артефакты все равно могут появиться. Это неизбежное следствие любой системы, которая производит выборку в противном случае непрерывного сигнала через дискретные интервалы или в определенных местах. По этой причине большинство фотографических цифровых сенсоров включают в себя то, что называется оптическим фильтром нижних частот (OLPF) или фильтром сглаживания (AA) . Обычно это тонкий слой непосредственно перед сенсором, который работает, эффективно размывая любые потенциально проблемные детали, которые мельче разрешения сенсора.
Фильтр Байера практически универсален для потребительских цифровых камер. Альтернативы включают фильтр CYGM ( голубой , желтый , зеленый, пурпурный ) и фильтр RGBE (красный, зеленый, синий, изумрудный ), которые требуют аналогичной демозаики. Датчик Foveon X3 (который накладывает красные, зеленые и синие датчики вертикально, а не использует мозаику) и расположение трех отдельных ПЗС (по одному на каждый цвет) не требует демозаики.
14 июня 2007 года компания Eastman Kodak анонсировала альтернативу фильтру Байера: шаблон цветного фильтра, который увеличивает светочувствительность датчика изображения цифровой камеры за счет использования некоторых панхроматических ячеек, чувствительных ко всем длинам волн видимого света и собирающих большее количество света, падающего на датчик. [8] Они представляют несколько шаблонов, но ни один из них не имеет повторяющейся единицы, такой маленькой, как единица 2×2 шаблона Байера.
В другой патентной заявке США 2007 года, поданной Эдвардом Т. Чангом, утверждается, что датчик, в котором «цветной фильтр имеет шаблон, состоящий из 2×2 блоков пикселей, состоящих из одного красного, одного синего, одного зеленого и одного прозрачного пикселя», в конфигурации, предназначенной для включения инфракрасной чувствительности для более высокой общей чувствительности. [9] Патентная заявка Kodak была подана раньше. [10]
Подобные ячейки ранее использовались в датчиках «CMYW» (голубой, пурпурный, желтый и белый) [11] и «RGBW» (красный, зеленый, синий, белый) [12] , но Kodak пока не сравнивала с ними новый шаблон фильтра.
Цветовые фильтры EXR от Fujifilm производятся как в ПЗС ( SuperCCD ), так и в КМОП (BSI CMOS). Как и в случае с SuperCCD, сам фильтр повернут на 45 градусов. В отличие от обычных конструкций фильтра Байера, всегда есть два соседних фотоэлемента, обнаруживающих один и тот же цвет. Основная причина для этого типа массива — способствовать «биннингу» пикселей, когда два соседних фотоэлемента могут быть объединены, что делает сам датчик более «чувствительным» к свету. Другая причина заключается в том, что датчик должен записывать две разные экспозиции, которые затем объединяются для получения изображения с большим динамическим диапазоном. Базовая схема имеет два канала считывания, которые берут свою информацию из чередующихся рядов датчика. В результате он может действовать как два чередующихся датчика с разным временем экспозиции для каждой половины фотоэлементов. Половина фотоэлементов может быть намеренно недоэкспонирована, чтобы они полностью захватывали более яркие области сцены. Эту сохраненную информацию о светлых участках затем можно объединить с выходным сигналом другой половины сенсора, которая регистрирует «полную» экспозицию, снова используя близкое расположение схожих по цвету фотоэлементов.
Датчик Fujifilm X-Trans CMOS, используемый во многих камерах Fujifilm X-серии , как утверждается [13], обеспечивает лучшую устойчивость к цветному муару, чем фильтр Байера, и, таким образом, они могут быть изготовлены без фильтра сглаживания. Это, в свою очередь, позволяет камерам, использующим датчик, достигать более высокого разрешения при том же количестве мегапикселей. Кроме того, утверждается, что новая конструкция снижает частоту появления ложных цветов, имея красные, синие и зеленые пиксели в каждой строке. Также утверждается, что расположение этих пикселей обеспечивает зернистость, более похожую на пленку.
Одним из главных недостатков пользовательских шаблонов является то, что они могут не иметь полной поддержки в стороннем программном обеспечении для обработки необработанных изображений , таком как Adobe Photoshop Lightroom [14] , где добавление улучшений занимало несколько лет. [15]
Sony представила массив цветных фильтров Quad Bayer, который впервые появился в фронтальной камере iPhone 6 , выпущенной в 2014 году. Quad Bayer похож на фильтр Байера, однако соседние пиксели 2x2 имеют один и тот же цвет, шаблон 4x4 содержит 4x синего, 4x красного и 8x зеленого. [16] Для более темных сцен обработка сигнала может объединять данные из каждой группы 2x2, по сути, как более крупный пиксель. Для более ярких сцен обработка сигнала может преобразовать Quad Bayer в обычный фильтр Байера для достижения более высокого разрешения. [17] Пиксели в Quad Bayer могут работать в режиме долговременной интеграции и кратковременной интеграции для достижения HDR за один снимок, что снижает проблемы смешивания. [18] Quad Bayer также известен как Tetracell от Samsung , 4-cell от OmniVision , [17] [19] и Quad CFA (QCFA) от Qualcomm . [20]
26 марта 2019 года была анонсирована серия Huawei P30 с RYYB Quad Bayer и рисунком 4x4, включающим 4x синего, 4x красного и 8x желтого цветов. [21]
12 февраля 2020 года был анонсирован Samsung Galaxy S20 Ultra с Nonacell CFA. Nonacell CFA похож на фильтр Байера, однако соседние пиксели 3x3 имеют одинаковый цвет, а шаблон 6x6 содержит 9x синего, 9x красного и 18x зеленого. [22]
{{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )Можно использовать разнообразные шаблоны CFA с различными расположениями красного, зеленого и синего (RGB) или голубого, пурпурного, желтого и белого (CMYW) цветов.