stringtranslate.com

фильтр Байера

Расположение цветных фильтров Байера на матрице пикселей датчика изображения.
Профиль/сечение датчика

Мозаика фильтров Байера представляет собой матрицу цветовых фильтров (CFA) для размещения цветовых фильтров RGB на квадратной сетке фотодатчиков. Особое расположение цветных фильтров используется в большинстве однокристальных цифровых датчиков изображения , используемых в цифровых фотоаппаратах и ​​видеокамерах для создания цветного изображения. Шаблон фильтра наполовину зеленый, одна четверть красная и одна четверть синяя, поэтому его также называют BGGR, RGBG , [1] [2] GRBG , [3] или RGGB . [4]

Он назван в честь своего изобретателя Брайса Байера из Eastman Kodak . Байер также известен своей рекурсивно определенной матрицей, используемой в упорядоченном сглаживании .

Альтернативы фильтру Байера включают как различные модификации цветов и расположения, так и совершенно другие технологии, такие как совместная выборка цвета , датчик Foveon X3 , дихроичные зеркала или прозрачная матрица дифракционных фильтров. [5]

Объяснение

  1. Оригинальная сцена
  2. Выход датчика размером 120×80 пикселей с фильтром Байера
  3. Выходная цветовая кодировка с цветами фильтра Байера
  4. Восстановленное изображение после интерполяции недостающей информации о цвете.
  5. Полная версия RGB с разрешением 120×80 пикселей для сравнения (например, при сканировании пленки может появиться изображение Foveon или изображение со сдвигом пикселей )

В патенте Брайса Байера (патент США № 3971065 [6] ) 1976 года зеленые фотодатчики названы светочувствительными элементами , а красные и синие — цветочувствительными элементами . Он использовал в два раза больше зеленых элементов, чем красных или синих, чтобы имитировать физиологию человеческого глаза . Восприятие яркости сетчатки человека использует комбинацию колбочек M и L во время дневного зрения, которые наиболее чувствительны к зеленому свету. Эти элементы называются сенсорными элементами , датчиками , пиксельными датчиками или просто пикселями ; Воспринятые ими значения выборки после интерполяции становятся пикселями изображения . Когда Байер зарегистрировал свой патент, он также предложил использовать комбинацию голубого, пурпурного и желтого , то есть еще один набор противоположных цветов. В то время такая схема была непрактичной, поскольку необходимых красителей не существовало, но она использовалась в некоторых новых цифровых камерах. Большим преимуществом новых красителей CMY является то, что они обладают улучшенными характеристиками светопоглощения; то есть их квантовая эффективность выше.

Необработанный вывод камер с фильтром Байера называется изображением шаблона Байера . Поскольку каждый пиксель фильтруется для записи только одного из трех цветов, данные каждого пикселя не могут полностью определить каждое из значений красного, зеленого и синего самостоятельно. Чтобы получить полноцветное изображение, можно использовать различные алгоритмы демозаики для интерполяции набора полных значений красного, зеленого и синего для каждого пикселя. Эти алгоритмы используют окружающие пиксели соответствующих цветов для оценки значений конкретного пикселя.

Различные алгоритмы , требующие разной вычислительной мощности, приводят к получению окончательных изображений разного качества. Это можно сделать внутри камеры, создав изображение в формате JPEG или TIFF , или вне камеры, используя необработанные данные непосредственно с датчика. Поскольку вычислительная мощность процессора камеры ограничена, многие фотографы предпочитают выполнять эти операции вручную на персональном компьютере. Чем дешевле камера, тем меньше возможностей влиять на эти функции. В профессиональных камерах функции коррекции изображения полностью отсутствуют, либо их можно отключить. Запись в Raw-формате дает возможность вручную выбирать алгоритм демозаики и управлять параметрами преобразования, что используется не только в потребительской фотографии, но и при решении различных технических и фотометрических задач. [7]

Демозаика

Демозаику можно выполнить разными способами. Простые методы интерполируют значение цвета пикселей одного цвета по соседству. Например, как только чип подвергнется воздействию изображения, можно прочитать каждый пиксель. Пиксель с зеленым фильтром обеспечивает точное измерение зеленого компонента. Красная и синяя компоненты для этого пикселя получаются от соседей. Для зеленого пикселя можно интерполировать двух красных соседей, чтобы получить красное значение, а также можно интерполировать два синих пикселя, чтобы получить синее значение.

Этот простой подход хорошо работает в областях с постоянным цветом или плавными градиентами, но может вызвать такие артефакты, как растекание цвета в областях, где резкие изменения цвета или яркости особенно заметны вдоль острых краев изображения. Из-за этого другие методы демозаики пытаются идентифицировать высококонтрастные края и интерполировать только вдоль этих краев, но не поперек них.

Другие алгоритмы основаны на предположении, что цвет области изображения относительно постоянен даже при изменении условий освещения, поэтому цветовые каналы сильно коррелируют друг с другом. Таким образом, сначала интерполируется зеленый канал, затем красный, а затем синий канал, так что соотношение цветов красный-зеленый и синий-зеленый остается постоянным. Существуют и другие методы, которые делают разные предположения о содержании изображения и пытаются вычислить недостающие значения цвета.

Артефакты

Изображения с мелкими деталями, близкими к пределу разрешения цифрового датчика, могут стать проблемой для алгоритма демозаики, приводя к результату, не похожему на модель. Наиболее частым артефактом является муар , который может проявляться в виде повторяющихся узоров, цветовых артефактов или пикселей, расположенных в нереалистичном лабиринтном узоре.

Артефакт ложного цвета

Распространенным и неудачным артефактом интерполяции или демозаики с помощью массива цветных фильтров (CFA) является то, что известно и рассматривается как ложная окраска. Обычно этот артефакт проявляется вдоль краев, где резкие или неестественные изменения цвета происходят в результате неправильной интерполяции поперек, а не вдоль края. Существуют различные методы предотвращения и удаления этой ложной окраски. Во время демозаики используется плавная интерполяция перехода оттенков, чтобы предотвратить появление ложных цветов в конечном изображении. Однако существуют и другие алгоритмы, которые могут удалять ложные цвета после демозаики. Их преимущество заключается в удалении артефактов ложной окраски из изображения при использовании более надежного алгоритма демозаики для интерполяции красной и синей цветовых плоскостей.

Три изображения, изображающие артефакт демозаики ложного цвета.

Артефакт на молнии

Артефакт застегивания молнии — еще один побочный эффект демозаики CFA, который также возникает в основном по краям и известен как эффект застежки-молнии. Проще говоря, застежка-молния — это другое название размытия краев, которое происходит в виде шаблона включения/выключения вдоль края. Этот эффект возникает, когда алгоритм демозаики усредняет значения пикселей по краю, особенно в красной и синей плоскостях, что приводит к характерному размытию изображения. Как упоминалось ранее, лучшими методами предотвращения этого эффекта являются различные алгоритмы, которые интерполируют вдоль, а не поперек краев изображения. Интерполяция распознавания образов, интерполяция адаптивной цветовой плоскости и направленно-взвешенная интерполяция — все они пытаются предотвратить застегивание застежки-молнии путем интерполяции вдоль краев, обнаруженных на изображении.

Три изображения, изображающие застегивающуюся молнию артефакт демозаики CFA.

Однако даже при наличии теоретически идеального сенсора, способного улавливать и различать все цвета на каждом фотосайте, муар и другие артефакты все равно могут появиться. Это неизбежное последствие любой системы, которая производит выборку непрерывного сигнала через дискретные интервалы или места. По этой причине большинство цифровых фотосенсоров содержат так называемый оптический фильтр нижних частот (OLPF) или фильтр сглаживания (AA) . Обычно это тонкий слой непосредственно перед датчиком, который эффективно размывает любые потенциально проблемные детали, размер которых превышает разрешение датчика.

Модификации

Фильтр Байера практически универсален для бытовых цифровых камер. Альтернативы включают фильтр CYGM ( голубой , желтый , зеленый, пурпурный ) и фильтр RGBE (красный, зеленый, синий, изумрудный ), которые требуют аналогичной демозаики. Датчик Foveon X3 (который накладывает красные, зеленые и синие датчики вертикально, а не использует мозаику) и расположение трех отдельных ПЗС-матриц (по одному для каждого цвета) не требует демозаики.

Панхроматические клетки

Три новых шаблона фильтра Kodak RGBW

14 июня 2007 года компания Eastman Kodak анонсировала альтернативу фильтру Байера: шаблон цветового фильтра, который увеличивает светочувствительность датчика изображения в цифровой камере за счет использования некоторых панхроматических ячеек, чувствительных ко всем длинам волн видимого света и собрать большее количество света, попадающего на датчик. [8] Они представляют несколько шаблонов, но ни один из них не имеет такой маленькой повторяющейся единицы, как единица 2×2 в шаблоне Байера.

Более ранний шаблон фильтра RGBW

В другой патентной заявке США 2007 года, поданной Эдвардом Т. Чангом, заявлен датчик, в котором «цветной фильтр имеет структуру, состоящую из блоков пикселей 2×2, состоящих из одного красного, одного синего, одного зеленого и одного прозрачного пикселя», в конфигурации, предназначенной для включить инфракрасную чувствительность для повышения общей чувствительности. [9] Заявка на патент Kodak была подана ранее. [10]

Такие ячейки ранее использовались в датчиках «CMYW» (голубой, пурпурный, желтый и белый) [11] и «RGBW» (красный, зеленый, синий, белый) [12] , но компания Kodak не сравнивала новый шаблон фильтра с их еще.

Массив цветных фильтров Fujifilm EXR

EXR-датчик

Массив цветных фильтров EXR компании Fujifilm изготавливается как на ПЗС-матрице ( SuperCCD ), так и на КМОП-матрице (BSI CMOS). Как и в случае с SuperCCD, сам фильтр повернут на 45 градусов. В отличие от традиционных конструкций фильтров Байера, всегда есть два соседних фотосайта, определяющих один и тот же цвет. Основная причина использования этого типа массива заключается в том, чтобы способствовать «объединению» пикселей, при котором два соседних фотосайта могут быть объединены, что делает сам датчик более «чувствительным» к свету. Другая причина заключается в том, что датчик записывает две разные экспозиции, которые затем объединяются для создания изображения с более широким динамическим диапазоном. Базовая схема имеет два канала считывания, которые получают информацию из чередующихся рядов датчика. В результате он может действовать как два перемежающихся датчика с разным временем экспозиции для каждой половины фотосайтов. Половину фотосайтов можно намеренно недоэкспонировать, чтобы полностью захватить более яркие участки сцены. Эту сохраненную информацию о ярких участках затем можно смешать с выходными данными другой половины датчика, которая записывает «полную» экспозицию, снова используя близкое расположение фотосайтов одинакового цвета.

Фильтр Fujifilm «X-Trans»

Повторяющаяся сетка 6×6, используемая в датчике x-trans.

Утверждается [13], что CMOS-матрица Fujifilm X-Trans, используемая во многих камерах Fujifilm серии X, обеспечивает лучшую устойчивость к цветовому муару, чем фильтр Байера, и поэтому их можно изготовить без сглаживающего фильтра. Это, в свою очередь, позволяет камерам, использующим этот датчик, достигать более высокого разрешения при том же количестве мегапикселей. Кроме того, утверждается, что новый дизайн снижает количество ложных цветов за счет наличия красных, синих и зеленых пикселей в каждой строке. Также считается, что расположение этих пикселей обеспечивает зернистость , более похожую на пленку.

Одним из основных недостатков пользовательских шаблонов является отсутствие полной поддержки в стороннем программном обеспечении для обработки необработанных изображений , таком как Adobe Photoshop Lightroom [14] , внесение улучшений в которое заняло несколько лет. [15]

Квад Байер

Sony представила массив цветных фильтров Quad Bayer, который впервые был использован в передней камере iPhone 6 , выпущенной в 2014 году. Quad Bayer аналогичен фильтру Байера, однако соседние пиксели 2x2 имеют один и тот же цвет, шаблон 4x4 включает 4 синих, 4 красных, и 8x зеленый. [16] Для более темных сцен обработка сигнала может объединять данные из каждой группы 2x2, по сути, как больший пиксель. Для более ярких сцен обработка сигнала может преобразовать Quad Bayer в обычный фильтр Байера для достижения более высокого разрешения. [17] Пиксели в Quad Bayer можно использовать в режиме долгосрочной и кратковременной интеграции для достижения одиночного HDR, уменьшая проблемы смешивания. [18] Quad Bayer также известен как Tetracell от Samsung , 4-cell от OmniVision , [17] [19] и Quad CFA (QCFA) от Qualcomm . [20]

26 марта 2019 года была анонсирована серия Huawei P30 с RYYB Quad Bayer с рисунком 4x4, состоящим из 4 синих, 4 красных и 8 желтых. [21]

Нонаселл

12 февраля 2020 года был анонсирован Samsung Galaxy S20 Ultra с Nonacell CFA. Nonacell CFA похож на фильтр Байера, однако соседние пиксели 3x3 имеют один и тот же цвет, шаблон 6x6 содержит 9 синих, 9 красных и 18 зеленых. [22]

Смотрите также

Рекомендации

Первая страница патента Брайса Байера 1976 года на мозаику шаблонного фильтра Байера, показывающая его терминологию светочувствительных и цветочувствительных элементов.

Примечания

  1. ^ Джефф Мэзер (2008). «Добавление L* в RGBG». Архивировано из оригинала 13 июля 2011 г. Проверено 18 февраля 2011 г.
  2. ^ dpreview.com (2000). «Sony анонсирует три новые цифровые камеры». Архивировано из оригинала 21 июля 2011 г.
  3. ^ Маргарет Браун (2004). Продвинутая цифровая фотография. Издательство СМИ. ISBN 0-9581888-5-8.
  4. ^ Томас Машке (2004). Digitale Kameratechnik: Цифровые камеры в теории и практике. Спрингер. ISBN 3-540-40243-8. Архивировано из оригинала 09.01.2019 . Проверено 23 сентября 2016 г.
  5. ^ Ван, Пэн; Менон, Раджеш (29 октября 2015 г.). «Цветное изображение сверхвысокой чувствительности с помощью прозрачной матрицы дифракционных фильтров и вычислительной оптики». Оптика . 2 (11): 933. Бибкод : 2015Оптика...2..933W. дои : 10.1364/optica.2.000933 .
  6. ^ «Патент US3971065 — Массив цветных изображений — Патенты Google» . Архивировано из оригинала 11 августа 2013 г. Проверено 23 апреля 2013 г.
  7. ^ Черемхин П.А., Лесничий В.В. и Петров Н.В. (2014). «Использование спектральных характеристик зеркальных фотоаппаратов с датчиками фильтра Байера». Физический журнал: серия конференций . 536 (1): 012021. Бибкод : 2014JPhCS.536a2021C. дои : 10.1088/1742-6596/536/1/012021 .{{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
  8. ^ Джон Комптон и Джон Гамильтон (14 июня 2007 г.). «Массив цветных фильтров 2.0». Тысяча ботаников: блог Kodak . Архивировано из оригинала 20 июля 2007 г. Проверено 25 февраля 2011 г.
  9. ^ «Патентная публикация США 20070145273 «Высокочувствительная инфракрасная цветная камера»» . Архивировано из оригинала 22 февраля 2017 г.
  10. ^ «Заявка на патент США 20070024879 «Обработка цветных и панхроматических пикселей»» . Архивировано из оригинала 21 декабря 2016 г.
  11. ^ ЖЖ д'Луна; и другие. (1989). «Постпроцессор цифрового видеосигнала для датчиков цветного изображения». 1989 г. Материалы конференции IEEE по пользовательским интегральным схемам . Том. 1989. стр. 24.2/1–24.2/4. дои : 10.1109/CICC.1989.56823. S2CID  61954103. Можно использовать различные шаблоны CFA с различными сочетаниями красного, зеленого и синего (RGB) или голубого, пурпурного, желтого и белого (CMYW) цветов.
  12. ↑ Сугияма, Тошинобу, заявка на патент США 20050231618, «Устройство захвата изображения». Архивировано 22 февраля 2017 г. на Wayback Machine , подана 30 марта 2005 г.
  13. ^ «Сенсорная технология Fujifilm X-Trans» . Архивировано из оригинала 9 апреля 2012 г. Проверено 15 марта 2012 г.
  14. ^ Диалло, Амаду. «Проверена обработка сенсора Adobe Fujifilm X-Trans» . dpreview.com . Архивировано из оригинала 21 октября 2016 года . Проверено 20 октября 2016 г.
  15. ^ «Adobe улучшает обработку X-Trans в обновлении Lightroom CC: обещает еще больше» . Блог фотографии Томаса Фицджеральда. 17 июня 2015 года. Архивировано из оригинала 21 октября 2016 года . Проверено 20 октября 2016 г.
  16. ^ «Sony выпускает многослойный CMOS-датчик изображения для смартфонов с самым высоким в отрасли числом эффективных пикселей — 48» . Sony Global — Глобальная штаб-квартира Sony . Архивировано из оригинала 5 сентября 2019 г. Проверено 16 августа 2019 г.
  17. ^ ab «Как Tetracell обеспечивает кристально чистые фотографии днем ​​и ночью | Глобальный веб-сайт Samsung Semiconductor» . www.samsung.com . Архивировано из оригинала 16 августа 2019 г. Проверено 16 августа 2019 г.
  18. ^ "IMX294CJK | Sony Semiconductor Solutions" . Корпорация Sony Semiconductor Solutions . Архивировано из оригинала 16 августа 2019 г. Проверено 16 августа 2019 г.
  19. ^ «Релизы продуктов | Новости и события | OmniVision» . www.ovt.com . Архивировано из оригинала 16 августа 2019 г. Проверено 16 августа 2019 г.
  20. ^ США ожидает рассмотрения 20200280659, «Конфигурации датчиков камеры с четырьмя цветными фильтрами» 
  21. ^ «Часть 4: Non-Bayer CFA, фазовый автофокус (PDAF) | TechInsights» . techinsights.com . Архивировано из оригинала 16 августа 2019 г. Проверено 16 августа 2019 г.
  22. ^ «108-мегапиксельная камера Samsung ISOCELL Bright HM1 обеспечивает более яркие изображения сверхвысокого разрешения благодаря первой в отрасли технологии Nonacell» . news.samsung.com . Архивировано из оригинала 12 февраля 2020 г. Проверено 14 февраля 2020 г.

Внешние ссылки