Фотометрическое стерео

Фотометрическое стерео — это метод в компьютерном зрении для оценки нормалей поверхности объектов путем наблюдения за этим объектом при различных условиях освещения ( фотометрия ). Он основан на том факте, что количество света, отраженного поверхностью, зависит от ориентации поверхности по отношению к источнику света и наблюдателю. ^[1] Измеряя количество света, отраженного в камеру, ограничивается пространство возможных ориентаций поверхности. При наличии достаточного количества источников света с разных углов ориентация поверхности может быть ограничена одной ориентацией или даже чрезмерно ограничена.

Первоначально этот метод был представлен Вудхэмом в 1980 году. ^[2] Особый случай, когда данные представляют собой одно изображение, известен как форма из затенения и был проанализирован Б.К.П. Хорном в 1989 году. ^[3] Фотометрическое стерео с тех пор было обобщено на многие другие ситуации, включая протяженные источники света и неламбертовские поверхности . Текущие исследования направлены на то, чтобы заставить метод работать при наличии проецируемых теней, бликов и неравномерного освещения.

Базовый метод

При исходных предположениях Вудхэма — ламбертовской отражательной способности , известных точечных удаленных источниках света и равномерном альбедо — задачу можно решить, обратив линейное уравнение , где — (известный) вектор наблюдаемых интенсивностей, — (неизвестная) нормаль к поверхности, — (известная) матрица нормализованных направлений света. $I=L\cdot n$ $Я$ $м$ $n$ $L$ $3\times m$

Эту модель можно легко распространить на поверхности с неравномерным альбедо, сохраняя при этом линейную задачу. ^[4] Принимая отражательную способность альбедо равной , формула для интенсивности отраженного света становится: $к$

I=k(L\cdot n)

Если является квадратным (имеется ровно 3 источника света) и не является единичным, то его можно инвертировать, что даст: $L$

L^{-1}I=kn

Поскольку известно, что нормальный вектор имеет длину 1, должна быть длиной вектора , а является нормализованным направлением этого вектора. Если не является квадратом (имеется более 3 источников света), обобщение обратного может быть получено с помощью псевдообратного уравнения Мура–Пенроуза ^[5] , просто умножив обе стороны на , что дает: $к$ $кн$ $n$ $L$ $L^{T}$

L^{T}I=L^{T}k(L\cdot n)

(L^{T}L)^{-1}L^{T}I=kn

После этого вектор нормали и альбедо можно решить, как описано выше.

Неламбертовские поверхности

Классическая фотометрическая стереопроблема касается только ламбертовых поверхностей с идеально рассеянным отражением. Это нереально для многих типов материалов, особенно металлов, стекла и гладких пластиков, и приведет к аберрациям в результирующих нормальных векторах.

Было разработано много методов, чтобы снять это предположение. В этом разделе перечислены некоторые из них.

Зеркальные отражения

Исторически сложилось так, что в компьютерной графике обычно используемая модель для визуализации поверхностей начиналась с ламбертовских поверхностей и сначала прогрессировала, включив простые зеркальные отражения . Компьютерное зрение следовало схожим курсом с фотометрическим стерео. Зеркальные отражения были одними из первых отклонений от ламбертовской модели. Вот несколько адаптаций, которые были разработаны.

Многие методы в конечном итоге полагаются на моделирование функции отражения поверхности, то есть, сколько света отражается в каждом направлении. ^[6] Эта функция отражения должна быть обратимой . Интенсивность отраженного света в направлении камеры измеряется, и обратная функция отражения подгоняется под измеренные интенсивности, что приводит к уникальному решению для вектора нормали.

Общие BRDF и не только

Согласно модели функции распределения двунаправленного отражения (BRDF), поверхность может распределять количество света, которое она получает, в любом направлении наружу. Это наиболее общая известная модель для непрозрачных поверхностей. Были разработаны некоторые методы для моделирования (почти) общих BRDF. На практике все они требуют множества источников света для получения надежных данных. Это методы, с помощью которых можно измерить поверхности с общими BRDF.

Определите явный BRDF до сканирования. ^[7] Для этого требуется другая поверхность, которая имеет такой же или очень похожий BRDF, фактическая геометрия которой (или, по крайней мере, векторы нормалей для многих точек на поверхности) уже известна. ^[8] Затем свет индивидуально освещается на известной поверхности, и измеряется величина отражения в камеру. Используя эту информацию, можно создать таблицу соответствия, которая сопоставляет отраженную интенсивность для каждого источника света со списком возможных векторов нормалей. Это накладывает ограничения на возможные векторы нормалей, которые может иметь поверхность, и сводит задачу фотометрического стерео к интерполяции между измерениями. Типичные известные поверхности для калибровки таблицы соответствия — это сферы для их широкого спектра ориентаций поверхности.
Ограничение BRDF симметричностью. ^[9] Если BRDF симметричен, направление света можно ограничить конусом относительно направления на камеру. Какой это конус, зависит от самого BRDF, нормального вектора поверхности и измеренной интенсивности. При наличии достаточного количества измеренных интенсивностей и полученных направлений света эти конусы можно аппроксимировать, а значит, и нормальные векторы поверхности.

Некоторый прогресс был достигнут в моделировании даже более общих поверхностей, таких как пространственно-изменяющиеся двунаправленные функции распределения (SVBRDF), двунаправленные функции распределения отражательной способности рассеивания поверхности (BSSRDF) и учет взаимных отражений . ^[10]^[11] Однако такие методы все еще довольно ограничены в фотометрическом стерео. Лучшие результаты были достигнуты с использованием структурированного света . ^[12]

Смотрите также

Ссылки

^ Ин Ву. "Радиометрия, BRDF и фотометрическое стерео" (PDF) . Северо-Западный университет . Получено 25.03.2015 .
^ Вудхэм, Р. Дж. 1980. Фотометрический метод определения ориентации поверхности по нескольким изображениям. Optical Engineerings 19, I, 139-144.
^ BKP Horn, 1989. Получение формы из информации о затенении. В BKP Horn и MJ Brooks, ред., Форма из затенения, страницы 121–171. MIT Press.
^ S. Barsky и Maria Petrou, 2003. Метод фотометрического стерео с 4 источниками для 3-мерных поверхностей в присутствии бликов и теней. В IEEE Transactions on Pattern Analysis and Machine Intelligence, т. 25, выпуск 10, страницы 1239-1252. IEEE.
^ Чаман Сингх Верма и Мон-Джу Ву. «Фотометрическое стерео». Университет Висконсина-Мэдисон . Получено 24.03.2015 .
^ Хемант Д. Тагаре и Руи Дж. П. де Фигейредо, 1991. Теория фотометрического стерео для класса диффузных неламбертовских поверхностей. В IEEE Transactions on Pattern Analysis and Machine Intelligence, т. 13, № 2. IEEE.
^ Кацуси Икеучи, 1981. Определение ориентаций зеркальных поверхностей с использованием метода фотометрического стерео. В IEEE Transactions on Pattern Analysis and Machine Intelligence, т. PAMI-3, выпуск 6, страницы 661-669. IEEE.
^ Аарон Герцманн и Стивен М. Зейтц, 2005. Фотометрическое стерео на основе примеров: реконструкция формы с помощью общих, очень BRDF. В IEEE Transactions on Pattern Analysis and Machine Intelligence, т. 27, № 8. IEEE.
^ Майкл Холройд, Джейсон Лоуренс, Грег Хамфрис и Тодд Зиклер, 2008. Фотометрический подход к оценке нормалей и касательных. В ACM SIGGRAPH Asia 2008 Papers, страницы 133:1-133:9. ACM.
^ Шри К. Наяр, Кацуши Икеучи и Такео Канаде, 1991. Форма из взаимных отражений. В International Journal of Computer Vision, т. 6, номер 3, страницы 173-195.
^ Мяо Ляо, Синьюй Хуан и Руйган Ян, 2011. Устранение интеротражения для фотометрического стерео с использованием спектрально-зависимого альбедо. На конференции IEEE 2011 года по компьютерному зрению и распознаванию образов, страницы 689-696. IEEE.
^ Тонгбо Чен, Хендрик Ленш, Кристиан Фукс и Х. П. Зайдель, 2007. Поляризация и сдвиг фаз для 3D-сканирования полупрозрачных объектов. На конференции IEEE по компьютерному зрению и распознаванию образов, 2007, страницы 1-8. IEEE.