Фотометрическое стерео

Техника 3D-изображения

Фотометрическое стерео анализирует несколько изображений объекта при различных условиях освещения, чтобы оценить направление нормали для каждого пикселя.

Фотометрическое стерео — это метод компьютерного зрения для оценки нормалей поверхности объектов путем наблюдения за этим объектом в различных условиях освещения ( фотометрия ). Он основан на том факте, что количество света, отражаемого поверхностью, зависит от ориентации поверхности по отношению к источнику света и наблюдателю. ^[1] Измеряя количество света, отраженного в камеру, пространство возможных ориентаций поверхности ограничивается. При наличии достаточного количества источников света под разными углами ориентация поверхности может быть ограничена одной ориентацией или даже чрезмерно ограничена.

Этот метод был первоначально представлен Вудхэмом в 1980 году. ^[2] Особый случай, когда данные представляют собой одно изображение, известен как форма из затенения и был проанализирован Б.К.П. Хорном в 1989 году. ^[3] С тех пор фотометрическое стерео было обобщено для многих другие ситуации, включая расширенные источники света и неламбертовскую отделку поверхности. Текущие исследования направлены на то, чтобы метод работал при наличии проецируемых теней, светлых участков и неоднородного освещения.

Основной метод

При исходных предположениях Вудхэма — ламбертовском коэффициенте отражения , известных точечных удаленных источниках света и однородном альбедо — проблема может быть решена путем обращения линейного уравнения , где — (известный) вектор наблюдаемых интенсивностей, — (неизвестная) нормаль к поверхности, и представляет собой (известную) матрицу нормализованных направлений света. ${\displaystyle I=L\cdot n}$ ${\displaystyle I}$ ${\displaystyle m}$ ${\displaystyle n}$ ${\displaystyle L}$ ${\displaystyle 3\times m}$

Эту модель можно легко распространить на поверхности с неоднородным альбедо, сохраняя при этом линейную задачу. ^[4] Если принять отражательную способность альбедо , формула для интенсивности отраженного света будет выглядеть следующим образом: ${\displaystyle k}$

${\displaystyle I=k(L\cdot n)}$

Если квадрат (имеется ровно 3 огонька) и несингулярный, его можно перевернуть, получив: ${\displaystyle L}$

${\displaystyle L^{-1}I=kn}$

Поскольку известно, что вектор нормали имеет длину 1, он должен быть длиной вектора и нормализованным направлением этого вектора. Если он не квадратный (есть более трех огней), обобщение обратного может быть получено с использованием псевдообратного Мура-Пенроуза ^[5] путем простого умножения обеих частей с получением: ${\displaystyle k}$ ${\displaystyle kn}$ ${\displaystyle n}$ ${\displaystyle L}$ ${\displaystyle L^{T}}$

${\displaystyle L^{T}I=L^{T}k(L\cdot n)}$

${\displaystyle (L^{T}L)^{-1}L^{T}I=kn}$

После этого вектор нормали и альбедо можно решить, как описано выше.

Неламбертовы поверхности

Классическая задача фотометрического стерео касается только ламбертовых поверхностей с идеально диффузным отражением. Это нереально для многих типов материалов, особенно металлов, стекла и гладких пластиков, и приведет к аберрациям в результирующих векторах нормалей.

Было разработано множество методов, опровергающих это предположение. В этом разделе перечислены некоторые из них.

Зеркальные отражения

Исторически сложилось так, что в компьютерной графике широко используемая модель для рендеринга поверхностей начиналась с ламбертовых поверхностей и сначала развивалась, включая простые зеркальные отражения . Компьютерное зрение пошло по тому же пути с фотометрическим стерео. Зеркальные отражения были одними из первых отклонений от модели Ламберта. Это несколько разработанных адаптаций.

• Многие методы в конечном итоге основаны на моделировании функции отражения поверхности, то есть того, сколько света отражается в каждом направлении. ^[6] Эта функция отражения должна быть обратимой . Измеряется интенсивность отраженного света в направлении камеры, и обратная функция отражения адаптируется к измеренным интенсивностям, что приводит к уникальному решению для вектора нормали.

Общие BRDF и не только

Согласно модели функции распределения двунаправленной отражательной способности (BRDF), поверхность может распределять количество получаемого ею света в любом направлении наружу. Это наиболее общеизвестная модель для непрозрачных поверхностей. Некоторые методы были разработаны для моделирования (почти) общих BRDF. На практике все это требует множества источников света для получения надежных данных. Это методы, с помощью которых можно измерить поверхности с общими BRDF.

• Определите явный BRDF перед сканированием. ^[7] Для этого требуется другая поверхность, имеющая такой же или очень похожий BRDF, фактическая геометрия которой (или, по крайней мере, векторы нормалей для многих точек на поверхности) уже известна. ^[8] Затем источники света по отдельности освещают известную поверхность и измеряется степень отражения в камеру. Используя эту информацию, можно создать справочную таблицу, которая сопоставляет отраженные интенсивности для каждого источника света со списком возможных векторов нормалей. Это накладывает ограничения на возможные векторы нормалей, которые может иметь поверхность, и сводит проблему фотометрического стерео к интерполяции между измерениями. Типичными известными поверхностями для калибровки справочной таблицы являются сферы, имеющие большое разнообразие ориентаций поверхностей.
• Ограничение симметричности BRDF. ^[9] Если BRDF симметричен, направление света можно ограничить конусом относительно направления на камеру. Какой это конус, зависит от самого BRDF, вектора нормали к поверхности и измеряемой интенсивности. При наличии достаточного количества измеренных интенсивностей и результирующих направлений света эти конусы можно аппроксимировать и, следовательно, считать векторами нормалей к поверхности.

Некоторый прогресс был достигнут в моделировании еще более общих поверхностей, таких как пространственно изменяющиеся функции двунаправленного распределения (SVBRDF), функции распределения отражательной способности двунаправленного поверхностного рассеяния (BSSRDF), и учета взаимных отражений . ^{[10] [11]} Однако такие методы по-прежнему довольно ограничительны в фотометрическом стерео. Лучшие результаты были достигнуты при использовании структурированного света . ^[12]

Смотрите также

• Фотоклинометрия
• Фотометрия
• Стерео зрение
• 3D-сканер

Рекомендации

1. Ин Ву. «Радиометрия, BRDF и фотометрическое стерео» (PDF) . Северо-Западный университет . Проверено 25 марта 2015 г.
2. Вудхэм, Р.Дж. 1980. Фотометрический метод определения ориентации поверхности по нескольким изображениям. Оптическая техника 19, I, 139-144.
3. BKP Horn, 1989. Получение формы путем затенения информации. В ред. Б.К.П. Хорна и М.Дж. Брукса, «Форма из затенения», стр. 121–171. МТИ Пресс.
4. С. Барский и Мария Петру, 2003. Фотометрическая стереотехника с 4 источниками для трехмерных поверхностей при наличии светлых участков и теней. В «Транзакциях IEEE по анализу шаблонов и машинному интеллекту», том. 25, выпуск 10, стр. 1239-1252. IEEE.
5. Чаман Сингх Верма и Мон-Джу Ву. «Фотометрическое стерео». Университет Висконсин-Мэдисон . Проверено 24 марта 2015 г.
6. Хемант Д. Тагаре и Руи Дж. П. де Фигейредо, 1991. Теория фотометрического стерео для класса диффузных неламбертовых поверхностей. В IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 13, нет. 2. ИИЭР.
7. Кацуши Икеучи, 1981. Определение ориентации зеркальных поверхностей с помощью фотометрического стереометода. В IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. ПАМИ-3, выпуск 6, стр. 661-669. IEEE.
8. Аарон Герцманн и Стивен М. Зейтц, 2005. Фотометрическое стерео на основе примеров: реконструкция формы с помощью общих, очень BRDF. В IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, нет. 8. ИИЭР.
9. Майкл Холройд, Джейсон Лоуренс, Грег Хамфрис и Тодд Зиклер, 2008. Фотометрический подход к оценке нормалей и тангенсов. В документах ACM SIGGRAPH Asia 2008, страницы 133:1–133:9. АКМ.
10. Шри К. Наяр, Кацуши Икеучи и Такео Канаде, 1991. Форма из взаимных отражений. В Международном журнале компьютерного зрения, вып. 6, номер 3, страницы 173–195.
11. Мяо Ляо, Синьюй Хуан и Жуйган Ян, 2011. Удаление взаимного отражения для фотометрического стерео с помощью спектрально-зависимого альбедо. На конференции IEEE 2011 года по компьютерному зрению и распознаванию образов, страницы 689–696. IEEE.
12. Тонгбо Чен, Хендрик Ленш, Кристиан Фукс и HP Зайдель, 2007. Поляризация и фазовый сдвиг для 3D-сканирования полупрозрачных объектов. На конференции IEEE по компьютерному зрению и распознаванию образов, 2007 г., страницы 1–8. IEEE.