Компьютерное стереозрение

Извлечение 3D-данных из цифровых изображений

Компьютерное стереозрение — это извлечение 3D-информации из цифровых изображений, например, полученных с помощью ПЗС-камеры . Сравнивая информацию о сцене с двух точек обзора, можно извлечь 3D-информацию, изучая относительное положение объектов на двух панелях. Это похоже на биологический процесс стереопсиса .

Контур

В традиционном стереозрении две камеры, смещенные горизонтально друг относительно друга, используются для получения двух различных видов на сцену, аналогично человеческому бинокулярному зрению . Сравнивая эти два изображения, можно получить информацию об относительной глубине в виде карты диспаратности , которая кодирует разницу в горизонтальных координатах соответствующих точек изображения. Значения в этой карте диспаратности обратно пропорциональны глубине сцены в соответствующем местоположении пикселя.

Чтобы человек мог сравнить два изображения, их необходимо наложить друг на друга в стереоскопическом устройстве, причем изображение с правой камеры должно быть показано правому глазу наблюдателя, а с левой — левому глазу.

В системе компьютерного зрения требуется несколько этапов предварительной обработки. ^[1]

1. Изображение должно быть сначала неискаженным, так что бочкообразная и тангенциальная дисторсия будут удалены. Это гарантирует, что наблюдаемое изображение будет соответствовать проекции идеальной камеры-обскуры .
2. Изображение должно быть спроецировано обратно на общую плоскость, чтобы можно было сравнить пары изображений, что называется ректификацией изображения .
3. Информационная мера, которая сравнивает два изображения, минимизируется. Это дает наилучшую оценку положения объектов на двух изображениях и создает карту различий.
4. При желании полученная карта несоответствий проецируется в 3D-облако точек . Используя проективные параметры камер, облако точек можно вычислить таким образом, чтобы оно обеспечивало измерения в известном масштабе.

Активное стереозрение

Активное стереозрение — это форма стереозрения, которая активно использует свет, такой как лазер или структурированный свет, для упрощения проблемы стереосоответствия. Противоположный термин — пассивное стереозрение.

• Традиционное структурированное световое зрение (SLV) использует структурированный свет или лазер и находит соответствия между проектором и камерой. ^{[2] [3]}
• Традиционное активное стереозрение (ASV) использует структурированный свет или лазер, однако стереосопоставление выполняется только для соответствий камера-камера, так же как и пассивное стереозрение.
• Структурированное световое стерео (SLS) — это гибридная технология, которая использует как соответствие камера-камера, так и соответствие проектор-камера. ^[4]

Приложения

3D -стереодисплеи находят множество применений в сфере развлечений, передачи информации и автоматизированных системах. Стереозрение крайне важно в таких областях, как робототехника, для извлечения информации об относительном положении 3D-объектов вблизи автономных систем. Другие приложения для робототехники включают распознавание объектов , ^[5] где информация о глубине позволяет системе разделять перекрывающие компоненты изображения, такие как один стул перед другим, которые робот в противном случае не смог бы различить как отдельный объект по каким-либо другим критериям.

Научные приложения цифрового стереозрения включают извлечение информации из аэрофотосъемки , для расчета контурных карт или даже извлечения геометрии для трехмерного картографирования зданий, фотограмметрического спутникового картирования или расчета трехмерной гелиографической информации, например, полученной в рамках проекта NASA STEREO .

Подробное определение

Диаграмма, описывающая связь смещения изображения с глубиной для стереоскопических изображений, предполагая, что изображения плоские и копланарные

Пиксель записывает цвет в позиции. Позиция идентифицируется позицией в сетке пикселей (x, y) и глубиной до пикселя z.

Стереоскопическое зрение дает два изображения одной и той же сцены с разных позиций. На соседней диаграмме свет из точки A передается через точки входа камер-обскуры в точках B и D на экраны изображений в точках E и H.

На прилагаемой диаграмме расстояние между центрами двух объективов камеры равно BD = BC + CD . Треугольники подобны,

• ACB и BFE
• ACD и DGH

${\displaystyle {\begin{aligned}{\text{Therefore displacement }}d&=EF+GH\\&=BF({\frac {EF}{BF}}+{\frac {GH}{BF}})\\&=BF({\frac {EF}{BF}}+{\frac {GH}{DG}})\\&=BF({\frac {BC+CD}{AC}})\\&=BF{\frac {BD}{AC}}\\&={\frac {k}{z}}{\text{, where}}\\\end{aligned}}}$

• к = БД БФ
• z = AC — расстояние от плоскости камеры до объекта.

Итак, если предположить, что камеры расположены на одном уровне, а плоскости изображений лежат в одной плоскости, то смещение по оси Y между одним и тем же пикселем на двух изображениях составит:

${\displaystyle d={\frac {k}{z}}}$

Где k — расстояние между двумя камерами, умноженное на расстояние от объектива до изображения.

Компонент глубины в двух изображениях равен и , задаваемый формулой, ${\displaystyle z_{1}}$ ${\displaystyle z_{2}}$

${\displaystyle z_{2}(x,y)=\min \left\{v:v=z_{1}(x,y-{\frac {k}{z_{1}(x,y)}})\right\}}$

${\displaystyle z_{1}(x,y)=\min \left\{v:v=z_{2}(x,y+{\frac {k}{z_{2}(x,y)}})\right\}}$

Эти формулы позволяют перекрывать вокселы , видимые на одном изображении на поверхности объекта, более близкими вокселями, видимыми на другом изображении, на поверхности объекта .

Исправление изображения

Если плоскости изображения не являются копланарными, требуется ректификация изображения для настройки изображений так, как если бы они были копланарными. Это может быть достигнуто с помощью линейного преобразования.

Изображения также могут нуждаться в ректификации, чтобы сделать каждое изображение эквивалентным изображению, полученному с помощью камеры-обскуры, проецируемой на плоскую плоскость.

Гладкость

Гладкость — это мера схожести цветов. Учитывая предположение, что отдельный объект имеет небольшое количество цветов, пиксели схожего цвета с большей вероятностью принадлежат одному объекту, чем нескольким объектам.

Описанный выше метод оценки гладкости основан на теории информации и предположении, что влияние цвета вокселя влияет на цвет соседних вокселей в соответствии с нормальным распределением на расстоянии между точками. Модель основана на приблизительных предположениях о мире.

Другим методом, основанным на априорных предположениях о гладкости, является автокорреляция.

Гладкость — это свойство мира, а не внутреннее свойство изображения. Изображение, состоящее из случайных точек, не будет иметь гладкости, и выводы о соседних точках будут бесполезны.

В принципе, гладкость, как и другие свойства мира, должна быть изучена. Похоже, что это то, что делает система человеческого зрения. ^{[ необходима цитата ]}

Информационная мера

Мера информации по методу наименьших квадратов

Нормальное распределение:

${\displaystyle P(x,\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}}$

Вероятность связана с содержанием информации, описываемой длиной сообщения L ,

${\displaystyle P(x)=2^{-L(x)}}$

${\displaystyle L(x)=-\log _{2}{P(x)}}$

так,

${\displaystyle L(x,\mu ,\sigma )=\log _{2}(\sigma {\sqrt {2\pi }})+{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\log _{2}e}$

Для целей сравнения стереоскопических изображений имеет значение только относительная длина сообщения. Исходя из этого, информационная мера I , называемая суммой квадратов разностей (SSD), равна:

${\displaystyle I(x,\mu ,\sigma )={\frac {(x-\mu )^{2}}{\sigma ^{2}}}}$

где,

${\displaystyle L(x,\mu ,\sigma )=\log _{2}(\sigma {\sqrt {2\pi }})+I(x,\mu ,\sigma ){\frac {\log _{2}e}{2}}}$

Из-за затрат времени на обработку квадратов чисел в SSD многие реализации используют сумму абсолютной разности (SAD) в качестве основы для вычисления меры информации. Другие методы используют нормализованную взаимную корреляцию (NCC).

Мера информации для стереоскопических изображений

Мера наименьших квадратов может быть использована для измерения информационного содержания стереоскопических изображений, ^[6] учитывая глубины в каждой точке . Сначала выводится информация, необходимая для выражения одного изображения через другое. Это называется . ${\displaystyle z(x,y)}$ ${\displaystyle I_{m}}$

Для справедливого измерения разницы между цветами следует использовать функцию цветовой разницы . Функция цветовой разницы записывается как cd в следующем виде. Мера информации, необходимая для записи соответствия цветов между двумя изображениями, равна:

${\displaystyle I_{m}(z_{1},z_{2})={\frac {1}{\sigma _{m}^{2}}}\sum _{x,y}\operatorname {cd} (\operatorname {color} _{1}(x,y+{\frac {k}{z_{1}(x,y)}}),\operatorname {color} _{2}(x,y))^{2}}$

Сделано предположение о гладкости изображения. Предположим, что два пикселя с большей вероятностью будут одного цвета, чем ближе воксели, которые они представляют. Эта мера предназначена для того, чтобы цвета, которые похожи, были сгруппированы на одной глубине. Например, если объект спереди закрывает область неба сзади, мера гладкости отдает предпочтение синим пикселям, которые все сгруппированы вместе на одной глубине.

Общая мера гладкости использует расстояние между вокселями в качестве оценки ожидаемого стандартного отклонения цветовой разницы,

${\displaystyle I_{s}(z_{1},z_{2})={\frac {1}{2\sigma _{h}^{2}}}\sum _{i:\{1,2\}}\sum _{x_{1},y_{1}}\sum _{x_{2},y_{2}}{\frac {\operatorname {cd} (\operatorname {color} _{i}(x_{1},y_{1}),\operatorname {color} _{i}(x_{2},y_{2}))^{2}}{(x_{1}-x_{2})^{2}+(y_{1}-y_{2})^{2}+(z_{i}(x_{1},y_{1})-z_{i}(x_{2},y_{2}))^{2}}}}$

Общее содержание информации тогда представляет собой сумму,

${\displaystyle I_{t}(z_{1},z_{2})=I_{m}(z_{1},z_{2})+I_{s}(z_{1},z_{2})}$

Компонент z каждого пикселя должен быть выбран так, чтобы дать минимальное значение для информационного содержания. Это даст наиболее вероятные глубины для каждого пикселя. Минимальная общая мера информации равна,

${\displaystyle I_{\operatorname {min} }=\min {\{i:i=I_{t}(z_{1},z_{2})\}}}$

Функции глубины для левого и правого изображений представляют собой пару,

${\displaystyle (z_{1},z_{2})\in \{(z_{1},z_{2}):I_{t}(z_{1},z_{2})=I_{\operatorname {min} }\}}$

Методы реализации

Задача минимизации является NP-полной . Это означает, что общее решение этой задачи займет много времени. Однако существуют методы для компьютеров, основанные на эвристике , которые аппроксимируют результат за разумное время. Также существуют методы, основанные на нейронных сетях . ^[7] Эффективная реализация стереоскопического зрения является областью активных исследований.

Смотрите также

• 3D-реконструкция из нескольких изображений
• 3D-сканер
• Автостереоскопия
• Компьютерное зрение
• Эпиполярная геометрия
• Полуглобальное сопоставление
• Структура из движения
• Стереокамера
• Стереофотограмметрия
• Стереопсис
• Стереоскопическая глубинная визуализация
• Стиксель
• Трифокальный тензор - для трифокальной стереоскопии (использование трех изображений вместо двух)

Ссылки

1. Брэдски, Гэри; Келер, Адриан. Изучение OpenCV: компьютерное зрение с библиотекой OpenCV . O'Reilly.
2. Je, Changsoo; Lee, Sang Wook; Park, Rae-Hong (2004). "Высококонтрастный рисунок цветных полос для быстрого получения изображений в диапазоне структурированного света". Computer Vision - ECCV 2004. Lecture Notes in Computer Science. Vol. 3021. pp. 95–107. arXiv : 1508.04981 . doi :10.1007/978-3-540-24670-1_8. ISBN 978-3-540-21984-2. S2CID  13277591.
3. Je, Changsoo; Lee, Sang Wook; Park, Rae-Hong (2012). «Шаблон перестановки цветных полос для быстрой визуализации в диапазоне структурированного света». Optics Communications . 285 (9): 2320–2331. Bibcode : 2012OptCo.285.2320J. doi : 10.1016/j.optcom.2012.01.025.
4. Jang, Wonkwi; Je, Changsoo; Seo, Yongduek; Lee, Sang Wook (2013). «Структурированное стерео: Сравнительный анализ и интеграция структурированного света и активного стерео для измерения динамической формы». Optics and Lasers in Engineering . 51 (11): 1255–1264. Bibcode : 2013OptLE..51.1255J. doi : 10.1016/j.optlaseng.2013.05.001.
5. Суми, Ясуси; Каваи, Ёсихиро; Ёсими, Такаси; Томита, Фумиаки (2002). «Распознавание 3D-объектов в загроможденной среде с помощью сегментного стереозрения». Международный журнал компьютерного зрения . 46 (1): 5–23. doi :10.1023/A:1013240031067. S2CID  22926546.
6. Лазарос, Налпантидис; Сиракулис, Георгиос Христу; Гастератос1, Антониос (2008). «Обзор алгоритмов стереовидения: от программного обеспечения к аппаратному обеспечению». Международный журнал оптомехатроники . 2 (4): 435–462. дои : 10.1080/15599610802438680 . S2CID  18115413.{{cite journal}}: CS1 maint: numeric names: authors list (link)
7. ВАНГ, ДЖУНГ-ХУА; ХСИАО, ЧИХ-ПИН (1999). «О сопоставлении несоответствий в стереозрении с помощью нейронной сетевой структуры». Proc. Natl. Sci. Counc. ROC(A) . 23 (5): 665–678. CiteSeerX 10.1.1.105.9067 . 

Внешние ссылки

• Учебное пособие по некалиброванному стереозрению
• Узнайте о стереозрении с помощью MATLAB
• Программное обеспечение Stereo Vision и Rover Navigation для исследования планет