Фундаментальная матрица (компьютерное зрение)

Матрица в компьютерной версии

В компьютерном зрении фундаментальная матрица — это матрица 3×3 , которая связывает соответствующие точки в стереоизображениях . В эпиполярной геометрии с однородными координатами изображения x и x ′ соответствующих точек в паре стереоизображений Fx описывает линию ( эпиполярную линию ), на которой должна лежать соответствующая точка x ′ на другом изображении. Это означает, что для всех пар соответствующих точек выполняется ${\displaystyle \mathbf {F} }$

${\displaystyle \mathbf {x} '^{\top }\mathbf {Fx} =0.}$

Имея ранг два и определяемый только до масштаба, фундаментальная матрица может быть оценена по крайней мере с семью точечными соответствиями. Ее семь параметров представляют собой единственную геометрическую информацию о камерах, которую можно получить только с помощью точечных соответствий.

Термин «фундаментальная матрица» был введен QT Luong в его влиятельной докторской диссертации. Иногда его также называют « бифокальным тензором ». Как тензор, он является двухточечным тензором , поскольку представляет собой билинейную форму, связывающую точки в различных системах координат.

Вышеуказанное соотношение, определяющее фундаментальную матрицу, было опубликовано в 1992 году Оливье Фожера и Ричардом Хартли . Хотя существенная матрица Х. Кристофера Лонге-Хиггинса удовлетворяет аналогичному соотношению, существенная матрица является метрическим объектом, относящимся к калиброванным камерам, в то время как фундаментальная матрица описывает соответствие в более общих и фундаментальных терминах проективной геометрии. Это математически отражено соотношением между фундаментальной матрицей и соответствующей ей существенной матрицей , которое является ${\displaystyle \mathbf {F} }$ ${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K} }$

${\displaystyle \mathbf {K} }$и являющиеся внутренними калибровочными матрицами двух рассматриваемых изображений. ${\displaystyle \mathbf {K} '}$

Введение

Фундаментальная матрица — это связь между любыми двумя изображениями одной и той же сцены, которая ограничивает, где проекция точек сцены может происходить на обоих изображениях. При проекции точки сцены на одно из изображений соответствующая точка на другом изображении ограничивается линией, что помогает поиску и позволяет обнаруживать неправильные соответствия. Связь между соответствующими точками , которую представляет фундаментальная матрица, называется эпиполярным ограничением , ограничением соответствия , ограничением дискретного соответствия или отношением инцидентности .

Теорема проективной реконструкции

Фундаментальная матрица может быть определена набором соответствий точек . Кроме того, эти соответствующие точки изображения могут быть триангулированы в мировые точки с помощью матриц камеры, полученных непосредственно из этой фундаментальной матрицы. Сцена, состоящая из этих мировых точек, находится в пределах проективного преобразования истинной сцены. ^[1]

Доказательство

Скажем, что соответствие точки изображения выводится из мировой точки под матрицами камеры как ${\displaystyle \mathbf {x} \leftrightarrow \mathbf {x'} }$ ${\displaystyle {\textbf {X}}}$ ${\displaystyle \left({\textbf {P}},{\textbf {P}}'\right)}$

${\displaystyle {\begin{aligned}\mathbf {x} &={\textbf {P}}{\textbf {X}}\\\mathbf {x'} &={\textbf {P}}'{\textbf {X}}\end{aligned}}}$

Допустим, мы преобразуем пространство с помощью общей матрицы гомографии , такой что . ${\displaystyle {\textbf {H}}_{4\times 4}}$ ${\displaystyle {\textbf {X}}_{0}={\textbf {H}}{\textbf {X}}}$

Затем камеры трансформируются как

${\displaystyle {\begin{aligned}{\textbf {P}}_{0}&={\textbf {P}}{\textbf {H}}^{-1}\\{\textbf {P}}_{0}'&={\textbf {P}}'{\textbf {H}}^{-1}\end{aligned}}}$

${\displaystyle {\textbf {P}}_{0}{\textbf {X}}_{0}={\textbf {P}}{\textbf {H}}^{-1}{\textbf {H}}{\textbf {X}}={\textbf {P}}{\textbf {X}}=\mathbf {x} }$и точно так же мы по-прежнему получаем те же самые точки изображения. ${\displaystyle {\textbf {P}}_{0}'}$

Вывод фундаментальной матрицы с использованием условия копланарности

Фундаментальную матрицу также можно вывести с использованием условия копланарности. ^[2]

Для спутниковых снимков

Фундаментальная матрица выражает эпиполярную геометрию в стереоизображениях. Эпиполярная геометрия на изображениях, полученных с помощью перспективных камер, выглядит как прямые линии. Однако на спутниковых снимках изображение формируется во время движения сенсора по его орбите ( датчик pushbroom ). Поэтому для одной сцены изображения существует несколько центров проекции, а эпиполярная линия формируется как эпиполярная кривая. Однако в особых условиях, таких как небольшие фрагменты изображения, спутниковые изображения можно исправить с помощью фундаментальной матрицы.

Характеристики

Фундаментальная матрица имеет ранг 2. Ее ядро ​​определяет эпиполь .

Смотрите также

• Эпиполярная геометрия
• Основная матрица
• Трифокальный тензор
• Восьмиточечный алгоритм

Примечания

1. Ричард Хартли и Эндрю Зиссерман «Множественная геометрия в компьютерном зрении» 2003, стр. 266–267
2. Jaehong Oh. «Новый подход к эпиполярной повторной выборке HRSI и географической привязке аэрофотоснимков на основе спутниковых стереоизображений». Архивировано 31.03.2012 на Wayback Machine , 2011, стр. 22–29, доступ получен 05.08.2011.

Ссылки

• Оливье Д. Фожерас (1992). «Что можно увидеть в трех измерениях с помощью некалиброванной стереоустановки?». Труды Европейской конференции по компьютерному зрению . CiteSeerX  10.1.1.462.4708 .

• Оливье Д. Фожерас; К. Т. Луонг; Стивен Мейбэнк (1992). "Самокалибровка камеры: теория и эксперименты". Труды Европейской конференции по компьютерному зрению . doi : 10.1007/3-540-55426-2_37 .

• QT Luong и Olivier D. Faugeras (1996). «Фундаментальная матрица: теория, алгоритмы и анализ устойчивости». International Journal of Computer Vision . 17 (1): 43–75. doi :10.1007/BF00127818. S2CID  2582003.

• Оливье Фожерас и К. Т. Луонг (2001). Геометрия множественных изображений . MIT Press. ISBN 978-0-262-06220-6.

• Ричард И. Хартли (1992). "Оценка относительных положений камеры для некалиброванных камер" (PDF) . Труды Европейской конференции по компьютерному зрению .

• Ричард Хартли и Эндрю Зиссерман (2003). Многомерная геометрия в компьютерном зрении . Cambridge University Press. ISBN 978-0-521-54051-3.

• Ричард И. Хартли (1997). «В защиту восьмиточечного алгоритма». Труды IEEE по анализу шаблонов и машинному интеллекту . 19 (6): 580–593. doi :10.1109/34.601246.
• Нуролла Татар (2019). «Стереоретификационная обработка спутниковых изображений методом pushbroom с помощью надежной оценки фундаментальной матрицы». Международный журнал дистанционного зондирования . 40 (20): 1–19. doi :10.1080/01431161.2019.1624862.

• КТ Луонг (1992). Матрица фундаментальная и автокалибровка по стандарту зрения. Докторская диссертация, Парижский университет, Орсе.

• Yi Ma; Stefano Soatto ; Jana Košecká ; S. Shankar Sastry (2004). Приглашение к 3-D Vision . Springer. ISBN 978-0-387-00893-6.

• Марк Поллефейс , Рейнхард Кох и Люк ван Гул (1999). «Самокалибровка и метрическая реконструкция, несмотря на изменяющиеся и неизвестные внутренние параметры камеры». Международный журнал компьютерного зрения . 32 (1): 7–25. doi :10.1023/A:1008109111715. S2CID  306722.

• Филип Х. С. Торр (1997). «Разработка и сравнение надежных методов оценки фундаментальной матрицы». International Journal of Computer Vision . 24 (3): 271–300. doi :10.1023/A:1007927408552. S2CID  12031059.

• Филип Х. С. Торр и А. Зиссерман (2000). «MLESAC: новый надежный оценщик с применением для оценки геометрии изображения». Computer Vision and Image Understanding . 78 (1): 138–156. CiteSeerX  10.1.1.110.5740 . doi :10.1006/cviu.1999.0832.

• Gang Xu и Zhengyou Zhang (1996). Эпиполярная геометрия в стерео, движении и распознавании объектов . Kluwer Academic Publishers. ISBN 978-0-7923-4199-4.

• Чжэнъю Чжан (1998). «Определение эпиполярной геометрии и ее неопределенности: обзор». International Journal of Computer Vision . 27 (2): 161–195. doi :10.1023/A:1007941100561. S2CID  3190498.

Ящики для инструментов

• Fundest — это библиотека GPL C / C++ для надежной , нелинейной (на основе алгоритма Левенберга–Марквардта ) фундаментальной оценки матриц на основе сопоставленных пар точек и различных целевых функций (Манолис Луракис).
• Набор инструментов для моделирования структуры и движения в MATLAB (Филипп Х.С. Торр)
• Набор инструментов оценки фундаментальной матрицы (Жоаким Сальви)
• Набор инструментов эпиполярной геометрии (EGT)

Внешние ссылки

• Эпиполярная геометрия и фундаментальная матрица (глава из книги Хартли и Зиссермана)
• Определение эпиполярной геометрии и ее неопределенности: обзор (Чжэнъю Чжан)
• Визуализация эпиполярной геометрии (первоначально Сильвен Буньо из INRIA Robotvis, требуется Java )
• Видеоклип на песню Fundamental Matrix, демонстрирующий законы эпиполярной геометрии.