Основная матрица

В компьютерном зрении основной матрицей является матрица , которая связывает соответствующие точки на стереоизображениях, предполагая, что камеры удовлетворяют модели камеры-обскуры . ${\displaystyle 3\times 3}$ ${\displaystyle \mathbf {E} }$

Функция

Более конкретно, если и являются однородными нормализованными координатами изображения на изображении 1 и 2 соответственно, то ${\displaystyle \mathbf {y} }$ ${\displaystyle \mathbf {y} '}$

${\displaystyle (\mathbf {y} ')^{\top }\,\mathbf {E} \,\mathbf {y} =0}$

если и соответствуют одной и той же трехмерной точке в сцене (не «если и только если», поскольку точки, лежащие на одной эпиполярной линии на первом изображении, будут сопоставлены с той же эпиполярной линией на втором изображении). ${\displaystyle \mathbf {y} }$ ${\displaystyle \mathbf {y} '}$

Вышеуказанное соотношение, определяющее существенную матрицу, было опубликовано в 1981 году Х. Кристофером Лонге-Хиггинсом , который представил эту концепцию сообществу компьютерного зрения. В книге Ричарда Хартли и Эндрю Циссермана сообщается, что аналогичная матрица появилась в фотограмметрии задолго до этого. Статья Лонге-Хиггинса включает алгоритм оценки из набора соответствующих нормализованных координат изображения, а также алгоритм определения относительного положения и ориентации двух камер, если известно. Наконец, в ней показано, как можно определить трехмерные координаты точек изображения с помощью существенной матрицы. ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {E} }$

Использовать

Основная матрица может рассматриваться как предшественник фундаментальной матрицы , . Обе матрицы могут использоваться для установления ограничений между совпадающими точками изображения, но основная матрица может использоваться только в отношении калиброванных камер, поскольку внутренние параметры камеры (матрицы и ) должны быть известны для достижения нормализации. Если, однако, камеры калиброваны, основная матрица может быть полезна для определения как относительного положения и ориентации между камерами, так и трехмерного положения соответствующих точек изображения. Основная матрица связана с фундаментальной матрицей с помощью ${\displaystyle \mathbf {F} }$ ${\displaystyle \mathbf {K} }$ ${\displaystyle \mathbf {K} '}$

${\displaystyle \mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K} .}$

Вывод и определение

Этот вывод следует статье Лонге-Хиггинса.

Две нормализованные камеры проецируют 3D-мир на соответствующие им плоскости изображения. Пусть 3D-координаты точки P будут и относительно системы координат каждой камеры. Поскольку камеры нормализованы, соответствующие координаты изображения будут ${\displaystyle (x_{1},x_{2},x_{3})}$ ${\displaystyle (x'_{1},x'_{2},x'_{3})}$

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\end{pmatrix}}}$   и   ${\displaystyle {\begin{pmatrix}y'_{1}\\y'_{2}\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\end{pmatrix}}}$

Тогда однородное представление двух координат изображения задается как

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\end{pmatrix}}}$   и   ${\displaystyle {\begin{pmatrix}y'_{1}\\y'_{2}\\1\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\\x'_{3}\end{pmatrix}}}$

что также можно записать более компактно как

${\displaystyle \mathbf {y} ={\frac {1}{x_{3}}}\,{\tilde {\mathbf {x} }}}$   и   ${\displaystyle \mathbf {y} '={\frac {1}{x'_{3}}}\,{\tilde {\mathbf {x} }}'}$

где и являются однородными представлениями координат 2D-изображения, а и являются собственными 3D-координатами, но в двух разных системах координат. ${\displaystyle \mathbf {y} }$ ${\displaystyle \mathbf {y} '}$ ${\displaystyle {\tilde {\mathbf {x} }}}$ ${\displaystyle {\tilde {\mathbf {x} }}'}$

Другим следствием нормализованных камер является то, что их соответствующие системы координат связаны посредством переноса и вращения. Это подразумевает, что два набора 3D-координат связаны как

${\displaystyle {\tilde {\mathbf {x} }}'=\mathbf {R} \,({\tilde {\mathbf {x} }}-\mathbf {t} )}$

где — матрица вращения, а — трехмерный вектор переноса. ${\displaystyle \mathbf {R} }$ ${\displaystyle 3\times 3}$ ${\displaystyle \mathbf {t} }$

Тогда существенная матрица определяется как:

где — матричное представление векторного произведения с . Примечание: здесь преобразование преобразует точки во 2-м виде в 1-й вид. ${\displaystyle [\mathbf {t} ]_{\times }}$ ${\displaystyle \mathbf {t} }$ ${\displaystyle [\mathbf {R} ^{T}|\mathbf {t} ]}$

Для определения нас интересуют только ориентации нормализованных координат изображения ^[1] (см. также: Тройное произведение ). Таким образом, нам не нужен трансляционный компонент при подстановке координат изображения в основное уравнение. Чтобы увидеть, что это определение описывает ограничение на соответствующие координаты изображения, умножьте слева и справа трехмерные координаты точки P в двух разных системах координат: ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {E} }$

${\displaystyle {\tilde {\mathbf {x} }}'^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}\,{\stackrel {(1)}{=}}\,{\tilde {\mathbf {x} }}^{T}\,\mathbf {R} ^{T}\,\mathbf {R} \,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(2)}{=}}\,{\tilde {\mathbf {x} }}^{T}\,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(3)}{=}}\,0}$

1. Вставьте приведенные выше соотношения между и и определение в терминах и . ${\displaystyle {\tilde {\mathbf {x} }}'}$ ${\displaystyle {\tilde {\mathbf {x} }}}$ ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {R} }$ ${\displaystyle \mathbf {t} }$
2. ${\displaystyle \mathbf {R} ^{T}\,\mathbf {R} =\mathbf {I} }$поскольку — матрица вращения. ${\displaystyle \mathbf {R} }$
3. Свойства матричного представления векторного произведения .

Наконец, можно предположить, что и > 0, в противном случае они не видны в обеих камерах. Это дает ${\displaystyle x_{3}}$ ${\displaystyle x'_{3}}$

${\displaystyle 0=({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}={\frac {1}{x'_{3}}}({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\frac {1}{x_{3}}}{\tilde {\mathbf {x} }}=(\mathbf {y} ')^{T}\,\mathbf {E} \,\mathbf {y} }$

что является ограничением, которое существенная матрица определяет между соответствующими точками изображения.

Характеристики

Не каждая произвольная матрица может быть существенной матрицей для некоторых стереокамер. Чтобы увидеть это, обратите внимание, что она определяется как матричное произведение одной матрицы вращения и одной кососимметричной матрицы , обе . Кососимметричная матрица должна иметь два равных сингулярных значения и одно, равное нулю. Умножение матрицы вращения не изменяет сингулярных значений, что означает, что существенная матрица также имеет два равных сингулярных значения и одно, равное нулю. Описанные здесь свойства иногда называют внутренними ограничениями существенной матрицы. ${\displaystyle 3\times 3}$ ${\displaystyle 3\times 3}$

Если существенная матрица умножается на ненулевой скаляр, результатом снова является существенная матрица, которая определяет точно такое же ограничение, как и . Это означает, что можно рассматривать как элемент проективного пространства , то есть две такие матрицы считаются эквивалентными, если одна является ненулевым скалярным произведением другой. Это релевантная позиция, например, если оценивается по данным изображения. Однако также можно занять позицию, которая определяется как ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {E} =[\mathbf {\widetilde {t}} ]_{\times }\,\mathbf {R} }$

где , а затем имеет четко определенное «масштабирование». Это зависит от приложения, какая позиция является более релевантной. ${\displaystyle \mathbf {\widetilde {t}} =-\mathbf {R} \mathbf {t} }$ ${\displaystyle \mathbf {E} }$

Ограничения также можно выразить как

${\displaystyle \det \mathbf {E} =0}$

и

${\displaystyle 2\mathbf {E} \mathbf {E} ^{T}\mathbf {E} -\operatorname {tr} (\mathbf {E} \mathbf {E} ^{T})\mathbf {E} =0.}$

Здесь последнее уравнение является матричным ограничением, которое можно рассматривать как 9 ограничений, по одному для каждого элемента матрицы. Эти ограничения часто используются для определения существенной матрицы из пяти соответствующих пар точек.

Основная матрица имеет пять или шесть степеней свободы, в зависимости от того, рассматривается ли она как проективный элемент. Матрица вращения и вектор трансляции имеют по три степени свободы каждая, всего шесть. Однако, если основная матрица рассматривается как проективный элемент, необходимо вычесть одну степень свободы, связанную со скалярным умножением, оставляя в общей сложности пять степеней свободы. ${\displaystyle \mathbf {R} }$ ${\displaystyle \mathbf {t} }$

Оценка

При наличии набора соответствующих точек изображения можно оценить существенную матрицу, которая удовлетворяет определяющему эпиполярному ограничению для всех точек в наборе. Однако, если точки изображения подвержены шуму, что является обычным случаем в любой практической ситуации, невозможно найти существенную матрицу, которая точно удовлетворяет всем ограничениям.

В зависимости от того, как измеряется ошибка, связанная с каждым ограничением, можно определить или оценить существенную матрицу, которая оптимально удовлетворяет ограничениям для заданного набора соответствующих точек изображения. Самый простой подход — это постановка общей задачи наименьших квадратов , обычно известной как алгоритм восьми точек .

Извлечение вращения и трансляции

Учитывая, что существенная матрица была определена для пары стереокамер — например, с использованием метода оценки выше — эта информация может быть использована для определения также вращения и перемещения (с точностью до масштабирования) между системами координат двух камер. В этих выводах рассматривается как проективный элемент, а не как имеющий четко определенное масштабирование. ${\displaystyle \mathbf {R} }$ ${\displaystyle \mathbf {t} }$ ${\displaystyle \mathbf {E} }$

Нахождение одного решения

Следующий метод определения и основан на выполнении SVD , см . книгу Хартли и Зиссермана. ^[2] Также возможно определить и без SVD, например, следуя статье Лонге-Хиггинса. ${\displaystyle \mathbf {R} }$ ${\displaystyle \mathbf {t} }$ ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {R} }$ ${\displaystyle \mathbf {t} }$

СВД дает ${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {E} =\mathbf {U} \,\mathbf {\Sigma } \,\mathbf {V} ^{T}}$

где и — ортогональные матрицы, а — диагональная матрица с ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {V} }$ ${\displaystyle 3\times 3}$ ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle 3\times 3}$

${\displaystyle \mathbf {\Sigma } ={\begin{pmatrix}s&0&0\\0&s&0\\0&0&0\end{pmatrix}}}$

Диагональные элементы являются сингулярными значениями , которые, согласно внутренним ограничениям существенной матрицы, должны состоять из двух одинаковых и одного нулевого значения. Определить ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {W} ={\begin{pmatrix}0&-1&0\\1&0&0\\0&0&1\end{pmatrix}}}$   с   ${\displaystyle \mathbf {W} ^{-1}=\mathbf {W} ^{T}={\begin{pmatrix}0&1&0\\-1&0&0\\0&0&1\end{pmatrix}}}$

и сделайте следующий анзац

${\displaystyle [\mathbf {t} ]_{\times }=\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}}$

${\displaystyle \mathbf {R} =\mathbf {U} \,\mathbf {W} ^{-1}\,\mathbf {V} ^{T}}$

Поскольку при работе с реальными данными (например, изображениями с камер) ограничения могут не полностью удовлетворять, альтернатива ${\displaystyle \mathbf {\Sigma } }$

${\displaystyle [\mathbf {t} ]_{\times }=\mathbf {U} \,\mathbf {Z} \,\mathbf {U} ^{T}}$   с   ${\displaystyle \mathbf {Z} ={\begin{pmatrix}0&1&0\\-1&0&0\\0&0&0\end{pmatrix}}}$

может помочь.

Доказательство

Во-первых, эти выражения для и удовлетворяют определяющему уравнению для существенной матрицы ${\displaystyle \mathbf {R} }$ ${\displaystyle [\mathbf {t} ]_{\times }}$

${\displaystyle [\mathbf {t} ]_{\times }\,\mathbf {R} =\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}\mathbf {U} \,\mathbf {W} ^{-1}\,\mathbf {V} ^{T}\,=\mathbf {U} \,\mathbf {\Sigma } \,\mathbf {V} ^{T}=\mathbf {E} }$

Во-вторых, необходимо показать, что это матричное представление векторного произведения для некоторого . Так как ${\displaystyle [\mathbf {t} ]_{\times }}$ ${\displaystyle \mathbf {t} }$

${\displaystyle \mathbf {W} \,\mathbf {\Sigma } ={\begin{pmatrix}0&-s&0\\s&0&0\\0&0&0\end{pmatrix}}}$

это случай, который является кососимметричным, т.е. . Это также относится к нашему , поскольку ${\displaystyle \mathbf {W} \,\mathbf {\Sigma } }$ ${\displaystyle (\mathbf {W} \,\mathbf {\Sigma } )^{T}=-\mathbf {W} \,\mathbf {\Sigma } }$ ${\displaystyle [\mathbf {t} ]_{\times }}$

${\displaystyle ([\mathbf {t} ]_{\times })^{T}=\mathbf {U} \,(\mathbf {W} \,\mathbf {\Sigma } )^{T}\,\mathbf {U} ^{T}=-\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}=-[\mathbf {t} ]_{\times }}$

Согласно общим свойствам матричного представления векторного произведения следует, что должен быть оператором векторного произведения ровно одного вектора . ${\displaystyle [\mathbf {t} ]_{\times }}$ ${\displaystyle \mathbf {t} }$

В-третьих, необходимо также показать, что приведенное выше выражение для является матрицей поворота. Это произведение трех матриц, все из которых ортогональны, что означает , что также является ортогональным или . Чтобы быть правильной матрицей поворота, она также должна удовлетворять . Поскольку в этом случае рассматривается как проективный элемент, этого можно добиться, изменив знак на противоположный, если необходимо. ${\displaystyle \mathbf {R} }$ ${\displaystyle \mathbf {R} }$ ${\displaystyle \det(\mathbf {R} )=\pm 1}$ ${\displaystyle \det(\mathbf {R} )=1}$ ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {E} }$

Нахождение всех решений

До сих пор одно возможное решение для и было установлено при условии . Однако это не единственное возможное решение, и оно может даже не быть допустимым решением с практической точки зрения. Для начала, поскольку масштабирование не определено, масштабирование также не определено. Оно должно лежать в нулевом пространстве , поскольку ${\displaystyle \mathbf {R} }$ ${\displaystyle \mathbf {t} }$ ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {t} }$ ${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {E} \,\mathbf {t} =\mathbf {R} \,[\mathbf {t} ]_{\times }\,\mathbf {t} =\mathbf {0} }$

Однако для последующего анализа решений точное масштабирование не так важно, как его «знак», т. е. в каком направлении он указывает. Пусть будет нормализованным вектором в нулевом пространстве . Тогда и то, и другое являются допустимыми векторами переноса относительно . Также возможно изменение на в выводах и выше. Для вектора переноса это вызывает только изменение знака, что уже было описано как возможность. Для вращения, с другой стороны, это даст другое преобразование, по крайней мере, в общем случае. ${\displaystyle \mathbf {t} }$ ${\displaystyle {\hat {\mathbf {t} }}}$ ${\displaystyle \mathbf {E} }$ ${\displaystyle {\hat {\mathbf {t} }}}$ ${\displaystyle -{\hat {\mathbf {t} }}}$ ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {W} }$ ${\displaystyle \mathbf {W} ^{-1}}$ ${\displaystyle \mathbf {R} }$ ${\displaystyle \mathbf {t} }$

Подводя итог, учитывая, что есть два противоположных направления, которые возможны для и два различных поворота, которые совместимы с этой существенной матрицей. В общей сложности это дает четыре класса решений для поворота и перемещения между двумя системами координат камеры. Вдобавок к этому, есть также неизвестное масштабирование для выбранного направления перемещения. ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {t} }$ ${\displaystyle s>0}$

Однако оказывается, что на практике может быть реализован только один из четырех классов решений. При наличии пары соответствующих координат изображения три из решений всегда будут создавать трехмерную точку, которая находится позади по крайней мере одной из двух камер и, следовательно, не может быть видна. Только один из четырех классов будет последовательно создавать трехмерные точки, которые находятся перед обеими камерами. Тогда это должно быть правильным решением. Тем не менее, оно имеет неопределенное положительное масштабирование, связанное с компонентом трансляции.

Вышеуказанное определение и предполагает, что удовлетворяет внутренним ограничениям существенной матрицы. Если это не так, что, например, обычно имеет место, если было оценено по реальным (и зашумленным) данным изображения, следует предположить, что оно приблизительно удовлетворяет внутренним ограничениям. Вектор затем выбирается как правый сингулярный вектор соответствующего наименьшему сингулярному значению. ${\displaystyle \mathbf {R} }$ ${\displaystyle \mathbf {t} }$ ${\displaystyle \mathbf {E} }$ ${\displaystyle \mathbf {E} }$ ${\displaystyle {\hat {\mathbf {t} }}}$ ${\displaystyle \mathbf {E} }$

3D-точки из соответствующих точек изображения

Существует множество методов вычисления заданных соответствующих нормализованных координат изображения и , если известна основная матрица и определены соответствующие преобразования поворота и трансляции. ${\displaystyle (x_{1},x_{2},x_{3})}$ ${\displaystyle (y_{1},y_{2})}$ ${\displaystyle (y'_{1},y'_{2})}$

Смотрите также

• Регулировка пучка
• Эпиполярная геометрия
• Фундаментальная матрица
• Геометрическая калибровка камеры
• Триангуляция (компьютерное зрение)
• Трифокальный тензор

Ящики для инструментов

• Существенная матричная оценка в MATLAB (Манолис Луракис).

Внешние ссылки

• Исследование сущностной матрицы Р.И. Хартли

Ссылки

1. Фотограмметрическое компьютерное зрение: статистика, геометрия, ориентация и реконструкция (1-е изд.).
2. Хартли, Ричард; Эндрю Зиссерман (2004). Многовидовая геометрия в компьютерном зрении (2-е изд.). Кембридж, Великобритания. ISBN 978-0-511-18711-7. OCLC  171123855.{{cite book}}: CS1 maint: location missing publisher (link)

• Дэвид Нистер (июнь 2004 г.). «Эффективное решение проблемы пятиточечной относительной позы». Труды IEEE по анализу образов и машинному интеллекту . 26 (6): 756–777. doi :10.1109/TPAMI.2004.17. PMID  18579936. S2CID  886598.
• H. Stewénius и C. Engels и D. Nistér (июнь 2006 г.). «Последние разработки в области прямого относительного ориентирования». Журнал ISPRS по фотограмметрии и дистанционному зондированию . 60 (4): 284–294. Bibcode : 2006JPRS...60..284S. CiteSeerX  10.1.1.61.9329 . doi : 10.1016/j.isprsjprs.2006.03.005.
• H. Christopher Longuet-Higgins (сентябрь 1981 г.). «Компьютерный алгоритм реконструкции сцены из двух проекций». Nature . 293 (5828): 133–135. Bibcode :1981Natur.293..133L. doi :10.1038/293133a0. S2CID  4327732.
• Ричард Хартли и Эндрю Зиссерман (2003). Многомерная геометрия в компьютерном зрении . Cambridge University Press. ISBN 978-0-521-54051-3.
• Yi Ma; Stefano Soatto ; Jana Košecká ; S. Shankar Sastry (2004). Приглашение к 3-D Vision . Springer. ISBN 978-0-387-00893-6.
• Gang Xu и Zhengyou Zhang (1996). Эпиполярная геометрия в стерео, движении и распознавании объектов . Kluwer Academic Publishers. ISBN 978-0-7923-4199-4.
• Фёрстнер, Вольфганг и Вробель, Бернхард П. (2016). Фотограмметрическое компьютерное зрение: статистика, геометрия, ориентация и реконструкция (1-е изд.). Springer Publishing Company, Incorporated. ISBN 978-3319115498.{{cite book}}: CS1 maint: multiple names: authors list (link)