Поле движения

В компьютерном зрении поле движения является идеальным представлением движения в трехмерном пространстве (3D), проецируемом на изображение камеры. Учитывая упрощенную модель камеры , каждая точка изображения является проекцией некоторой точки трехмерной сцены, но положение проекции фиксированной точки в пространстве может меняться со временем. Поле движения формально можно определить как производную по времени от положения всех точек изображения, при условии, что они соответствуют фиксированным трехмерным точкам. Это означает, что поле движения можно представить как функцию, которая отображает координаты изображения в двумерный вектор. Поле движения представляет собой идеальное описание проецируемого трехмерного движения в том смысле, что оно может быть определено формально, но на практике обычно можно определить только приближение поля движения на основе данных изображения. ${\displaystyle (y_{1},y_{2})}$

Введение

Иллюстрация некоторых 3D-точек и соответствующих им точек изображения, описанных моделью камеры-обскуры . Поскольку трехмерные точки движутся в пространстве, соответствующие точки изображения также движутся. Поле движения состоит из векторов движения изображения для всех точек изображения.

Модель камеры сопоставляет каждую точку в 3D-пространстве с точкой 2D-изображения в соответствии с некоторыми функциями отображения : ${\displaystyle (x_{1},x_{2},x_{3})}$ ${\displaystyle (y_{1},y_{2})}$ ${\displaystyle m_{1},m_{2}}$

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\begin{pmatrix}m_{1}(x_{1},x_{2},x_{3})\\m_{2}(x_{1},x_{2},x_{3})\end{pmatrix}}}$

Предполагая, что сцена, изображаемая камерой, динамична; он состоит из объектов, движущихся относительно друг друга, объектов, которые деформируются, а также, возможно, камеры, движущейся относительно сцены. Фиксированная точка в трехмерном пространстве сопоставляется с различными точками изображения. Дифференцирование предыдущего выражения по времени дает

${\displaystyle {\begin{pmatrix}{\frac {dy_{1}}{dt}}\\[2mm]{\frac {dy_{2}}{dt}}\end{pmatrix}}={\begin{pmatrix}{\frac {dm_{1}(x_{1},x_{2},x_{3})}{dt}}\\[2mm]{\frac {dm_{2}(x_{1},x_{2},x_{3})}{dt}}\end{pmatrix}}={\begin{pmatrix}{\frac {dm_{1}}{dx_{1}}}&{\frac {dm_{1}}{dx_{2}}}&{\frac {dm_{1}}{dx_{3}}}\\[2mm]{\frac {dm_{2}}{dx_{1}}}&{\frac {dm_{2}}{dx_{2}}}&{\frac {dm_{2}}{dx_{3}}}\end{pmatrix}}\,{\begin{pmatrix}{\frac {dx_{1}}{dt}}\\[2mm]{\frac {dx_{2}}{dt}}\\[2mm]{\frac {dx_{3}}{dt}}\end{pmatrix}}}$

Здесь

${\displaystyle \mathbf {u} ={\begin{pmatrix}{\frac {dy_{1}}{dt}}\\[2mm]{\frac {dy_{2}}{dt}}\end{pmatrix}}}$

— поле движения, а вектор u зависит как от положения изображения , так и от времени t . Сходным образом, ${\displaystyle (y_{1},y_{2})}$

${\displaystyle \mathbf {x'} ={\begin{pmatrix}{\frac {dx_{1}}{dt}}\\[2mm]{\frac {dx_{2}}{dt}}\\[2mm]{\frac {dx_{3}}{dt}}\end{pmatrix}}}$

- это движение соответствующей трехмерной точки, и ее связь с полем движения определяется выражением

${\displaystyle \mathbf {u} =\mathbf {M} \,\mathbf {x} '}$

где матрица, зависящая от положения изображения ${\displaystyle \mathbf {M} }$ ${\displaystyle 2\times 3}$

${\displaystyle \mathbf {M} ={\begin{pmatrix}{\frac {dm_{1}}{dx_{1}}}&{\frac {dm_{1}}{dx_{2}}}&{\frac {dm_{1}}{dx_{3}}}\\[2mm]{\frac {dm_{2}}{dx_{1}}}&{\frac {dm_{2}}{dx_{2}}}&{\frac {dm_{2}}{dx_{3}}}\end{pmatrix}}}$

Это соотношение подразумевает, что поле движения в определенной точке изображения инвариантно к трехмерным движениям, которые лежат в нулевом пространстве . Например, в случае камеры -обскуры все компоненты трехмерного движения, которые направлены к фокусной точке камеры или от нее, не могут быть обнаружены в поле движения. ${\displaystyle \mathbf {M} }$

Особые случаи

Поле движения определяется как: ${\displaystyle \mathbf {v} }$

${\displaystyle \mathbf {v} =f{\frac {Z\mathbf {V} -V_{z}\mathbf {P} }{Z^{2}}}}$

где

${\displaystyle \mathbf {V} =-\mathbf {T} -\mathbf {\omega } \times \mathbf {P} }$.

где

• ${\displaystyle \mathbf {P} }$— это точка сцены, где Z — расстояние до этой точки сцены.
• ${\displaystyle \mathbf {V} }$относительное движение между камерой и сценой,
• ${\displaystyle \mathbf {T} }$– поступательная составляющая движения, а
• ${\displaystyle \mathbf {\omega } }$– угловая скорость движения.

Связь с оптическим потоком

Поле движения представляет собой идеальную конструкцию, основанную на идее, что можно определить движение каждой точки изображения, и выше описано, как это 2D-движение связано с 3D-движением. Однако на практике истинное поле движения можно определить только на основе измерений данных изображения. Проблема заключается в том, что в большинстве случаев каждая точка изображения имеет индивидуальное движение, которое поэтому необходимо измерять локально с помощью операции соседства с данными изображения. Как следствие, правильное поле движения не может быть определено для определенных типов окрестностей, и вместо этого приходится использовать приближение, часто называемое оптическим потоком . Например, окрестность, имеющая постоянную интенсивность, может соответствовать ненулевому полю движения, но оптический поток равен нулю, поскольку локальное движение изображения невозможно измерить. Аналогично, окрестность, которая является внутренней одномерной (например, край или линия), может соответствовать произвольному полю движения, но оптический поток может захватывать только нормальную составляющую поля движения. Существуют и другие эффекты, такие как шум изображения, 3D-окклюзия, временное сглаживание, которые присущи любому методу измерения оптического потока и приводят к отклонению результирующего оптического потока от истинного поля движения.

Короче говоря, поле движения невозможно правильно измерить для всех точек изображения, а оптический поток является аппроксимацией поля движения. Существует несколько различных способов расчета оптического потока, основанных на разных критериях проведения оптической оценки.

Рекомендации

• Бернд Йене и Хорст Хауссекер (2000). Компьютерное зрение и его приложения. Руководство для студентов и практиков . Академическая пресса. ISBN 0-13-085198-1.

• Линда Г. Шапиро и Джордж К. Стокман (2001). Компьютерное зрение . Прентис Холл. ISBN 0-13-030796-3.

• Милан Шонка, Вацлав Главац и Роджер Бойл (1999). Обработка изображений, анализ и машинное зрение . Издательство ПВС. ISBN 0-534-95393-Х.