Поза (компьютерное зрение)

Положение и ориентация объекта на изображении

В области вычислений и компьютерного зрения поза (или пространственная поза ) представляет положение и ориентацию объекта, обычно в трех измерениях . ^[1] Позы часто хранятся внутри в виде матриц трансформации . ^{[2] [3]} Термин «поза» во многом является синонимом термина «трансформация», но трансформация часто может включать масштаб , а поза — нет. ^{[4] [5]}

В компьютерном зрении поза объекта часто оценивается по данным камеры в процессе оценки позы . Эту информацию затем можно использовать, например, чтобы позволить роботу манипулировать объектом или избежать перемещения в объект на основе его воспринимаемого положения и ориентации в окружающей среде. Другие приложения включают распознавание скелетных движений.

Оценка позы

Конкретная задача определения позы объекта на изображении (или стереоизображениях, последовательности изображений) называется оценкой позы . Проблемы оценки позы можно решать разными способами в зависимости от конфигурации датчика изображения и выбора методологии. Можно выделить три класса методологий:

• Аналитические или геометрические методы: при условии, что датчик изображения (камера) откалиброван и известно сопоставление 3D-точек на сцене и 2D-точек на изображении. Если также известна геометрия объекта, это означает, что проецируемое изображение объекта на изображение камеры является известной функцией позы объекта. После того как набор контрольных точек на объекте, обычно углов или других характерных точек, определен, можно решить преобразование позы из набора уравнений, которые связывают трехмерные координаты точек с координатами их двумерного изображения. Алгоритмы, определяющие положение облака точек по отношению к другому облаку точек, известны как алгоритмы регистрации набора точек , если соответствия между точками еще не известны.
• Методы генетических алгоритмов : если позу объекта не нужно вычислять в режиме реального времени, можно использовать генетический алгоритм . Этот подход надежен, особенно когда изображения не откалиброваны идеально. В данном конкретном случае поза представляет собой генетическое представление , а ошибка между проекцией контрольных точек объекта и изображением является функцией приспособленности .
• Методы, основанные на обучении. Эти методы используют систему, основанную на искусственном обучении, которая изучает сопоставление функций 2D-изображения для преобразования позы. Короче говоря, это означает, что на этапе обучения системе должен быть представлен достаточно большой набор изображений объекта в разных позах. После завершения этапа обучения система должна быть в состоянии представить оценку позы объекта по изображению объекта.

Поза камеры

Обратное засечение камеры — это процесс оценки параметров модели камеры-обскуры, аппроксимирующей камеру, создавшую данную фотографию или видео; он определяет, какой входящий луч света связан с каждым пикселем результирующего изображения. По сути, процесс определяет позу камеры-обскуры.

Обычно параметры камеры представляются в виде проекционной матрицы 3×4 , называемой матрицей камеры . Внешние параметры определяют позу камеры (положение и ориентацию), а внутренние параметры определяют формат изображения камеры (фокусное расстояние, размер пикселя и источник изображения).

Этот процесс часто называют геометрической калибровкой камеры или просто калибровкой камеры, хотя этот термин может также относиться к фотометрической калибровке камеры или ограничиваться оценкой только внутренних параметров. Внешняя ориентация и внутренняя ориентация относятся к определению только внешних и внутренних параметров соответственно.

Классическая калибровка камеры требует наличия в сцене специальных объектов, которые не требуются при автокалибровке камеры .

Обратная засечка камеры часто используется в приложениях стереозрения , где матрицы проекций двух камер используются для расчета трехмерных мировых координат точки, просматриваемой обеими камерами.

Смотрите также

• Распознавание жестов
• Гомография (компьютерное зрение)
• Калибровка камеры
• Структура из движения
• Эссенциальная матрица и трифокальный тензор (относительная поза)

Рекомендации

1. Хофф, Уильям А.; Нгуен, Хой; Лион, Торстен (29 октября 1996 г.). Касасент, Дэвид П. (ред.). «Методы регистрации дополненной реальности на основе компьютерного зрения». Интеллектуальные роботы и компьютерное зрение XV: алгоритмы, методы, активное зрение и обработка материалов . ШПИОН. 2904 : 538–548. Бибкод : 1996SPIE.2904..538H. дои : 10.1117/12.256311. S2CID  6587175.
2. «Поза (положение и ориентация)» .
3. «Матрицы преобразования в Geometry_msgs/Pose - Ответы ROS: Форум вопросов и ответов с открытым исходным кодом» .
4. «Дрейк: пространственная поза и трансформация».
5. «Документация разработчика Apple».