Оценка 3D-позы — это процесс прогнозирования трансформации объекта из заданной пользователем эталонной позы, заданной изображением или 3D-сканированием . Она возникает в компьютерном зрении или робототехнике , где поза или трансформация объекта может использоваться для выравнивания моделей автоматизированного проектирования , идентификации, захвата или манипулирования объектом.
Данные изображения, по которым определяется поза объекта, могут быть либо одним изображением, либо стереопарой изображений , либо последовательностью изображений, где, как правило, камера движется с известной скоростью. Рассматриваемые объекты могут быть довольно общими, включая живое существо или части тела, например, голову или руки. Однако методы, используемые для определения позы объекта, обычно специфичны для определенного класса объектов и, как правило, не могут хорошо работать для других типов объектов.
Можно оценить 3D-вращение и перемещение 3D-объекта по одной 2D-фотографии, если известна приблизительная 3D-модель объекта и известны соответствующие точки на 2D-изображении. Распространенной методикой, разработанной в 1995 году для решения этой проблемы, является POSIT, [1] где 3D-поза оценивается непосредственно по точкам 3D-модели и точкам 2D-изображения, и итеративно исправляет ошибки, пока не будет найдена хорошая оценка по одному изображению. [2] Большинство реализаций POSIT работают только с некопланарными точками (другими словами, он не будет работать с плоскими объектами или плоскостями). [3]
Другой подход заключается в регистрации 3D- модели САПР на фотографии известного объекта путем оптимизации подходящей меры расстояния относительно параметров позы. [4] [5] Мера расстояния вычисляется между объектом на фотографии и проекцией 3D- модели САПР в заданной позе. Перспективная проекция или ортогональная проекция возможны в зависимости от используемого представления позы. Этот подход подходит для приложений, где доступна 3D-модель САПР известного объекта (или категории объектов).
При наличии двухмерного изображения объекта и камеры, откалиброванной относительно мировой системы координат, также возможно найти позу, которая задает трехмерный объект в его объектной системе координат. [6] Это работает следующим образом.
Начиная с 2D-изображения, извлекаются точки изображения, которые соответствуют углам на изображении. Проекционные лучи из точек изображения реконструируются из 2D-точек, так что можно определить 3D-точки, которые должны быть инцидентны реконструированным лучам.
Алгоритм определения оценки позы основан на итеративном алгоритме ближайшей точки . Основная идея заключается в определении соответствий между 2D-признаками изображения и точками на кривой 3D-модели.
(а) Реконструкция проекционных лучей из точек изображения(б) Оцените ближайшую точку каждого проекционного луча к точке на трехмерном контуре(c) Оцените положение контура с использованием этого набора соответствий.(d) перейти к (b)
Вышеуказанный алгоритм не учитывает изображения, содержащие частично закрытый объект. Следующий алгоритм предполагает, что все контуры жестко связаны, то есть поза одного контура определяет позу другого контура.
(а) Реконструкция проекционных лучей из точек изображения(б) Для каждого проекционного луча R: (c) Для каждого 3D-контура: (c1) Оцените ближайшую точку P1 луча R к точке на контуре (c2) если (n == 1) выбрать P1 как фактическую P для соответствия точка-линия (c3) иначе сравните P1 с P: если dist(P1, R) меньше dist(P, R), то выбрать P1 как новый P(d) Используйте (P, R) как набор соответствий.(e) Оцените позу с этим набором соответствий(f) Преобразовать контуры, перейти к (b)
Существуют системы, которые используют базу данных объекта при различных вращениях и перемещениях для сравнения входного изображения с , чтобы оценить позу. Точность этих систем ограничена ситуациями, которые представлены в их базе данных изображений, однако цель состоит в том, чтобы распознать позу, а не определить ее. [7]