Отслеживание позы

В виртуальной реальности (VR) и дополненной реальности (AR) система отслеживания поз определяет точную позу дисплеев, закрепленных на голове , контроллеров, других объектов или частей тела в евклидовом пространстве . Отслеживание поз часто называют 6DOF-отслеживанием, из-за шести степеней свободы , в которых часто отслеживается поза. ^[1]

Отслеживание поз иногда называют позиционным отслеживанием, но это два отдельных понятия. Отслеживание поз отличается от позиционного отслеживания , поскольку отслеживание поз включает ориентацию, тогда как позиционное отслеживание — нет. В некоторых потребительских системах GPS данные об ориентации добавляются дополнительно с помощью магнитометров , которые предоставляют частичную информацию об ориентации, но не полную ориентацию, которую обеспечивает отслеживание поз.

В VR крайне важно, чтобы отслеживание позы было как точным, так и четким, чтобы не нарушать иллюзию пребывания в виртуальном мире. Для достижения этого было разработано несколько методов отслеживания положения и ориентации (тангажа, рыскания и крена) дисплея и любых связанных объектов или устройств. Многие методы используют датчики, которые многократно регистрируют сигналы от передатчиков на отслеживаемом объекте(ах) или рядом с ним, а затем отправляют эти данные на компьютер, чтобы поддерживать приблизительное их физическое местоположение. Популярным методом отслеживания является отслеживание Lighthouse . В целом, эти физические местоположения идентифицируются и определяются с помощью одной или нескольких из трех систем координат: декартовой прямолинейной системы, сферической полярной системы и цилиндрической системы. Многие интерфейсы также были разработаны для отслеживания и управления движением внутри и взаимодействием с виртуальным 3D-пространством; такие интерфейсы должны тесно работать с системами позиционного отслеживания, чтобы обеспечить бесперебойный пользовательский опыт. ^[2]

Другой тип отслеживания позы, который чаще используется в новых системах, называется отслеживанием изнутри наружу, включая одновременную локализацию и картографирование (SLAM) или визуально-инерциальную одометрию (VIO). Одним из примеров устройства, использующего отслеживание изнутри наружу, является Oculus Quest 2 .

Беспроводное отслеживание

Беспроводное отслеживание использует набор якорей, которые размещаются по периметру пространства отслеживания, и один или несколько отслеживаемых тегов. Эта система по своей концепции похожа на GPS, но работает как в помещении, так и на открытом воздухе. Иногда ее называют внутренним GPS. Теги триангулируют свое трехмерное положение с помощью якорей, размещенных по периметру. Беспроводная технология, называемая Ultra Wideband, позволила отслеживанию положения достичь точности менее 100 мм. Благодаря использованию слияния датчиков и высокоскоростных алгоритмов точность отслеживания может достигать уровня 5 мм со скоростью обновления 200 Гц или задержкой 5 мс .

Плюсы :

Пользователь испытывает свободу движений ^[3]
Обеспечивает более широкий диапазон движений
Предоставляет абсолютное местоположение вместо относительного местоположения ^[4]

Минусы :

Низкая частота дискретизации может снизить точность
Низкая задержка (определение) по сравнению с другими датчиками

Оптическое слежение

Отслеживание поз без маркеров

Оптическое отслеживание использует камеры, размещенные на гарнитуре или вокруг нее, для определения положения и ориентации на основе алгоритмов компьютерного зрения . Этот метод основан на том же принципе, что и стереоскопическое человеческое зрение . Когда человек смотрит на объект, используя бинокулярное зрение, он может приблизительно определить, на каком расстоянии находится объект, из-за разницы в перспективе между двумя глазами. При оптическом отслеживании камеры калибруются для определения расстояния до объекта и его положения в пространстве. Оптические системы надежны и относительно недороги, но их может быть сложно калибровать. Кроме того, системе требуется прямая линия света без преград, в противном случае она будет получать неверные данные.

Оптическое отслеживание может осуществляться как с маркерами, так и без них. Отслеживание с маркерами включает цели с известными шаблонами, которые служат опорными точками, и камеры постоянно ищут эти маркеры, а затем используют различные алгоритмы (например, алгоритм POSIT ) для извлечения положения объекта. Маркеры могут быть видимыми, например, напечатанные QR-коды , но многие используют инфракрасный (ИК) свет, который может быть уловлен только камерами. Активные реализации оснащены маркерами со встроенными ИК-светодиодами, которые могут включаться и выключаться для синхронизации с камерой, что упрощает блокировку других ИК-светодиодов в области отслеживания. ^[5] Пассивные реализации представляют собой ретрорефлекторы , которые отражают ИК-свет обратно к источнику с небольшим рассеиванием. Отслеживание без маркеров не требует никаких предварительно размещенных целей, вместо этого используются естественные особенности окружающей среды для определения положения и ориентации. ^[6]

Отслеживание снаружи внутрь

В этом методе камеры размещаются в стационарных местах в среде для отслеживания положения маркеров на отслеживаемом устройстве, таком как дисплей, монтируемый на голове, или контроллеры. Наличие нескольких камер позволяет по-разному просматривать одни и те же маркеры, и это перекрытие позволяет точно считывать положение устройства. ^[5] Оригинальный Oculus Rift использует эту технику, размещая созвездие ИК-светодиодов на своей гарнитуре и контроллерах, чтобы внешние камеры в среде могли считывать их положение. ^[7] Этот метод является наиболее зрелым, имеющим применение не только в VR, но и в технологии захвата движения для фильмов. ^[8] Однако это решение ограничено пространством, и требует внешних датчиков в постоянном поле зрения устройства.

Плюсы:

Более точные показания можно улучшить, добавив больше камер
Меньшая задержка, чем при отслеживании изнутри наружу ^[9]

Минусы:

Окклюзия, камерам нужна прямая видимость, иначе отслеживание не будет работать
Необходимость внешних датчиков означает ограниченную игровую зону

Отслеживание изнутри наружу

В этом методе камера размещается на отслеживаемом устройстве и смотрит наружу, чтобы определить его местоположение в окружающей среде. Гарнитуры, использующие эту технологию, имеют несколько камер, направленных в разные стороны, чтобы получить вид на все свое окружение. Этот метод может работать с маркерами или без них. Система Lighthouse, используемая в HTC Vive, является примером активных маркеров. Каждый внешний модуль Lighthouse содержит ИК-светодиоды, а также лазерную решетку, которая сканирует в горизонтальном и вертикальном направлениях, а датчики на гарнитуре и контроллерах могут обнаруживать эти сканирования и использовать время для определения положения. ^[10]^[11] Отслеживание без маркеров, например, на Oculus Quest , не требует ничего, установленного во внешней среде. Оно использует камеры на гарнитуре для процесса, называемого SLAM , или одновременной локализации и картирования, при котором трехмерная карта окружающей среды генерируется в реальном времени. ^[6] Затем алгоритмы машинного обучения определяют, где находится гарнитура на этой трехмерной карте, используя обнаружение признаков для реконструкции и анализа ее окружения. ^[12]^[13] Эта технология позволяет высококлассным гарнитурам, таким как Microsoft HoloLens, быть автономными, но она также открывает двери для более дешевых мобильных гарнитур без необходимости привязки к внешним компьютерам или датчикам. ^[14]

Плюсы:

Обеспечивает большее игровое пространство, может расширяться для размещения в комнате
Адаптируется к новым условиям

Минусы:

Требуется больше бортовой обработки
Задержка может быть выше ^[9]

Инерционное отслеживание

Инерциальное отслеживание использует данные акселерометров и гироскопов , а иногда и магнитометров . Акселерометры измеряют линейное ускорение. Поскольку производная положения по времени — это скорость, а производная скорости — это ускорение, выход акселерометра можно интегрировать для нахождения скорости, а затем снова интегрировать для нахождения положения относительно некоторой начальной точки. Гироскопы измеряют угловую скорость . Угловую скорость также можно интегрировать для определения углового положения относительно начальной точки. Магнитометры измеряют магнитные поля и магнитные дипольные моменты. Направление магнитного поля Земли можно интегрировать для получения абсолютной точки отсчета ориентации и компенсации гироскопических дрейфов. ^[15] Современные системы инерциальных измерительных единиц (IMU) основаны на технологии MEMS, которая позволяет отслеживать ориентацию (крен, тангаж, рыскание) в пространстве с высокой скоростью обновления и минимальной задержкой. Гироскопы всегда используются для отслеживания вращения, но для позиционного отслеживания используются различные методы, основанные на таких факторах, как стоимость, простота настройки и объем отслеживания. ^[16]

Расчет траектории используется для отслеживания позиционных данных, которые изменяют виртуальную среду, обновляя изменения движения пользователя. ^[17] Скорость обновления расчета траектории и алгоритм прогнозирования, используемые в системе виртуальной реальности, влияют на пользовательский опыт, но нет единого мнения относительно лучших практик, поскольку использовалось много разных методов. ^[17] Трудно полагаться только на инерционное отслеживание для определения точного положения, поскольку расчет траектории приводит к дрейфу, поэтому этот тип отслеживания не используется изолированно в виртуальной реальности. ^[18] Было обнаружено, что задержка между движением пользователя и отображением виртуальной реальности более 100 мс вызывает тошноту. ^[19]

Инерционные датчики способны отслеживать не только вращательное движение (крен, тангаж, рыскание), но и поступательное движение. Эти два типа движения вместе известны как Шесть степеней свободы . Многие приложения виртуальной реальности должны отслеживать не только повороты головы пользователя, но и то, как его тело движется вместе с ними (влево/вправо, назад/вперед, вверх/вниз). ^[20] Возможность шести степеней свободы не является обязательной для всех впечатлений от виртуальной реальности, но она полезна, когда пользователю нужно двигать не только головой, но и другими вещами.

Плюсы :

Может хорошо отслеживать быстрые движения по сравнению с другими датчиками, и особенно хорошо в сочетании с другими датчиками
Возможность высокой скорости обновления

Минусы :

Склонен к ошибкам, которые быстро накапливаются из-за навигационного счисления.
Любая задержка или просчеты при определении местоположения могут привести к появлению у пользователя таких симптомов, как тошнота или головные боли ^[21]
Невозможно угнаться за пользователем, который движется слишком быстро ^[21]
Инерциальные датчики обычно можно использовать только в помещениях и лабораторных условиях, поэтому их применение на открытом воздухе ограничено ^[22]

Слияние датчиков

Слияние датчиков объединяет данные из нескольких алгоритмов отслеживания и может давать лучшие результаты, чем только одна технология. Одним из вариантов слияния датчиков является объединение инерциального и оптического отслеживания. Эти два метода часто используются вместе, поскольку, хотя инерциальные датчики оптимальны для отслеживания быстрых движений, они также быстро накапливают ошибки, а оптические датчики предлагают абсолютные ссылки для компенсации инерционных слабостей. ^[16] Кроме того, инерционное отслеживание может компенсировать некоторые недостатки оптического отслеживания. Например, оптическое отслеживание может быть основным методом отслеживания, но когда происходит окклюзия, инерционное отслеживание оценивает положение до тех пор, пока объекты снова не станут видны оптической камере. Инерционное отслеживание также может генерировать данные о положении между данными о положении оптического отслеживания, поскольку инерционное отслеживание имеет более высокую скорость обновления . Оптическое отслеживание также помогает справиться с дрейфом инерционного отслеживания. Объединение оптического и инерционного отслеживания показало снижение ошибок несовпадения, которые обычно возникают, когда пользователь слишком быстро двигает головой. ^[21] Достижения в области микроэлектрических магнитных систем сделали магнитное/электрическое отслеживание более распространенным из-за их небольшого размера и низкой стоимости. ^[22]

Акустическое отслеживание

Акустические системы слежения используют методы определения положения объекта или устройства, аналогичные тем, которые встречаются в природе у животных, использующих эхолокацию . Аналогично летучим мышам, которые определяют местоположение объектов с помощью разницы во времени возврата звуковой волны к их двум ушам, акустические системы слежения в VR могут использовать наборы из как минимум трех ультразвуковых датчиков и как минимум трех ультразвуковых передатчиков на устройствах для расчета положения и ориентации объекта (например, портативного контроллера). ^[23] Существует два способа определения положения объекта: измерение времени пролета звуковой волны от передатчика к приемникам или фазовая когерентность синусоидальной звуковой волны путем приема передачи.

Методы времени пролета

При наличии набора из трех неколлинеарных датчиков (или приемников) с расстояниями между ними d ₁ и d ₂ , а также времени распространения ультразвуковой волны (волны с частотой более 20 кГц) от передатчика до этих трех приемников относительное декартово положение передатчика можно рассчитать следующим образом:

$x_{0}={l_{1}^{2}+d_{1}^{2}-l_{2}^{2} \over 2d_{1}}$
$y_{0}={l_{1}^{2}+d_{2}^{2}-l_{3}^{2} \over 2d_{2}}$
$z_{0}={\sqrt {l_{1}^{2}-x_{0}^{2}-y_{0}^{2}}}$

Здесь каждый l _i представляет собой расстояние от передатчика до каждого из трех приемников, рассчитанное на основе времени распространения ультразвуковой волны с использованием уравнения l = ct _us . Константа c обозначает скорость звука, которая равна 343,2 м/с в сухом воздухе при температуре 20°C. Поскольку требуется не менее трех приемников, эти вычисления обычно называют триангуляцией .

Помимо его положения, определение ориентации устройства (т. е. степени его вращения во всех направлениях) требует, чтобы было известно по крайней мере три неколлинеарных точки на отслеживаемом объекте, что обязывает количество ультразвуковых передатчиков быть по крайней мере тремя на отслеживаемое устройство в дополнение к трем вышеупомянутым приемникам. Передатчики излучают ультразвуковые волны последовательно в направлении трех приемников, которые затем могут быть использованы для получения пространственных данных о трех передатчиках с использованием методов, описанных выше. Ориентация устройства затем может быть получена на основе известного расположения передатчиков на устройстве и их пространственных расположений относительно друг друга. ^[24]

Фазово-когерентные методы

В отличие от методов TOF, методы фазово-когерентного (PC) отслеживания также использовались для акустического определения местоположения объекта. PC отслеживание включает сравнение фазы текущей звуковой волны, полученной датчиками, с фазой предыдущего опорного сигнала, так что можно определить относительное изменение положения передатчиков от последнего измерения. Поскольку этот метод работает только с наблюдаемыми изменениями значений положения, а не с абсолютными измерениями, любые ошибки в измерении имеют тенденцию накапливаться с большим количеством наблюдений. Следовательно, этот метод со временем потерял популярность у разработчиков.

Плюсы :

Точное измерение координат и углов
Датчики небольшие и легкие, что обеспечивает большую гибкость при их включении в конструкцию.
Устройства дешевы и просты в производстве.
Отсутствие электромагнитных помех.

Минусы :

Изменчивость скорости звука в зависимости от температуры, атмосферного давления и влажности окружающей среды может привести к ошибке в расчетах расстояния.
Радиус действия ограничен и требует наличия прямой видимости между излучателями и приемниками.
По сравнению с другими методами, максимально возможная частота дискретизации несколько мала (приблизительно несколько десятков Гц) из-за относительно низкой скорости звука в воздухе. Это может привести к задержкам измерения до нескольких десятков миллисекунд, если только не используется слияние датчиков для дополнения ультразвуковых измерений
Акустические помехи (т. е. другие звуки окружающей среды) могут затруднять считывание показаний.

Подводя итог, можно сказать, что реализация акустического отслеживания является оптимальной в случаях, когда имеется полный контроль над окружающей средой, в которой находится система виртуальной или дополненной реальности, например, в авиасимуляторе. ^[2]^[25]^[26]

Магнитное отслеживание

Магнитное отслеживание основано на измерении интенсивности неоднородных магнитных полей с помощью электромагнитных датчиков. Базовая станция , часто называемая передатчиком системы или генератором поля, генерирует переменное или статическое электромагнитное поле в зависимости от архитектуры системы.

Для покрытия всех направлений в трехмерном пространстве последовательно генерируются три магнитных поля. Магнитные поля генерируются тремя электромагнитными катушками, которые перпендикулярны друг другу. Эти катушки следует поместить в небольшой корпус, установленный на движущейся цели, положение которой необходимо отслеживать. Ток, последовательно проходя через катушки, превращает их в электромагниты, что позволяет им определять свое положение и ориентацию в пространстве.

Поскольку магнитное отслеживание не требует головного дисплея, который часто используется в виртуальной реальности, это часто система отслеживания, используемая в полностью иммерсивных дисплеях виртуальной реальности. ^[21] Обычное оборудование, такое как головные дисплеи, навязчиво для пользователя в полностью закрытых опытах виртуальной реальности, поэтому предпочтение отдается альтернативному оборудованию, такому как то, что используется в магнитном отслеживании. Магнитное отслеживание было реализовано Polhemus и в Razer Hydra компанией Sixense . Система плохо работает вблизи любого электропроводящего материала, такого как металлические предметы и устройства, которые могут влиять на электромагнитное поле. Магнитное отслеживание ухудшается по мере того, как пользователь удаляется от базового излучателя, ^[21] а масштабируемая область ограничена и не может быть больше 5 метров.

Плюсы :

Использует незаметное оборудование, которое не нужно носить пользователю и которое не мешает восприятию виртуальной реальности.
Подходит для полностью иммерсивных дисплеев виртуальной реальности

Минусы :

Пользователь должен находиться близко к базовому излучателю
Отслеживание ухудшается вблизи металлов или объектов, которые создают помехи электромагнитному полю.
Имеют тенденцию к большому количеству ошибок и дрожания из-за частых требований калибровки ^[22]

Смотрите также

Ссылки

^ «Что такое 3 DoF против 6 DoF в VR?».
^ ab Аукстакалнис, Стив. Практическая дополненная реальность: руководство по технологиям, приложениям и человеческим факторам для AR и VR. Бостон. ISBN 978-0-13-409429-8. OCLC 958300989.
^ Эмура, Сатору; Тачи, Сусуму (август 1998 г.). «Мультисенсорное интегрированное прогнозирование для виртуальной реальности». Presence: Teleoperators and Virtual Environments . 7 (4): 410–422. doi :10.1162/105474698565811. ISSN 1054-7460. S2CID 34491936.
^ URL=https://indotraq.com/?page_id=1949
^ ab VR, Дорога к (2014-06-02). "Обзор технологий позиционного отслеживания для виртуальной реальности". Дорога к VR . Получено 2020-11-06 .
^ ab "Как Oculus втиснул сложное отслеживание в крошечное оборудование". TechCrunch . 22 августа 2019 г. Получено 06.11.2020 .
^ «Oculus App Store потребует предварительных одобрений, рейтингов комфорта и налога». TechCrunch . 12 июня 2015 г. Получено 06.11.2020 .
^ Pustka, D.; Hülß, J.; Willneff, J.; Pankratz, F.; Huber, M.; Klinker, G. (ноябрь 2012 г.). «Оптическое отслеживание снаружи внутрь с использованием немодифицированных мобильных телефонов». 2012 IEEE International Symposium on Mixed and Augmented Reality (ISMAR) . стр. 81–89. doi :10.1109/ISMAR.2012.6402542. ISBN 978-1-4673-4662-7. S2CID 18349919.
^ ab "Изнутри-наружу против снаружи-внутрь: как работает отслеживание VR и как оно изменится". Wareable . 2017-05-03 . Получено 2020-11-06 .
^ Демпси, П. (01.08.2016). «Разборка: гарнитура виртуальной реальности HTC Vive». Engineering & Technology . 11 (7): 80–81. doi :10.1049/et.2016.0731. ISSN 1750-9637.
^ Нихорстер, Дидерик К.; Ли, Ли; Лаппе, Маркус (июнь 2017 г.). «Точность и точность отслеживания положения и ориентации в системе виртуальной реальности HTC Vive для научных исследований». i-Perception . 8 (3): 204166951770820. doi :10.1177/2041669517708205. ISSN 2041-6695. PMC 5439658 . PMID 28567271.
^ Чэнь, Лиянь; Пэн, Сяоюань; Яо, Цзюньфэн; Цигуань, Хун; Чэнь, Чэнь; Ма, Ихань (август 2016 г.). «Исследование системы дополненной реальности без идентификационных маркеров для домашней выставки». 2016 11-я Международная конференция по компьютерным наукам и образованию (ICCSE) . Нагоя, Япония: IEEE. стр. 524–528. doi :10.1109/ICCSE.2016.7581635. ISBN 978-1-5090-2218-2. S2CID 17281382.
^ Расмуссен, Локи; Бейсингер, Джей; Миланова, Мариофанна (март 2019 г.). «Сетевые потребительские системы для обеспечения среды разработки для отслеживания без внутренних маркеров для гарнитур виртуальной реальности». Конференция IEEE 2019 года по виртуальной реальности и трехмерным пользовательским интерфейсам (VR) . Осака, Япония: IEEE. стр. 1132–1133. doi :10.1109/VR.2019.8798349. ISBN 978-1-7281-1377-7. S2CID 201066258.
^ hferrone. "Как работает отслеживание изнутри наружу - Руководство для энтузиастов". docs.microsoft.com . Получено 2020-11-06 .
^ «Оптимальное количество осей для датчиков движения». Блог экспертов CEVA . 5 февраля 2019 г. Получено 8 сентября 2022 г.
^ ab Bleser, Gabriele; Stricker, Didier (февраль 2009 г.). «Расширенное отслеживание с помощью эффективной обработки изображений и слияния визуально-инерционных датчиков». Computers & Graphics . 33 (1): 59–72. doi :10.1016/j.cag.2008.11.004. S2CID 5645304.
^ ab Bleser, Gabriele; Stricker, Didier (февраль 2009 г.). «Расширенное отслеживание с помощью эффективной обработки изображений и слияния визуально-инерционных датчиков». Computers & Graphics . 33 (1): 59–72. doi :10.1016/j.cag.2008.11.004. S2CID 5645304.
^ "Как работает позиционное отслеживание виртуальной реальности". VentureBeat . 2019-05-05 . Получено 2020-11-06 .
^ Эмура, Сатору; Тачи, Сусуму (август 1998 г.). «Мультисенсорное интегрированное прогнозирование для виртуальной реальности». Presence: Teleoperators and Virtual Environments . 7 (4): 410–422. doi :10.1162/105474698565811. ISSN 1054-7460. S2CID 34491936.
^ "Краткое руководство по степеням свободы в виртуальной реальности". Kei Studios . 2018-02-12 . Получено 2020-11-06 .
^ abcde Хог, А.; Дженкин, М. Р.; Эллисон, Р. С. (май 2004 г.). «Оптически-инерциальная система слежения для полностью закрытых дисплеев виртуальной реальности». Первая канадская конференция по компьютерному и роботизированному зрению, 2004 г. Труды . стр. 22–29. doi :10.1109/CCCRV.2004.1301417. ISBN 0-7695-2127-4. S2CID 1010865.
^ abc Atrsaei, Arash; Salarieh, Hassan; Alasty, Aria; Abediny, Mohammad (май 2018 г.). «Отслеживание движения руки человека с помощью инерционных/магнитных датчиков с использованием неароматизированного фильтра Калмана и ограничения относительного движения». Журнал интеллектуальных и робототехнических систем . 90 (1–2): 161–170. doi :10.1007/s10846-017-0645-z. ISSN 0921-0296. S2CID 3887896.
^ Джонс, Гарет (июль 2005 г.). «Эхолокация». Current Biology . 15 (13): R484–R488. doi : 10.1016/j.cub.2005.06.051 . ISSN 0960-9822. PMID 16005275.
^ Михель, Матяж; Новак, Домен; Бегуш, Само (2014). «Технологии и приложения виртуальной реальности». Интеллектуальные системы, управление и автоматизация: наука и техника . 68 . дои : 10.1007/978-94-007-6910-6. ISBN 978-94-007-6909-0. ISSN 2213-8986.
^ Т. Мазурик, История виртуальной реальности, ее применение, технологии и будущее. Вена, Австрия: Венский технический университет, 1996.
^ Р. Холлоуэй и А. Ластра, «Виртуальные среды: обзор технологий», cs.unc.edu. [Онлайн]. Доступно: http://www.cs.unc.edu/techreports/93-033.pdf .

Библиография

Янник П. Роллан, Йохан Байо и Алексей А. Гун. Обзор технологий отслеживания для виртуальных сред (PDF) .{{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
Викас Кумар Н. Интеграция инерциальной навигационной системы и глобальной системы позиционирования с использованием фильтрации Калмана (PDF) .
JD Hol, TB Schon, F. Gustafsson, PJ Slycke. Слияние датчиков для дополненной реальности (PDF) .{{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )