stringtranslate.com

Отслеживание позы

В виртуальной реальности (VR) и дополненной реальности (AR) система отслеживания позы определяет точную позу установленных на голове дисплеев , контроллеров, других объектов или частей тела в евклидовом пространстве . Отслеживание позы часто называют отслеживанием 6DOF, поскольку поза часто отслеживается с шестью степенями свободы . [1]

Отслеживание позы иногда называют позиционным отслеживанием, но это разные вещи. Отслеживание позы отличается от отслеживания положения , поскольку отслеживание позы включает в себя ориентацию, а отслеживание положения — нет. В некоторых потребительских GPS-системах данные ориентации добавляются дополнительно с помощью магнитометров , которые дают частичную информацию об ориентации, но не полную ориентацию, которую обеспечивает отслеживание позы.

Отслеживание позы в виртуальной реальности

В виртуальной реальности крайне важно, чтобы отслеживание позы было одновременно точным и точным, чтобы не разрушать иллюзию существа в виртуальном мире. Для достижения этой цели было разработано несколько методов отслеживания положения и ориентации (наклон, рысканье и крен) дисплея и любых связанных с ним объектов или устройств. Во многих методах используются датчики, которые неоднократно записывают сигналы от передатчиков на отслеживаемом объекте (объектах) или рядом с ним, а затем отправляют эти данные на компьютер, чтобы приблизительно определить их физическое местоположение. Популярный метод отслеживания — Lighthouse tracking . По большому счету, эти физические местоположения идентифицируются и определяются с использованием одной или нескольких из трех систем координат: декартовой прямолинейной системы, сферической полярной системы и цилиндрической системы. Многие интерфейсы также были разработаны для мониторинга и управления движением внутри виртуального трехмерного пространства и взаимодействия с ним; такие интерфейсы должны тесно взаимодействовать с системами позиционного отслеживания, чтобы обеспечить удобство взаимодействия с пользователем. [2]

Другой тип отслеживания позы, чаще используемый в новых системах, называется отслеживанием изнутри наружу, включая одновременную локализацию и картографирование (SLAM) или визуально-инерциальную одометрию (VIO). Одним из примеров устройства, которое использует отслеживание позы наизнанку, является Oculus Quest 2 .

Беспроводное отслеживание

Беспроводное отслеживание использует набор якорей, которые размещаются по периметру пространства отслеживания, и один или несколько отслеживаемых тегов. Эта система по своей концепции аналогична GPS, но работает как в помещении, так и на открытом воздухе. Иногда его называют внутренним GPS. Теги триангулируют свое трехмерное положение с помощью якорей, расположенных по периметру. Беспроводная технология Ultra Wideband позволила отслеживать положение с точностью менее 100 мм. Благодаря использованию объединения датчиков и высокоскоростных алгоритмов точность отслеживания может достигать уровня 5 мм при скорости обновления 200 Гц или задержке 5 мс .

Плюсы :

Минусы :

Оптическое отслеживание

Безмаркерное отслеживание позы

Оптическое отслеживание использует камеры, расположенные на гарнитуре или вокруг нее, для определения положения и ориентации на основе алгоритмов компьютерного зрения . Этот метод основан на том же принципе, что и стереоскопическое зрение человека . Когда человек смотрит на объект с помощью бинокулярного зрения, он может приблизительно определить, на каком расстоянии находится объект, благодаря разнице в перспективе между двумя глазами. При оптическом слежении камеры калибруются для определения расстояния до объекта и его положения в пространстве. Оптические системы надежны и относительно недороги, но их сложно калибровать. Кроме того, системе требуется прямая линия света без препятствий, иначе она получит неверные данные.

Оптическое отслеживание может осуществляться как с маркерами, так и без них. При отслеживании с помощью маркеров используются цели с известными шаблонами, которые служат ориентирами, и камеры постоянно ищут эти маркеры, а затем используют различные алгоритмы (например, алгоритм POSIT ) для определения положения объекта. Маркеры могут быть видимыми, например, напечатанные QR-коды , но многие из них используют инфракрасный (ИК) свет, который можно уловить только камерами. Активные реализации оснащены маркерами со встроенными ИК-светодиодами, которые можно включать и выключать для синхронизации с камерой, что упрощает блокировку других ИК-светов в зоне слежения. [4] Пассивные реализации представляют собой ретрорефлекторы , которые отражают ИК-свет обратно к источнику с небольшим рассеянием. Безмаркерное отслеживание не требует каких-либо заранее размещенных целей, вместо этого для определения положения и ориентации используются естественные особенности окружающей среды. [5]

Отслеживание снаружи внутри

В этом методе камеры размещаются в стационарных местах окружающей среды для отслеживания положения маркеров на отслеживаемом устройстве, например, на головном дисплее или контроллерах. Наличие нескольких камер позволяет просматривать одни и те же маркеры по-разному, и это перекрытие позволяет точно определять положение устройства. [4] Оригинальный Oculus Rift использует эту технику: на гарнитуре и контроллерах размещается совокупность ИК-светодиодов, позволяющих внешним камерам в окружающей среде считывать свое положение. [6] Этот метод является наиболее зрелым и находит применение не только в виртуальной реальности, но и в технологии захвата движения для кино. [7] Однако это решение ограничено в пространстве и требует наличия внешних датчиков, постоянно находящихся в поле зрения устройства.

Плюсы:

Минусы:

Отслеживание наизнанку

В этом методе камера размещается на отслеживаемом устройстве и смотрит наружу, чтобы определить ее местоположение в окружающей среде. Гарнитуры, использующие эту технологию, имеют несколько камер, направленных в разные стороны, чтобы видеть все окружение. Этот метод может работать как с маркерами, так и без них. Система Lighthouse, используемая в HTC Vive, является примером активных маркеров. Каждый внешний модуль Lighthouse содержит ИК-светодиоды, а также лазерную решетку, которая перемещается в горизонтальном и вертикальном направлениях, а датчики на гарнитуре и контроллерах могут обнаруживать эти движения и использовать время для определения положения. [9] [10] Безмаркерное отслеживание, например, на Oculus Quest , не требует установки чего-либо снаружи. Он использует камеры на гарнитуре для процесса, называемого SLAM , или одновременной локализации и картографирования, при котором трехмерная карта окружающей среды создается в реальном времени. [5] Алгоритмы машинного обучения затем определяют, где находится гарнитура на этой трехмерной карте, используя обнаружение признаков для реконструкции и анализа ее окружения. [11] [12] Эта технология позволяет гарнитурам высокого класса, таким как Microsoft HoloLens, быть автономными, но она также открывает двери для более дешевых мобильных гарнитур без необходимости привязки к внешним компьютерам или датчикам. [13]

Плюсы:

Минусы:

Инерционное отслеживание

Инерционное отслеживание использует данные акселерометров и гироскопов , а иногда и магнитометров . Акселерометры измеряют линейное ускорение. Поскольку производная положения по времени — это скорость, а производная скорости — ускорение, выходные данные акселерометра можно интегрировать, чтобы найти скорость, а затем проинтегрировать снова, чтобы найти положение относительно некоторой начальной точки. Гироскопы измеряют угловую скорость . Угловую скорость также можно интегрировать для определения углового положения относительно начальной точки. Магнитометры измеряют магнитные поля и магнитные дипольные моменты. Направление магнитного поля Земли можно интегрировать, чтобы получить абсолютную привязку к ориентации и компенсировать гироскопические дрейфы. [14] Современные системы инерциальных измерительных блоков (ИИУ) на основе технологии МЭМС позволяют отслеживать ориентацию (крен, тангаж, рыскание) в пространстве с высокой скоростью обновления и минимальной задержкой. Гироскопы всегда используются для отслеживания вращения, но для отслеживания положения используются разные методы в зависимости от таких факторов, как стоимость, простота настройки и объем отслеживания. [15]

Счисление используется для отслеживания данных о положении, которые изменяют виртуальную среду, обновляя изменения движения пользователя. [16] Частота обновления счисления пути и алгоритм прогнозирования, используемые в системе виртуальной реальности, влияют на пользовательский опыт, но единого мнения относительно лучших практик нет, поскольку использовалось множество различных методов. [16] Трудно полагаться только на инерциальное отслеживание для определения точного положения, поскольку счисление ведет к дрейфу, поэтому этот тип отслеживания не используется изолированно в виртуальной реальности. [17] Было обнаружено, что задержка между движением пользователя и отображением виртуальной реальности более 100 мс вызывает тошноту. [18]

Инерционные датчики способны отслеживать не только вращательное движение (крен, тангаж, рыскание), но и поступательное движение. Эти два типа движения вместе известны как Шесть степеней свободы . Многим приложениям виртуальной реальности необходимо не только отслеживать повороты головы пользователей, но и то, как вместе с ними двигаются их тела (влево/вправо, назад/вперед, вверх/вниз). [19] Шесть степеней свободы не являются обязательными для всех видов виртуальной реальности, но они полезны, когда пользователю нужно перемещать другие предметы, кроме головы.

Плюсы :

Минусы :

Датчик слияния

Объединение датчиков объединяет данные нескольких алгоритмов отслеживания и может дать лучшие результаты, чем только одна технология. Одним из вариантов слияния датчиков является объединение инерциального и оптического слежения. Эти два метода часто используются вместе, поскольку, хотя инерционные датчики оптимальны для отслеживания быстрых движений, они также быстро накапливают ошибки, а оптические датчики обеспечивают абсолютные эталоны для компенсации недостатков инерции. [15] Кроме того, инерционное слежение может компенсировать некоторые недостатки оптического слежения. Например, оптическое отслеживание может быть основным методом отслеживания, но при возникновении окклюзии инерционное отслеживание оценивает положение до тех пор, пока объекты снова не станут видны оптической камере. Инерционное отслеживание также может генерировать данные о местоположении между данными о положении оптического отслеживания, поскольку инерционное отслеживание имеет более высокую скорость обновления . Оптическое слежение также помогает справиться со сносом инерционного слежения. Сочетание оптического и инерционного отслеживания позволяет уменьшить ошибки соосности, которые обычно возникают, когда пользователь слишком быстро двигает головой. [20] Развитие микроэлектрических магнитных систем сделало магнитное/электрическое отслеживание более распространенным из-за их небольшого размера и низкой стоимости. [21]

Акустическое отслеживание

Системы акустического слежения используют методы определения положения объекта или устройства, аналогичные тем, которые естественным образом встречаются у животных, использующих эхолокацию . Аналогично летучим мышам, определяющим местоположение объектов по разнице во времени возврата звуковой волны к двум ушам, системы акустического слежения в виртуальной реальности могут использовать наборы из как минимум трех ультразвуковых датчиков и как минимум трех ультразвуковых передатчиков на устройствах для расчета положения и ориентации объекта ( например, портативный контроллер). [22] Существует два способа определения положения объекта: измерение времени прохождения звуковой волны от передатчика к приемникам или фазовая когерентность синусоидальной звуковой волны путем приема передаваемой информации.

Времяпролетные методы

Учитывая набор из трех неколлинеарных датчиков (или приемников) с расстояниями между ними d 1 и d 2 , а также время прохождения ультразвуковой звуковой волны (волны с частотой более 20 кГц) от передатчика до этих трех приемников, относительное декартово положение передатчика можно рассчитать следующим образом:

Здесь каждый l i представляет расстояние от передатчика до каждого из трех приемников, рассчитанное на основе времени прохождения ультразвуковой волны с использованием уравнения l = ct us . Константа с обозначает скорость звука, которая равна 343,2 м/с в сухом воздухе при температуре 20°С. Поскольку требуется как минимум три приемника, эти расчеты широко известны как триангуляция .

Помимо положения, для определения ориентации устройства (т. е. степени его вращения во всех направлениях) необходимо знать как минимум три неколлинеарные точки на отслеживаемом объекте, что требует, чтобы количество ультразвуковых передатчиков было не менее трех на каждое отслеживаемое устройство в дополнение к три вышеупомянутых приемника. Передатчики последовательно излучают ультразвуковые волны в направлении трех приемников, которые затем можно использовать для получения пространственных данных от трех передатчиков с использованием методов, описанных выше. Затем ориентацию устройства можно определить на основе известного положения передатчиков на устройстве и их пространственного положения относительно друг друга. [23]

Фазово-когерентные методы

В отличие от методов TOF, для акустического определения местоположения объекта также использовались методы фазово-когерентного (ПК) отслеживания. Отслеживание с помощью ПК включает сравнение фазы текущей звуковой волны, полученной датчиками, с фазой предыдущего опорного сигнала, так что можно определить относительное изменение положения передатчиков по результатам последнего измерения. Поскольку этот метод работает только с наблюдаемыми изменениями значений положения, а не с абсолютными измерениями, любые ошибки в измерениях имеют тенденцию усугубляться при большем количестве наблюдений. Следовательно, этот метод со временем потерял популярность среди разработчиков.


Плюсы :

Минусы :

Таким образом, реализация акустического отслеживания оптимальна в тех случаях, когда имеется полный контроль над окружающей средой, в которой находится система VR или AR, например, в авиасимуляторе. [2] [24] [25]

Магнитное отслеживание

Магнитное отслеживание (или электромагнитное отслеживание) основано на том же принципе, что и терменвокс . Он основан на измерении интенсивности неоднородных магнитных полей с помощью электромагнитных датчиков. Базовая станция , часто называемая передатчиком или генератором поля системы, генерирует переменное или статическое электромагнитное поле, в зависимости от архитектуры системы.

Чтобы охватить все направления в трехмерном пространстве, последовательно генерируются три магнитных поля. Магнитные поля генерируются тремя электромагнитными катушками, расположенными перпендикулярно друг другу. Эти катушки должны быть помещены в небольшой корпус, закрепленный на движущейся цели, положение которой необходимо отслеживать. Ток, последовательно проходя через катушки, превращает их в электромагниты, что позволяет им определять свое положение и ориентацию в пространстве.

Поскольку магнитное отслеживание не требует крепления на голове дисплея, который часто используется в виртуальной реальности, именно система отслеживания часто используется в дисплеях виртуальной реальности с полным погружением. [20] Обычное оборудование, такое как головные дисплеи, мешает пользователю в полностью закрытой виртуальной реальности, поэтому предпочтение отдается альтернативному оборудованию, например, используемому в магнитном слежении. Магнитное отслеживание реализовано компанией Polhemus, а в Razor Hydra — компанией Sixense . Система плохо работает вблизи любых электропроводящих материалов, например металлических предметов и устройств, которые могут воздействовать на электромагнитное поле. Магнитное отслеживание ухудшается по мере удаления пользователя от базового излучателя [20] , а масштабируемая область ограничена и не может превышать 5 метров.


Плюсы :

Минусы :

Смотрите также

Рекомендации

  1. ^ «Что такое 3 или 6 степеней свободы в виртуальной реальности?».
  2. ^ аб Аукстакальнис, Стив. Практическая дополненная реальность: руководство по технологиям, приложениям и человеческому фактору для AR и VR. Бостон. ISBN 978-0-13-409429-8. ОСЛК  958300989.
  3. ^ Эмура, Сатору; Тачи, Сусуму (август 1998 г.). «Мультисенсорное интегрированное прогнозирование для виртуальной реальности». Присутствие: Телеоператоры и виртуальные среды . 7 (4): 410–422. дои : 10.1162/105474698565811. ISSN  1054-7460. S2CID  34491936.
  4. ^ ab VR, Дорога к (2 июня 2014 г.). «Обзор технологий позиционного отслеживания для виртуальной реальности». Дорога в VR . Проверено 6 ноября 2020 г.
  5. ^ ab «Как Oculus втиснул сложное отслеживание в скромное оборудование» . ТехКранч . 22 августа 2019 г. Проверено 6 ноября 2020 г.
  6. ^ «Магазин приложений Oculus потребует предварительного одобрения, рейтинга комфорта и налога» . ТехКранч . 12 июня 2015 года . Проверено 6 ноября 2020 г.
  7. ^ Пустка, Д.; Хюльсс, Дж.; Виллнефф, Дж.; Панкрац, Ф.; Хубер, М.; Клинкер, Г. (ноябрь 2012 г.). «Оптическое отслеживание снаружи и внутри с использованием немодифицированных мобильных телефонов». Международный симпозиум IEEE по смешанной и дополненной реальности (ISMAR), 2012 г. стр. 81–89. дои : 10.1109/ISMAR.2012.6402542. ISBN 978-1-4673-4662-7. S2CID  18349919.
  8. ^ ab «Изнутри наружу против снаружи внутрь: как работает VR-отслеживание и как оно изменится». Пригоден для использования . 03 мая 2017 г. Проверено 6 ноября 2020 г.
  9. ^ Демпси, П. (1 августа 2016 г.). «Разборка: гарнитура виртуальной реальности HTC Vive». Инженерная технология . 11 (7): 80–81. дои : 10.1049/et.2016.0731. ISSN  1750-9637.
  10. ^ Нихорстер, Дидерик К.; Ли, Ли; Лаппе, Маркус (июнь 2017 г.). «Точность и точность отслеживания положения и ориентации в системе виртуальной реальности HTC Vive для научных исследований». я-Восприятие . 8 (3): 204166951770820. дои : 10.1177/2041669517708205. ISSN  2041-6695. ПМЦ 5439658 . ПМИД  28567271. 
  11. ^ Чен, Лиян; Пэн, Сяоюань; Яо, Цзюньфэн; Цигуань, Хун; Чен, Чен; Ма, Ихан (август 2016 г.). «Исследование системы дополненной реальности без идентификационных маркеров для домашней выставки». 2016 11-я Международная конференция по информатике и образованию (ICCSE) . Нагоя, Япония: IEEE. стр. 524–528. дои : 10.1109/ICCSE.2016.7581635. ISBN 978-1-5090-2218-2. S2CID  17281382.
  12. ^ Расмуссен, Локи; Бейсингер, Джей; Миланова, Мариофанна (март 2019 г.). «Сетевые потребительские системы для обеспечения среды разработки для отслеживания без маркеров изнутри наружу для гарнитур виртуальной реальности». Конференция IEEE 2019 по виртуальной реальности и 3D пользовательским интерфейсам (VR) . Осака, Япония: IEEE. стр. 1132–1133. дои : 10.1109/VR.2019.8798349. ISBN 978-1-7281-1377-7. S2CID  201066258.
  13. ^ гферрон. «Как работает отслеживание наизнанку - Руководство для энтузиастов». docs.microsoft.com . Проверено 6 ноября 2020 г.
  14. ^ «Оптимальное количество осей для датчиков движения». Блог экспертов CEVA . 5 февраля 2019 года . Проверено 8 сентября 2022 г.
  15. ^ аб Блезер, Габриэле; Стрикер, Дидье (февраль 2009 г.). «Расширенное отслеживание за счет эффективной обработки изображений и объединения визуально-инерциальных датчиков». Компьютеры и графика . 33 (1): 59–72. дои : 10.1016/j.cag.2008.11.004. S2CID  5645304.
  16. ^ аб Блезер, Габриэле; Стрикер, Дидье (февраль 2009 г.). «Расширенное отслеживание за счет эффективной обработки изображений и объединения визуально-инерциальных датчиков». Компьютеры и графика . 33 (1): 59–72. дои : 10.1016/j.cag.2008.11.004. S2CID  5645304.
  17. ^ «Как работает отслеживание положения в виртуальной реальности» . ВенчурБит . 05.05.2019 . Проверено 6 ноября 2020 г.
  18. ^ Эмура, Сатору; Тачи, Сусуму (август 1998 г.). «Мультисенсорное интегрированное прогнозирование для виртуальной реальности». Присутствие: Телеоператоры и виртуальные среды . 7 (4): 410–422. дои : 10.1162/105474698565811. ISSN  1054-7460. S2CID  34491936.
  19. ^ «Краткое руководство по степеням свободы в виртуальной реальности». Кей Студиос . 12 февраля 2018 г. Проверено 6 ноября 2020 г.
  20. ^ abcde Хог, А.; Дженкин, MR; Эллисон, RS (май 2004 г.). «Оптико-инерциальная система слежения для полностью закрытых VR-дисплеев». Первая канадская конференция по компьютерному и роботизированному зрению, 2004 г. Материалы . стр. 22–29. дои : 10.1109/CCCRV.2004.1301417. ISBN 0-7695-2127-4. S2CID  1010865.
  21. ^ abc Атрсаи, Араш; Салари, Хасан; Аласты, Ария; Абедини, Мохаммед (май 2018 г.). «Отслеживание движения рук человека с помощью инерционных/магнитных датчиков с использованием фильтра Калмана без запаха и ограничения относительного движения». Журнал интеллектуальных и робототехнических систем . 90 (1–2): 161–170. doi : 10.1007/s10846-017-0645-z. ISSN  0921-0296. S2CID  3887896.
  22. ^ Джонс, Гарет (июль 2005 г.). «Эхолокация». Современная биология . 15 (13): Р484–Р488. дои : 10.1016/j.cub.2005.06.051 . ISSN  0960-9822. ПМИД  16005275.
  23. ^ Михель, Матяж; Новак, Домен; Бегуш, Само (2014). «Технологии и приложения виртуальной реальности». Интеллектуальные системы, управление и автоматизация: наука и техника . 68 . дои : 10.1007/978-94-007-6910-6. ISBN 978-94-007-6909-0. ISSN  2213-8986.
  24. ^ Т. Мазурик, История виртуальной реальности, приложения, технологии и будущее. Вена, Австрия: Венский технологический университет, 1996.
  25. ^ Р. Холлоуэй и А. Ластра, «Виртуальные среды: обзор технологий», cs.unc.edu. [В сети]. Доступно: http://www.cs.unc.edu/techreports/93-033.pdf.

Библиография