Виртуальный прибор

Наложение дополненной сенсорной информации на восприятие пользователем реальной среды

Виртуальное приспособление представляет собой наложение дополненной сенсорной информации на восприятие пользователем реальной среды с целью улучшения производительности человека как при выполнении прямых, так и дистанционно управляемых задач. ^[1] Разработанное в начале 1990-х годов Луисом Розенбергом в Исследовательской лаборатории ВВС США (AFRL) , Virtual Fixtures стало новаторской платформой в области технологий виртуальной реальности и дополненной реальности .

История

Virtual Fixtures была впервые разработана Луисом Розенбергом в 1992 году в USAF Armstrong Labs , что привело к первой системе дополненной реальности с эффектом погружения, когда-либо созданной. ^{[2] [3] [4] [5] [6]} Поскольку 3D-графика была слишком медленной в начале 1990-х годов, чтобы представить фотореалистичную и пространственно зарегистрированную дополненную реальность, Virtual Fixtures использовала двух реальных физических роботов, управляемых полным экзоскелетом верхней части тела, который носил пользователь. Чтобы создать иммерсивный опыт для пользователя, была использована уникальная оптическая конфигурация, которая включала пару бинокулярных увеличителей, выровненных таким образом, что вид пользователя на руки робота был выдвинут вперед, чтобы казаться зарегистрированным в точном местоположении реальных физических рук пользователя. ^{[2] [7] [5]} Результатом стал пространственно зарегистрированный иммерсивный опыт, в котором пользователь двигал своими руками, при этом видя руки робота в том месте, где должны были быть его руки. Система также использовала сгенерированные компьютером виртуальные наложения в виде имитированных физических барьеров, полей и направляющих, разработанных для помощи пользователю при выполнении реальных физических задач. ^{[8] [9] [3] [10] [11] [12]}

Тестирование производительности по закону Фиттса проводилось на группах испытуемых-людей, впервые продемонстрировав, что значительного улучшения производительности человека при выполнении реальных задач, требующих ловкости, можно достичь, предоставив пользователям наложения дополненной реальности с эффектом погружения. ^{[5] [13]}

Концепция

Виртуальные приспособления: используются для повышения производительности оператора при телероботизированном управлении задачей «штифтовая доска» по закону Фиттса.

Концепция виртуальных приспособлений была впервые введена ^[2] как наложение виртуальной сенсорной информации на рабочее пространство с целью улучшения производительности человека в прямых и удаленно управляемых задачах. Виртуальные сенсорные наложения могут быть представлены как физически реалистичные структуры, зарегистрированные в пространстве таким образом, что они воспринимаются пользователем как полностью присутствующие в реальной рабочей среде. Виртуальные сенсорные наложения также могут быть абстракциями, которые имеют свойства, невозможные для реальных физических структур. Концепцию сенсорных наложений трудно визуализировать и обсуждать, как следствие, была введена метафора виртуального приспособления. Чтобы понять, что такое виртуальное приспособление, часто используется аналогия с реальным физическим приспособлением, таким как линейка. Такая простая задача, как рисование прямой линии на листе бумаги от руки, является задачей, которую большинство людей не в состоянии выполнить с хорошей точностью и высокой скоростью. Однако использование простого устройства, такого как линейка, позволяет выполнить задачу быстро и с хорошей точностью. Использование линейки помогает пользователю, направляя ручку вдоль линейки, уменьшая тремор и умственную нагрузку пользователя, тем самым повышая качество результатов.

Виртуальные приспособления, используемые в хирургии с дополненной реальностью, обеспечивают повышенную хирургическую ловкость.

Когда в 1991 году ВВС США предложили концепцию Virtual Fixture, примером использования стала дополненная хирургия, расширившая идею от виртуальной линейки, направляющей настоящий карандаш, до виртуального медицинского приспособления, направляющего настоящий физический скальпель, которым манипулирует настоящий хирург. ^[2] Цель состояла в том, чтобы наложить виртуальный контент на прямое восприятие хирургом реального рабочего пространства с достаточной степенью реализма, чтобы он воспринимался как подлинное дополнение к хирургической среде и тем самым повышал хирургическое мастерство, ловкость и производительность. Предложенное преимущество виртуальных медицинских приспособлений по сравнению с реальным оборудованием заключалось в том, что, поскольку они были виртуальными дополнениями к окружающей реальности, они могли быть частично погружены в реальных пациентов, обеспечивая руководство и/или барьеры в необработанных тканях. ^{[14] [2] [15]}

Определение виртуальных приспособлений ^{[2] [7] [9]} гораздо шире, чем просто предоставление руководства конечному эффектору. Например, слуховые виртуальные приспособления используются для повышения осведомленности пользователя путем предоставления звуковых подсказок, которые помогают пользователю, предоставляя мультимодальные подсказки для локализации конечного эффектора. Однако в контексте систем взаимодействия человека и машины термин виртуальные приспособления часто используется для обозначения виртуального помощника, зависящего от задачи, который накладывается на реальную среду и направляет движение пользователя в желаемых направлениях, предотвращая движение в нежелательных направлениях или областях рабочего пространства.

Виртуальные приспособления могут быть либо направляющими виртуальными приспособлениями , либо виртуальными приспособлениями запрещенных областей . Виртуальное приспособление запрещенных областей может использоваться, например, в дистанционно управляемой обстановке, где оператор должен вести транспортное средство на удаленном участке для достижения цели. Если на удаленном участке есть ямы, которые могут быть опасны для транспортного средства, попадание в запрещенные области может быть определено в различных местах расположения ям, тем самым предотвращая отдачу оператором команд, которые приведут к попаданию транспортного средства в такую ​​яму. ^{[16] [17] [18]}

Пример виртуального приспособления для запрещенных зон

Такие незаконные команды могут легко отправляться оператором, например, из-за задержек в контуре телеуправления , плохого телеприсутствия или по ряду других причин.

Примером направляющего виртуального приспособления может быть ситуация, когда транспортное средство должно следовать по определенной траектории,

Пример виртуального направляющего приспособления

После этого оператор может контролировать движение в предпочтительном направлении , в то время как движение в непредпочтительном направлении будет ограничено.

С помощью как запрещенных областей, так и направляющих виртуальных креплений можно регулировать жесткость или ее обратную податливость крепления. Если податливость высокая (низкая жесткость), то крепление мягкое . С другой стороны, когда податливость равна нулю (максимальная жесткость), то крепление жесткое .

Жесткость виртуального приспособления может быть мягкой или жесткой. Жесткое приспособление полностью ограничивает движение приспособлением, в то время как более мягкое приспособление допускает некоторые отклонения от приспособления.

Закон управления виртуальным приспособлением

В этом разделе описывается, как можно вывести закон управления, реализующий виртуальные приспособления. Предполагается, что робот является чисто кинематическим устройством с положением и ориентацией конечного исполнительного органа, выраженными в базовой раме робота . Входной сигнал управления роботу предполагается как желаемая скорость конечного исполнительного органа . В системе с дистанционным управлением часто бывает полезно масштабировать входную скорость от оператора перед ее подачей в контроллер робота. Если входные данные от пользователя имеют другую форму, например, силу или положение, их сначала необходимо преобразовать во входную скорость, например, путем масштабирования или дифференцирования. ${\displaystyle \mathbf {p} =\left[x,y,z\right]}$ ${\displaystyle \mathbf {r} =\left[r_{\textrm {x}},r_{\textrm {y}},r_{\textrm {z}}\right]}$ ${\displaystyle F_{\textrm {r}}}$ ${\displaystyle \mathbf {u} }$ ${\displaystyle \mathbf {v} ={\dot {\mathbf {x} }}=\left[{\dot {\mathbf {p} }},{\dot {\mathbf {r} }}\right]}$ ${\displaystyle \mathbf {v} _{\textrm {op}}}$

Таким образом, управляющий сигнал будет рассчитываться на основе входной скорости оператора следующим образом: ${\displaystyle \mathbf {u} }$ ${\displaystyle \mathbf {v} _{\textrm {op}}}$

 ${\displaystyle \mathbf {u} =c\cdot \mathbf {v} _{\textrm {op}}}$

Если существует однозначное соответствие между оператором и подчиненным роботом. ${\displaystyle c=1}$

Если константу заменить диагональной матрицей, можно независимо настроить соответствие для разных измерений . Например, установка первых трех элементов на диагонали от до и всех остальных элементов на ноль приведет к системе, которая допускает только поступательное движение, но не вращение. Это будет примером жесткого виртуального приспособления, которое ограничивает движение от до . Если бы остальным элементам на диагонали было установлено малое значение вместо нуля, приспособление было бы мягким, допускающим некоторое движение в направлениях вращения. ${\displaystyle c}$ ${\displaystyle \mathbf {C} }$ ${\displaystyle {\dot {\mathbf {x} }}}$ ${\displaystyle \mathbf {C} }$ ${\displaystyle c}$ ${\displaystyle \mathbf {x} \in \mathbb {R} ^{6}}$ ${\displaystyle \mathbf {p} \in \mathbb {R} ^{3}}$

Чтобы выразить более общие ограничения, предположим, что есть изменяющаяся во времени матрица , которая представляет предпочтительное направление в момент времени . Таким образом, если предпочтительное направление находится вдоль кривой в . Аналогично, даст предпочтительные направления, которые охватывают поверхность. Из двух операторов проекции можно определить ^[19] диапазон и ядро ​​пространства столбцов: ${\displaystyle \mathbf {D} (t)\in \mathbb {R} ^{6\times n},~n\in [1..6]}$ ${\displaystyle t}$ ${\displaystyle n=1}$ ${\displaystyle \mathbb {R} ^{6}}$ ${\displaystyle n=2}$ ${\displaystyle \mathbf {D} }$

 ${\displaystyle {\begin{aligned}{\textrm {Span}}(\mathbf {D} )&\equiv \left[\mathbf {D} \right]=\mathbf {D} (\mathbf {D} ^{T}\mathbf {D} )^{-1}\mathbf {D} ^{T}\\{\textrm {Kernel}}(\mathbf {D} )&\equiv \langle \mathbf {D} \rangle =\mathbf {I} -\left[\mathbf {D} \right]\end{aligned}}}$

Если не имеет полного ранга столбца, размах не может быть вычислен, следовательно, лучше вычислить размах с помощью псевдообратного выражения ^[19] , таким образом, на практике размах вычисляется как: ${\displaystyle \mathbf {D} }$

 ${\displaystyle {\textrm {Span}}(\mathbf {D} )\equiv \left[\mathbf {D} \right]=\mathbf {D} (\mathbf {D} ^{T}\mathbf {D} )^{\dagger }\mathbf {D} ^{T}}$

где обозначает псевдообратный элемент . ${\displaystyle \mathbf {D} ^{\dagger }}$ ${\displaystyle \mathbf {D} }$

Если входную скорость разделить на две составляющие:

 ${\displaystyle \mathbf {v} _{\textrm {D}}\equiv \left[\mathbf {D} \right]\mathbf {v} _{\textrm {op}}{\textrm {~and~}}\mathbf {v} _{\tau }\equiv \mathbf {v} _{\textrm {op}}-\mathbf {v} _{\textrm {D}}=\langle \mathbf {D} \rangle \mathbf {v} _{\textrm {op}}}$

можно переписать закон управления как:

 ${\displaystyle \mathbf {v} =c\cdot \mathbf {v} _{\textrm {op}}=c\left(\mathbf {v} _{\textrm {D}}+\mathbf {v} _{\tau }\right)}$

Далее введем новое соответствие, которое влияет только на непредпочтительный компонент входной скорости, и запишем окончательный закон управления как:

 ${\displaystyle \mathbf {v} =c\left(\mathbf {v} _{\textrm {D}}+c_{\tau }\cdot \mathbf {v} _{\tau }\right)=c\left(\left[\mathbf {D} \right]+c_{\tau }\langle \mathbf {D} \rangle \right)\mathbf {v} _{\textrm {op}}}$

Ссылки

1. Розенберг, Луис Б. (2022). «Дополненная реальность: размышления через тридцать лет». В Араи, Кохей (ред.). Труды конференции Future Technologies Conference (FTC) 2021, том 1. Конспект лекций по сетям и системам. Том 358. Чам: Springer International Publishing. стр. 1–11. doi : 10.1007/978-3-030-89906-6_1. ISBN 978-3-030-89906-6.
2. LB Rosenberg (1992). «Использование виртуальных приспособлений в качестве перцептивных наложений для повышения производительности оператора в удаленных средах» (PDF) . Технический отчет AL-TR-0089 . База ВВС Райт-Паттерсон, Огайо: Лаборатория ВВС США Армстронг. Архивировано (PDF) из оригинала 10 июля 2019 г.
3. Rosenberg, LB (1993). "Виртуальные приспособления: Перцептивные инструменты для телероботической манипуляции". Труды ежегодного международного симпозиума IEEE по виртуальной реальности . IEEE. стр. 76–82. doi :10.1109/vrais.1993.380795. ISBN 0-7803-1363-1.
4. Розенберг, Луис (1993). «Использование виртуальных приспособлений для улучшения телеманипуляции с задержкой по времени». Труды зимнего ежегодного собрания ASME по достижениям в области робототехники, мехатроники и тактильных интерфейсов . 49. Новый Орлеан, Луизиана: 29–36.
5. Розенберг, Луис (1993). «Использование виртуальных приспособлений для повышения производительности оператора при телеуправлении с задержкой по времени» (PDF) . J. Dyn. Syst. Control . 49 : 29–36. Архивировано (PDF) из оригинала 10 июля 2019 г.
6. Ноэр, Майкл (1998-09-21). "Отпечатки пальцев на рабочем столе". Forbes . Получено 22 апреля 2014 г.
7. Rosenberg, L. (1993). Kim, Won S. (ред.). "Виртуальные приспособления как инструменты для повышения производительности оператора в средах телеприсутствия". SPIE Manipulator Technology . Telemanipulator Technology and Space Telerobotics. 2057 : 10. Bibcode :1993SPIE.2057...10R. doi :10.1117/12.164901. S2CID  111277519.
8. Эбботт, Джейк Дж.; Марайонг, Панадда; Окамура, Эллисон М. (2007). «Виртуальные тактильные приспособления для роботизированной манипуляции». В Thrun, Себастьян; Брукс, Родни; Даррант-Уайт, Хью (ред.). Исследования в области робототехники . Springer Tracts in Advanced Robotics. Том 28. Берлин, Гейдельберг: Springer. стр. 49–64. doi :10.1007/978-3-540-48113-3_5. ISBN 978-3-540-48113-3.
9. Rosenberg (1994). Das, Hari (ред.). «Виртуальные тактильные наложения повышают производительность в задачах телеприсутствия». Телеманипулятор и технологии телеприсутствия . 2351 : 99–108. doi :10.1117/12.197302. S2CID  110971407.
10. Махатаева, Жанат; Варол, Гусейн Атакан (2020). «Дополненная реальность для робототехники: обзор». Робототехника . 9 (2): 21. doi : 10.3390/robotics9020021 . ISSN  2218-6581.
11. Леонард, Саймон (2015). «Регистрация плоских виртуальных приспособлений с использованием дополненной реальности с динамическими текстурами». Международная конференция IEEE по робототехнике и автоматизации (ICRA) 2015 года . Сиэтл, Вашингтон, США: IEEE. стр. 4418–4423. doi :10.1109/ICRA.2015.7139810. ISBN 978-1-4799-6923-4. S2CID  16744811.
12. Ся, Тянь; Леонар, Саймон; Деге, Антон; Уиткомб, Луи; Казанзидес, Питер (2012). «Среда дополненной реальности с виртуальными приспособлениями для роботизированной телеманипуляции в космосе». Международная конференция IEEE/RSJ по интеллектуальным роботам и системам 2012 года. С. 5059–5064. doi :10.1109/IROS.2012.6386169. ISBN 978-1-4673-1736-8. S2CID  2708501.
13. Розенберг, Луис Б. (1993). Ким, Вон С. (ред.). «Виртуальные приспособления как инструменты для повышения производительности оператора в средах телеприсутствия». Технология телеманипуляторов и космическая телеробототехника . 2057 : 10–21. Bibcode : 1993SPIE.2057...10R. doi : 10.1117/12.164901. S2CID  111277519.
14. Розенберг, Л. Б. (1992). «Использование виртуальных приспособлений в качестве перцептивных наложений для повышения производительности оператора» Стэнфордский университет, Стэнфорд, Калифорния, Центр исследований дизайна (CDR)
15. Ямамото, Томонори; Аболхассани, Ники; Юнг, Сунг; Окамура, Эллисон М.; Джадкинс, Тимоти Н. (2011-11-08). «Дополненная реальность и тактильные интерфейсы для роботизированной хирургии». Международный журнал медицинской робототехники и компьютерной хирургии . 8 (1): 45–56. doi :10.1002/rcs.421. ISSN  1478-5951. PMID  22069247. S2CID  1603125.
16. Эбботт, Дж. Дж.; Окамура, АМ (2003). «Архитектуры виртуальных приспособлений для телеманипуляции». Международная конференция IEEE по робототехнике и автоматизации 2003 г. (Кат. № 03CH37422) . Том 2. Тайбэй, Тайвань: IEEE. стр. 2798–2805. doi :10.1109/ROBOT.2003.1242016. ISBN 978-0-7803-7736-3. S2CID  8678829.
17. Марайонг, Панадда; Хагер, Грегори Д.; Окамура, Эллисон М. (2008). «Методы управления виртуальными устройствами наведения в совместимых человеко-машинных интерфейсах». Международная конференция IEEE/RSJ по интеллектуальным роботам и системам 2008 г. стр. 1166–1172. doi :10.1109/IROS.2008.4650838. ISBN 978-1-4244-2057-5. S2CID  6828466.
18. Marayong, P.; Hager, GD; Okamura, AM (2006). «Влияние динамики рук на виртуальные приспособления для совместимых человеко-машинных интерфейсов». 2006 14-й симпозиум по тактильным интерфейсам для виртуальной среды и систем телеоператоров . Александрия, Вирджиния, США: IEEE. стр. 109–115. doi :10.1109/HAPTIC.2006.1627075. ISBN 978-1-4244-0226-7.
19. Marayong, P.; Okamura, AM ; Hager, GD (2003). «Ограничения пространственного движения: теория и демонстрации для управления роботом с использованием виртуальных приспособлений». Международная конференция IEEE по робототехнике и автоматизации 2003 г. (Кат. № 03CH37422) . IEEE. стр. 1270–1275. doi :10.1109/robot.2003.1241880. ISBN 0-7803-7736-2.