Дополненная реальность ( AR ) — это интерактивный опыт, который объединяет реальный мир и созданный компьютером 3D-контент. Контент может охватывать несколько сенсорных модальностей , включая визуальные , слуховые , тактильные , соматосенсорные и обонятельные . [1] AR можно определить как систему, которая включает в себя три основные функции: сочетание реального и виртуального миров, взаимодействие в реальном времени и точную 3D-регистрацию виртуальных и реальных объектов. [2] Наложенная сенсорная информация может быть конструктивной (т. е. дополнять естественную среду) или деструктивной (т. е. маскировать естественную среду). [3] Таким образом, это одна из ключевых технологий в континууме реальность-виртуальность . [4]
Этот опыт органично переплетается с физическим миром, так что он воспринимается как захватывающий аспект реальной среды. [3] Таким образом, дополненная реальность изменяет текущее восприятие реальной среды, тогда как виртуальная реальность полностью заменяет реальную среду пользователя на смоделированную. [5] [6]
Дополненная реальность во многом является синонимом смешанной реальности . Также есть совпадения в терминологии с расширенной реальностью и компьютерно-опосредованной реальностью .
Основная ценность дополненной реальности заключается в том, как компоненты цифрового мира вписываются в восприятие человеком реального мира, не как простое отображение данных, а посредством интеграции захватывающих ощущений, которые воспринимаются как естественные части окружающей среды. Самые ранние функциональные системы дополненной реальности, которые обеспечивали пользователям захватывающие впечатления смешанной реальности, были изобретены в начале 1990-х годов, начиная с системы Virtual Fixtures, разработанной в Армстронгской лаборатории ВВС США в 1992 году. [3] [7] [8] Коммерческие впечатления дополненной реальности были впервые представлены в развлекательном и игровом бизнесе. [9] Впоследствии приложения дополненной реальности охватили такие коммерческие отрасли, как образование, связь, медицина и развлечения. В образовании доступ к контенту можно получить путем сканирования или просмотра изображения с помощью мобильного устройства или с помощью безмаркерных методов дополненной реальности. [10] [11] [12]
Дополненная реальность может использоваться для улучшения естественной среды или ситуаций и предлагает обогащенные восприятием впечатления. С помощью передовых технологий дополненной реальности (например, добавления компьютерного зрения , включения камер дополненной реальности в приложения для смартфонов и распознавания объектов ) информация об окружающем реальном мире пользователя становится интерактивной и подвергается цифровой обработке. [13] Информация об окружающей среде и ее объектах накладывается на реальный мир. Эта информация может быть виртуальной. Дополненная реальность — это любой опыт, который является искусственным и который дополняет уже существующую реальность. [14] [15] [16] [17] [18] или реальным, например, видение другой реальной ощущаемой или измеренной информации, такой как электромагнитные радиоволны, наложенные в точном соответствии с тем, где они фактически находятся в пространстве. [19] [20] [21] Дополненная реальность также имеет большой потенциал в сборе и распространении неявных знаний. Методы дополнения обычно выполняются в реальном времени и в семантических контекстах с элементами окружающей среды. Иногда иммерсивная перцептивная информация сочетается с дополнительной информацией, например, счетом в прямом эфире видеотрансляции спортивного события. Это объединяет преимущества как технологии дополненной реальности, так и технологии отображения на экране (HUD).
В виртуальной реальности (VR) восприятие пользователей полностью генерируется компьютером, тогда как в дополненной реальности (AR) оно частично генерируется и частично из реального мира. [22] [23] Например, в архитектуре VR может использоваться для создания сквозной симуляции интерьера нового здания; а AR может использоваться для показа структур и систем здания, наложенных на реальный вид. Другой пример — использование утилитарных приложений. Некоторые приложения AR, такие как Augment , позволяют пользователям применять цифровые объекты в реальных средах, позволяя компаниям использовать устройства дополненной реальности в качестве способа предварительного просмотра своих продуктов в реальном мире. [24] Аналогичным образом, его также можно использовать для демонстрации того, как продукты могут выглядеть в среде для клиентов, как продемонстрировали такие компании, как Mountain Equipment Co-op или Lowe's , которые используют дополненную реальность, чтобы позволить клиентам предварительно просматривать, как их продукты могут выглядеть дома, с помощью 3D-моделей. [25]
Дополненная реальность (AR) отличается от виртуальной реальности (VR) в том смысле, что в AR часть окружающей среды является «реальной», а AR просто добавляет слои виртуальных объектов к реальной среде. С другой стороны, в VR окружающая среда полностью виртуальна и генерируется компьютером. Демонстрацию того, как AR накладывает объекты на реальный мир, можно увидеть в играх дополненной реальности. WallaMe — это игровое приложение дополненной реальности, которое позволяет пользователям скрывать сообщения в реальных средах, используя технологию геолокации, чтобы пользователи могли скрывать сообщения в любой точке мира, где они пожелают. [26] Такие приложения имеют множество применений в мире, в том числе в активизме и художественном выражении. [27]
Дополненная реальность требует аппаратных компонентов, включая процессор, дисплей, датчики и устройства ввода. Современные мобильные вычислительные устройства, такие как смартфоны и планшетные компьютеры, содержат эти элементы, которые часто включают камеру и датчики микроэлектромеханических систем ( MEMS ), такие как акселерометр , GPS и твердотельный компас , что делает их подходящими платформами дополненной реальности. [65] [66]
Для отображения дополненной реальности могут использоваться различные технологии, включая оптические проекционные системы , мониторы и портативные устройства . Две из технологий отображения, используемых в дополненной реальности, — это дифракционные волноводы и отражательные волноводы.
Головной дисплей (HMD) — это устройство отображения, надеваемое на лоб, например, на ремне безопасности или на шлеме . HMD размещают изображения как физического мира, так и виртуальных объектов в поле зрения пользователя. Современные HMD часто используют датчики для мониторинга с шестью степенями свободы , которые позволяют системе согласовывать виртуальную информацию с физическим миром и соответствующим образом подстраиваться под движения головы пользователя. [67] [68] [69] При использовании технологии дополненной реальности для HMD требуются только относительно небольшие дисплеи. В этой ситуации обычно используются жидкие кристаллы на кремнии (LCOS) и микро-OLED (органические светодиоды). [70] HMD могут предоставить пользователям VR мобильные и совместные возможности. [71] Конкретные поставщики, такие как uSens и Gestigon , включают управление жестами для полного виртуального погружения . [72] [73]
Vuzix — это компания, которая выпустила ряд оптических дисплеев, надеваемых на голову и предназначенных для дополненной реальности. [74] [75] [76]
Дисплеи дополненной реальности могут быть отображены на устройствах, напоминающих очки. Версии включают очки, которые используют камеры для перехвата реального вида мира и повторного отображения его дополненного вида через окуляры [77] и устройства, в которых изображения дополненной реальности проецируются через или отражаются от поверхностей линз очков. [78] [79] [80]
EyeTap (также известный как Generation-2 Glass [81] ) захватывает лучи света, которые в противном случае прошли бы через центр хрусталика глаза пользователя, и заменяет каждый луч реального света синтетическим, управляемым компьютером светом. Generation-4 Glass [81] (Laser EyeTap) похож на VRD (т. е. он использует управляемый компьютером источник лазерного света), за исключением того, что он также имеет бесконечную глубину фокусировки и заставляет сам глаз, по сути, функционировать как камера и дисплей посредством точного выравнивания с глазом и повторного синтеза (в лазерном свете) лучей света, поступающих в глаз. [82]
Head-up display (HUD) — это прозрачный дисплей, который отображает данные, не требуя от пользователей отвлекаться от их обычных точек обзора. Предшественник технологии дополненной реальности, head-up display был впервые разработан для пилотов в 1950-х годах, проецируя простые данные полета в их поле зрения, тем самым позволяя им держать голову поднятой и не смотреть вниз на приборы. Устройства дополненной реальности около глаз могут использоваться в качестве портативных head-up display, поскольку они могут отображать данные, информацию и изображения, пока пользователь видит реальный мир. Многие определения дополненной реальности определяют ее только как наложение информации. [83] [84] Это в основном то, что делает head-up display; однако, с практической точки зрения, ожидается, что дополненная реальность будет включать регистрацию и отслеживание между наложенными восприятиями, ощущениями, информацией, данными и изображениями и некоторой частью реального мира. [85]
Контактные линзы, отображающие AR-изображения, находятся в стадии разработки. Эти бионические контактные линзы могут содержать элементы для отображения, встроенные в линзу, включая интегральную схему, светодиоды и антенну для беспроводной связи.
Первый дисплей для контактных линз был запатентован в 1999 году Стивом Манном и предназначался для работы в сочетании с очками дополненной реальности, но проект был заброшен [86] [87] затем 11 лет спустя в 2010–2011 годах. [88] [89] [90] [91] Другая версия контактных линз, разрабатываемая для армии США, предназначена для работы с очками дополненной реальности, позволяя солдатам одновременно фокусироваться на близких к глазу изображениях дополненной реальности на очках и на удаленных объектах реального мира. [92] [93]
На выставке CES 2013 компания Innovega также представила похожие контактные линзы, которые для работы требовали сочетания с очками дополненной реальности. [94]
Многие ученые работали над контактными линзами, способными на различные технологические подвиги. Патент, поданный Samsung, описывает контактную линзу AR, которая после завершения будет включать встроенную камеру на самой линзе. [95] Конструкция предназначена для управления ее интерфейсом путем моргания глазом. Она также предназначена для связи со смартфоном пользователя для просмотра отснятого материала и управления им отдельно. В случае успеха линза будет иметь камеру или датчик внутри себя. Говорят, что это может быть что угодно, от датчика освещенности до датчика температуры.
Первый публично представленный рабочий прототип контактной линзы дополненной реальности, не требующей одновременного использования очков, был разработан компанией Mojo Vision, анонсирован и продемонстрирован на выставке CES 2020. [96] [97] [98]
Виртуальный ретинальный дисплей (VRD) — это персональное дисплейное устройство, разрабатываемое в лаборатории технологий интерфейса человека Вашингтонского университета под руководством доктора Томаса А. Фернесса III. [99] С помощью этой технологии дисплей сканируется непосредственно на сетчатку глаза наблюдателя. Это приводит к ярким изображениям с высоким разрешением и высокой контрастностью. Зритель видит то, что кажется обычным дисплеем, плавающим в пространстве. [100]
Было проведено несколько тестов для анализа безопасности VRD. [99] В одном тесте пациенты с частичной потерей зрения — страдающие либо макулярной дегенерацией (заболеванием, при котором дегенерируется сетчатка), либо кератоконусом — были отобраны для просмотра изображений с использованием этой технологии. В группе с макулярной дегенерацией пять из восьми испытуемых предпочли изображения VRD изображениям с электронно-лучевой трубки (ЭЛТ) или бумаги и посчитали, что они лучше и ярче и могли видеть равные или лучшие уровни разрешения. Все пациенты с кератоконусом могли различить более мелкие линии в нескольких линейных тестах с использованием VRD, а не с помощью собственной коррекции. Они также обнаружили, что изображения VRD было легче просматривать и они были более четкими. В результате этих нескольких тестов виртуальный ретинальный дисплей считается безопасной технологией.
Виртуальный ретинальный дисплей создает изображения, которые можно увидеть при естественном дневном свете и освещении в помещении. VRD считается предпочтительным кандидатом для использования в хирургическом дисплее из-за его сочетания высокого разрешения, высокой контрастности и яркости. Дополнительные тесты показывают высокий потенциал использования VRD в качестве технологии отображения для пациентов с низким зрением.
Портативный дисплей использует небольшой дисплей, который помещается в руке пользователя. Все портативные решения AR на сегодняшний день выбирают видео-прозрачность. Первоначально портативные AR использовали реперные маркеры , [101] а позже GPS-устройства и датчики MEMS, такие как цифровые компасы и акселерометр с шестью степенями свободы - гироскоп . Сегодня начинают использоваться трекеры без маркеров с одновременной локализацией и картографированием (SLAM), такие как PTAM (параллельное отслеживание и картографирование). Портативный дисплей AR обещает стать первым коммерческим успехом для технологий AR. Два основных преимущества портативных AR - это портативность портативных устройств и повсеместная природа камерофонов. Недостатки - физические ограничения пользователя, который должен постоянно держать портативное устройство перед собой, а также искажающий эффект классических широкоугольных камер мобильных телефонов по сравнению с реальным миром, видимым через глаз. [102]
Проекционное отображение дополняет объекты и сцены реального мира без использования специальных дисплеев, таких как мониторы, головные дисплеи или портативные устройства. Проекционное отображение использует цифровые проекторы для отображения графической информации на физических объектах. Ключевое отличие проекционного отображения заключается в том, что дисплей отделен от пользователей системы. Поскольку дисплеи не связаны с каждым пользователем, проекционное отображение естественным образом масштабируется до групп пользователей, что позволяет пользователям совместно работать над совместной работой.
Примерами служат шейдерные лампы , мобильные проекторы, виртуальные столы и смарт-проекторы. Шейдерные лампы имитируют и дополняют реальность, проецируя изображения на нейтральные объекты. Это дает возможность улучшить внешний вид объекта с помощью материалов простого блока — проектора, камеры и датчика.
Другие приложения включают проекцию на стол и стену. Виртуальные витрины, которые используют зеркала-расщепители луча вместе с несколькими графическими дисплеями, предоставляют интерактивные средства одновременного взаимодействия с виртуальным и реальным.
Система проекционного отображения может отображать на любом количестве поверхностей в помещении одновременно. Проекционное отображение поддерживает как графическую визуализацию, так и пассивное тактильное ощущение для конечных пользователей. Пользователи могут касаться физических объектов в процессе, который обеспечивает пассивное тактильное ощущение. [18] [43] [103] [104]
Современные мобильные системы дополненной реальности используют одну или несколько из следующих технологий отслеживания движения : цифровые камеры и/или другие оптические датчики , акселерометры, GPS, гироскопы, твердотельные компасы, радиочастотную идентификацию (RFID). Эти технологии предлагают различные уровни точности и достоверности. Эти технологии реализованы в API ARKit от Apple и API ARCore от Google, чтобы обеспечить отслеживание для соответствующих платформ мобильных устройств.
Методы включают системы распознавания речи , которые преобразуют произнесенные пользователем слова в компьютерные инструкции, и системы распознавания жестов, которые интерпретируют движения тела пользователя с помощью визуального обнаружения или с помощью датчиков, встроенных в периферийное устройство, такое как палочка, стилус, указка, перчатка или другой нательный элемент. [105] [106] [107] [108] Продукты, которые пытаются использовать в качестве контроллера гарнитур дополненной реальности, включают Wave от Seebright Inc. и Nimble от Intugine Technologies.
Компьютеры отвечают за графику в дополненной реальности. Для методов 3D-отслеживания на основе камеры компьютер анализирует визуальные и другие данные, чтобы синтезировать и позиционировать виртуальные объекты. С улучшением технологий и компьютеров дополненная реальность приведет к радикальному изменению перспективы реального мира. [109]
Компьютеры совершенствуются очень быстро, что приводит к новым способам улучшения других технологий. Компьютеры являются ядром дополненной реальности. [110] Компьютер получает данные от датчиков, которые определяют относительное положение поверхности объектов. Это преобразуется во входные данные для компьютера, который затем выводит данные пользователям, добавляя то, чего в противном случае не было бы. Компьютер состоит из памяти и процессора. [111] Компьютер берет сканируемую среду, затем генерирует изображения или видео и помещает их на приемник для просмотра наблюдателем. Фиксированные отметки на поверхности объекта хранятся в памяти компьютера. Компьютер также извлекает данные из своей памяти, чтобы реалистично представить изображения наблюдателю.
Проекторы также могут использоваться для отображения контента дополненной реальности. Проектор может проецировать виртуальный объект на проекционный экран, и зритель может взаимодействовать с этим виртуальным объектом. Проекционные поверхности могут быть многими объектами, такими как стены или стеклянные панели. [112]
Мобильные приложения дополненной реальности набирают популярность из-за широкого внедрения мобильных и особенно носимых устройств. Однако они часто полагаются на вычислительно интенсивные алгоритмы компьютерного зрения с экстремальными требованиями к задержке. Чтобы компенсировать недостаток вычислительной мощности, часто желательно перенести обработку данных на удаленную машину. Перенос вычислений вносит новые ограничения в приложения, особенно с точки зрения задержки и пропускной способности. Хотя существует множество протоколов передачи мультимедиа в реальном времени, также необходима поддержка со стороны сетевой инфраструктуры. [113]
Ключевым показателем систем дополненной реальности является то, насколько реалистично они интегрируют виртуальные образы с реальным миром. Программное обеспечение должно выводить координаты реального мира, независимо от камеры и изображений с камеры. Этот процесс называется регистрацией изображений и использует различные методы компьютерного зрения , в основном связанные с видеоотслеживанием . [114] [115] Многие методы компьютерного зрения дополненной реальности унаследованы от визуальной одометрии .
Обычно эти методы состоят из двух частей. Первый этап заключается в обнаружении точек интереса , опорных маркеров или оптического потока на изображениях с камеры. На этом этапе могут использоваться такие методы обнаружения признаков , как обнаружение углов , обнаружение пятен , обнаружение краев или пороговое значение , а также другие методы обработки изображений . [116] [117] Второй этап восстанавливает реальную систему координат из данных, полученных на первом этапе. Некоторые методы предполагают, что в сцене присутствуют объекты с известной геометрией (или опорные маркеры). В некоторых из этих случаев трехмерная структура сцены должна быть рассчитана заранее. Если часть сцены неизвестна, одновременная локализация и отображение (SLAM) могут отображать относительные положения. Если информация о геометрии сцены отсутствует, используются методы структуры из движения, такие как настройка пучка . Математические методы, используемые на втором этапе, включают: проективную ( эпиполярную ) геометрию, геометрическую алгебру , представление вращения с экспоненциальной картой , фильтры Калмана и частиц , нелинейную оптимизацию , надежную статистику . [ требуется ссылка ]
В дополненной реальности проводится различие между двумя различными режимами отслеживания, известными как маркерный и безмаркерный . Маркеры — это визуальные подсказки, которые запускают отображение виртуальной информации. [118] Можно использовать лист бумаги с некоторыми различными геометриями. Камера распознает геометрию, идентифицируя определенные точки на чертеже. Безмаркерное отслеживание, также называемое мгновенным отслеживанием, не использует маркеры. Вместо этого пользователь размещает объект в поле зрения камеры предпочтительно в горизонтальной плоскости. Он использует датчики в мобильных устройствах для точного определения реальной среды, такой как расположение стен и точек пересечения. [119]
Язык разметки дополненной реальности (ARML) — это стандарт данных, разработанный в рамках Открытого геопространственного консорциума (OGC) [120] , который состоит из грамматики расширяемого языка разметки ( XML ) для описания местоположения и внешнего вида виртуальных объектов на сцене, а также привязок ECMAScript для обеспечения динамического доступа к свойствам виртуальных объектов.
Для обеспечения быстрой разработки приложений дополненной реальности появились приложения для разработки программного обеспечения, включая Lens Studio от Snapchat и Spark AR от Facebook . Apple и Google выпустили комплекты разработки программного обеспечения (SDK) для дополненной реальности. [121] [122]
Системы дополненной реальности в значительной степени полагаются на погружение пользователя. Ниже перечислены некоторые соображения по проектированию приложений дополненной реальности:
Context Design фокусируется на физическом окружении конечного пользователя, пространственном пространстве и доступности, которые могут играть роль при использовании системы дополненной реальности. Дизайнеры должны знать о возможных физических сценариях, в которых может находиться конечный пользователь, таких как:
Оценивая каждый физический сценарий, можно избежать потенциальных угроз безопасности и внести изменения для большего улучшения погружения конечного пользователя. UX-дизайнерам придется определить пользовательские пути для соответствующих физических сценариев и определить, как интерфейс реагирует на каждый из них.
Другой аспект контекстного дизайна включает в себя проектирование функциональности системы и ее способность учитывать предпочтения пользователя. [124] [125] Хотя инструменты доступности являются обычным явлением в базовом дизайне приложений, следует учитывать некоторые моменты при проектировании ограниченных по времени подсказок (для предотвращения непреднамеренных операций), звуковых сигналов и общего времени взаимодействия. В некоторых ситуациях функциональность приложения может ограничивать возможности пользователя. Например, приложения, которые используются для вождения, должны сокращать количество взаимодействия с пользователем и вместо этого использовать звуковые сигналы.
Проектирование взаимодействия в технологии дополненной реальности сосредоточено на взаимодействии пользователя с конечным продуктом для улучшения общего пользовательского опыта и удовольствия. Цель проектирования взаимодействия — избежать отчуждения или запутывания пользователя путем организации представленной информации. Поскольку взаимодействие с пользователем зависит от ввода пользователя, дизайнеры должны сделать элементы управления системой более понятными и доступными. Распространенным методом повышения удобства использования приложений дополненной реальности является обнаружение часто используемых областей на сенсорном дисплее устройства и проектирование приложения в соответствии с этими областями управления. [126] Также важно структурировать карты пути пользователя и поток представленной информации, что снижает общую когнитивную нагрузку системы и значительно улучшает кривую обучения приложения. [127]
В дизайне взаимодействия разработчикам важно использовать технологию дополненной реальности, которая дополняет функцию или цель системы. [128] Например, использование захватывающих фильтров дополненной реальности и дизайн уникальной платформы обмена в Snapchat позволяет пользователям расширять свои социальные взаимодействия в приложении. В других приложениях, требующих от пользователей понимания фокуса и намерения, дизайнеры могут использовать сетку или raycast с устройства. [124]
Для улучшения элементов графического интерфейса и взаимодействия с пользователем разработчики могут использовать визуальные подсказки, чтобы информировать пользователя о том, какие элементы пользовательского интерфейса предназначены для взаимодействия и как с ними взаимодействовать. Дизайн визуальных подсказок может сделать взаимодействие более естественным. [123]
В некоторых приложениях дополненной реальности, которые используют 2D-устройство в качестве интерактивной поверхности, 2D-среда управления плохо переносится в 3D-пространство, что может заставить пользователей не спешить исследовать свое окружение. Чтобы решить эту проблему, дизайнеры должны применять визуальные подсказки, чтобы помогать и поощрять пользователей исследовать свое окружение.
Важно отметить два основных объекта в AR при разработке приложений VR: объемные 3D -объекты, которые манипулируются и реалистично взаимодействуют со светом и тенью; и анимированные медиа-изображения, такие как изображения и видео, которые в основном являются традиционными 2D-медиа, визуализированными в новом контексте для дополненной реальности. [123] Когда виртуальные объекты проецируются на реальную среду, разработчикам приложений дополненной реальности сложно обеспечить идеально бесшовную интеграцию относительно реальной среды, особенно с 2D-объектами. Таким образом, дизайнеры могут добавлять вес объектам, использовать карты глубины и выбирать различные свойства материалов, которые подчеркивают присутствие объекта в реальном мире. Другой визуальный дизайн, который можно применить, — это использование различных методов освещения или отбрасывание теней для улучшения общей оценки глубины. Например, распространенный метод освещения — простое размещение источника света над головой в положении 12 часов, чтобы создавать тени на виртуальных объектах. [123]
Дополненная реальность была исследована для многих целей, включая игры, медицину и развлечения. Она также была исследована для образования и бизнеса. [129] Примеры областей применения, описанные ниже, включают археологию, архитектуру, торговлю и образование. Некоторые из самых ранних приведенных примеров включают дополненную реальность, используемую для поддержки хирургии, предоставляя виртуальные наложения для руководства врачами, для контента AR для астрономии и сварки. [8] [130]
AR использовалась для помощи в археологических исследованиях. Дополняя археологические особенности современным ландшафтом, AR позволяет археологам формулировать возможные конфигурации участка из существующих структур. [131] Сгенерированные компьютером модели руин, зданий, ландшафтов или даже древних людей были переработаны в ранние археологические AR-приложения. [132] [133] [134] Например, внедрение такой системы, как VITA (Visual Interaction Tool for Archaeology), позволит пользователям представлять и исследовать мгновенные результаты раскопок, не выходя из дома. Каждый пользователь может сотрудничать, взаимно «навигируя, ища и просматривая данные». Хрвое Бенко, исследователь кафедры компьютерных наук Колумбийского университета , отмечает, что эти конкретные системы и другие, подобные им, могут предоставлять «3D-панорамные изображения и 3D-модели самого участка на разных этапах раскопок», при этом организуя большую часть данных в совместном, удобном для использования виде. Совместные системы дополненной реальности обеспечивают мультимодальное взаимодействие , которое объединяет реальный мир с виртуальными изображениями обеих сред. [135]
AR может помочь в визуализации строительных проектов. Сгенерированные компьютером изображения конструкции могут быть наложены на реальный локальный вид собственности до того, как там будет построено физическое здание; это было публично продемонстрировано Trimble Navigation в 2004 году. AR также может использоваться в рабочем пространстве архитектора, создавая анимированные 3D-визуализации их 2D-чертежей. Осмотр архитектурных достопримечательностей может быть улучшен с помощью приложений AR, позволяющих пользователям, просматривающим экстерьер здания, виртуально видеть сквозь его стены, просматривать его внутренние объекты и планировку. [136] [137] [50]
Благодаря постоянному повышению точности GPS предприятия могут использовать дополненную реальность для визуализации геопривязанных моделей строительных площадок, подземных сооружений, кабелей и труб с помощью мобильных устройств. [138] Дополненная реальность применяется для представления новых проектов, решения проблем строительства на месте и улучшения рекламных материалов. [139] Примерами могут служить Daqri Smart Helmet — каска на базе Android, используемая для создания дополненной реальности для промышленных рабочих, включая визуальные инструкции, оповещения в реальном времени и 3D-картографирование.
После землетрясения в Крайстчерче Кентерберийский университет выпустил CityViewAR, [140] который позволил городским планировщикам и инженерам визуализировать разрушенные здания. [141] Это не только предоставило планировщикам инструменты для сопоставления с предыдущим городским пейзажем , но и послужило напоминанием о масштабах последовавших разрушений, поскольку целые здания были снесены.
В образовательных учреждениях дополненная реальность использовалась в качестве дополнения к стандартной учебной программе. Текст, графика, видео и аудио могут быть наложены на среду реального времени ученика. Учебники, карточки и другие учебные материалы для чтения могут содержать встроенные «маркеры» или триггеры, которые при сканировании устройством дополненной реальности выдавали дополнительную информацию для ученика, отображаемую в мультимедийном формате. [142] [143] [144] На 7-й международной конференции 2015 года «Виртуальная, дополненная и смешанная реальность» Google Glass упоминались как пример дополненной реальности, которая может заменить физический класс. [145] Во-первых, технологии дополненной реальности помогают учащимся заниматься подлинным исследованием в реальном мире, а виртуальные объекты, такие как тексты, видео и изображения, являются дополнительными элементами для проведения учащимися исследований окружающей среды реального мира. [146]
По мере развития AR студенты могут участвовать интерактивно и взаимодействовать со знаниями более достоверно. Вместо того, чтобы оставаться пассивными получателями, студенты могут стать активными учениками, способными взаимодействовать со своей учебной средой. Компьютерные симуляции исторических событий позволяют студентам исследовать и изучать детали каждой значимой области места события. [147]
В высшем образовании Construct3D, система Studierstube, позволяет студентам изучать концепции машиностроения, математику или геометрию. [148] Приложения AR по химии позволяют студентам визуализировать и взаимодействовать с пространственной структурой молекулы, используя маркерный объект, удерживаемый в руке. [149] Другие использовали HP Reveal, бесплатное приложение, для создания карточек AR для изучения механизмов органической химии или для создания виртуальных демонстраций того, как использовать лабораторные приборы. [150] Студенты, изучающие анатомию, могут визуализировать различные системы человеческого тела в трех измерениях. [151] Было показано, что использование AR в качестве инструмента для изучения анатомических структур увеличивает знания учащихся и обеспечивает внутренние преимущества, такие как повышенная вовлеченность и погружение учащихся. [152] [153]
AR использовалась для разработки различных приложений для обучения технике безопасности при различных типах катастроф, таких как землетрясения и пожары в зданиях, а также для задач по охране труда и технике безопасности. [154] [155] [156] Кроме того, было предложено и протестировано несколько решений AR для навигации эвакуируемых из зданий в безопасные места как при крупных, так и при мелких катастрофах. [157] [158] Приложения AR могут иметь несколько совпадений со многими другими цифровыми технологиями, такими как BIM , интернет вещей и искусственный интеллект , для создания более интеллектуальных решений для обучения технике безопасности и навигации. [159]
AR используется для замены бумажных руководств цифровыми инструкциями, которые накладываются на поле зрения оператора производства, что снижает умственные усилия, необходимые для работы. [160] AR делает обслуживание машин эффективным, поскольку предоставляет операторам прямой доступ к истории обслуживания машин. [161] Виртуальные руководства помогают производителям адаптироваться к быстро меняющимся конструкциям продуктов, поскольку цифровые инструкции легче редактировать и распространять по сравнению с физическими руководствами. [160]
Цифровые инструкции повышают безопасность оператора, устраняя необходимость операторам смотреть на экран или руководство вне рабочей зоны, что может быть опасно. Вместо этого инструкции накладываются на рабочую зону. [162] [163] Использование дополненной реальности может повысить чувство безопасности операторов при работе вблизи высоконагруженного промышленного оборудования, предоставляя операторам дополнительную информацию о состоянии машины и функциях безопасности, а также об опасных зонах рабочего пространства. [162] [164]
AR используется для интеграции печатного и видеомаркетинга. Печатные маркетинговые материалы могут быть разработаны с определенными «триггерными» изображениями, которые при сканировании устройством с поддержкой AR, использующим распознавание изображений, активируют видеоверсию рекламного материала. Основное различие между дополненной реальностью и простым распознаванием изображений заключается в том, что на экране просмотра можно одновременно накладывать несколько медиа, например, кнопки «Поделиться» в социальных сетях, видео на странице, даже аудио и 3D-объекты. Традиционные печатные издания используют дополненную реальность для соединения различных типов медиа. [165] [166] [167] [168] [169]
AR может улучшить предварительный просмотр продукта, например, позволяя покупателю увидеть, что находится внутри упаковки продукта, не открывая ее. [170] AR также может использоваться в качестве вспомогательного средства при выборе продуктов из каталога или через киоск. Отсканированные изображения продуктов могут активировать просмотр дополнительного контента, такого как параметры настройки и дополнительные изображения продукта в его использовании. [171]
К 2010 году виртуальные примерочные были разработаны для электронной коммерции. [172]
В 2012 году монетный двор использовал технологии дополненной реальности для маркетинга памятной монеты для Арубы. Сама монета использовалась в качестве триггера дополненной реальности, и при поднесении ее к устройству с поддержкой дополненной реальности она показывала дополнительные объекты и слои информации, которые не были видны без устройства. [173] [174]
В 2018 году Apple объявила о поддержке файлов дополненной реальности Universal Scene Description (USDZ) для iPhone и iPad с iOS 12. Apple создала галерею AR QuickLook, которая позволяет массам ощутить дополненную реальность на своих устройствах Apple. [175]
В 2018 году канадская компания электронной коммерции Shopify объявила об интеграции AR Quick Look. Их продавцы смогут загружать 3D-модели своих продуктов, а их пользователи смогут нажимать на модели в браузере Safari на своих устройствах iOS, чтобы просматривать их в реальных условиях. [176]
В 2018 году Twinkl выпустил бесплатное приложение для AR-классов. Ученики могут увидеть, как выглядел Йорк более 1900 лет назад. [177] Twinkl запустил первую в истории многопользовательскую AR-игру Little Red [178] и имеет более 100 бесплатных образовательных AR-моделей. [179]
Дополненная реальность все чаще используется для интернет-рекламы. Розничные торговцы предлагают возможность загружать изображение на свой веб-сайт и «примерять» различную одежду, которая накладывается на изображение. Более того, такие компании, как Bodymetrics, устанавливают примерочные кабины в универмагах, которые предлагают сканирование всего тела . Эти кабины отображают 3D-модель пользователя, позволяя потребителям просматривать различные наряды на себе без необходимости физического переодевания. [180] Например, JC Penney и Bloomingdale's используют « виртуальные примерочные », которые позволяют покупателям увидеть себя в одежде, не примеряя ее. [181] Еще один магазин, который использует AR для продвижения одежды своим покупателям, — Neiman Marcus . [182] Neiman Marcus предлагает покупателям возможность видеть свои наряды в 360-градусном обзоре с помощью своего «зеркала памяти». [182] У магазинов косметики, таких как L'Oreal , Sephora , Charlotte Tilbury и Rimmel , также есть приложения, которые используют AR. [183] Эти приложения позволяют потребителям увидеть, как макияж будет выглядеть на них. [183] По словам Грега Джонса, директора AR и VR в Google, дополненная реальность «восстановит связь между физической и цифровой торговлей». [183]
Технология дополненной реальности также используется розничными продавцами мебели, такими как IKEA , Houzz и Wayfair . [183] [181] Эти розничные продавцы предлагают приложения, которые позволяют потребителям просматривать их продукцию у себя дома перед покупкой. [183] [184] В 2017 году IKEA анонсировала приложение Ikea Place. Оно содержит каталог из более чем 2000 товаров — почти полную коллекцию диванов, кресел, журнальных столиков и шкафов компании, которые можно разместить в любом месте комнаты с помощью своего телефона. [185] Приложение позволило иметь 3D и масштабные модели мебели в жилом пространстве покупателя. IKEA поняла, что их клиенты больше не совершают покупки в магазинах так часто или не совершают прямые покупки. [186] [187] Приобретение Shopify Primer, приложения AR , направлено на то, чтобы подтолкнуть мелких и средних продавцов к интерактивным покупкам AR с простой в использовании интеграцией AR и пользовательским опытом как для продавцов, так и для потребителей. [188] AR помогает розничной торговле сократить эксплуатационные расходы. Продавцы загружают информацию о продуктах в систему AR, а потребители могут использовать мобильные терминалы для поиска и создания 3D-карт. [189]
Первое описание AR, как оно известно сегодня, было в Virtual Light , романе 1994 года Уильяма Гибсона. В 2011 году AR был смешан с поэзией ni ka из Sekai Camera в Токио, Япония. Проза этих стихотворений AR взята из Die Niemandsrose Пауля Целана , выражающего последствия землетрясения и цунами в Тохоку в 2011 году . [190]
Дополненная реальность, применяемая в изобразительном искусстве, позволяет объектам или местам вызывать многомерные художественные переживания и интерпретации реальности.
Австралийский художник новых медиа Джеффри Шоу стал пионером дополненной реальности в трех своих работах: «Точка зрения» в 1975 году, «Виртуальные скульптуры» в 1987 году и «Золотой теленок» в 1993 году. [192] [193] Он продолжает исследовать новые вариации дополненной реальности в многочисленных недавних работах.
Manifest.AR — международный художественный коллектив, основанный в 2010 году и специализирующийся на искусстве дополненной реальности (AR) и интервенциях. Группа известна тем, что стала пионером в использовании технологии AR в публичном искусстве и институциональной критике. Manifest.AR была создана группой художников и исследователей, заинтересованных в изучении художественных возможностей новых технологий дополненной реальности. Коллектив приобрел известность в 2010 году, когда они организовали несанкционированную виртуальную выставку в Музее современного искусства (MoMA) в Нью-Йорке, наложив свои цифровые произведения искусства на все пространство музея с использованием технологии AR. Несанкционированное вмешательство коллектива в AR в MoMA включало размещение виртуальных произведений искусства на всех пространствах музея, доступных для просмотра с помощью мобильных устройств. Это вмешательство подняло вопросы об институциональной власти, общественном пространстве и природе владения цифровым искусством. В 2011 году участники Manifest.AR создали произведения искусства AR, которые были виртуально размещены на Венецианской биеннале, создав неофициальную параллельную выставку, доступную с помощью мобильных устройств. Во время движения Occupy Wall Street в 2011 году коллектив создал инсталляции дополненной реальности в парке Зукотти и вокруг него, добавив цифровое измерение к физическим протестам. Работа Manifest.AR исследовала темы: Цифровое общественное пространство: институциональная критика; Пересечение физической и виртуальной реальности; Демократический доступ к искусству; и Цифровые права и собственность. Коллектив обычно создавал инсталляции дополненной реальности, привязанные к определенному месту, которые можно было просматривать с помощью мобильных устройств с использованием специально разработанных приложений. Их работа часто бросала вызов традиционным представлениям об художественных выставках и владении, размещая виртуальные произведения искусства в пространствах без институционального разрешения. Среди ключевых членов коллектива были: Марк Скварек; Джон Крейг Фримен; Уилл Паппенхаймер; Тамико Тиль; и Сандер Винхоф. Группа опубликовала свой «Манифест искусства дополненной реальности» в 2011 году, в котором изложила свою художественную философию и подход к дополненной реальности как к средству. Манифест подчеркивал демократический потенциал технологии дополненной реальности и ее способность бросать вызов традиционному институциональному контролю над общественным пространством и демонстрацией искусства. [194] Manifest.AR оказал влияние на: Пионерские художественные применения технологии AR; Разработка новых форм институциональной критики; Расширение концепций публичного искусства и цифрового пространства; Влияние на последующие поколения художников новых медиа. Их работа была задокументирована и обсуждена в различных публикациях о цифровом искусстве и новых медиа и повлияла на современные дискуссии о виртуальной и дополненной реальности в художественной практике. [195]
Дополненная реальность может помочь в развитии визуального искусства в музеях, позволяя посетителям музеев просматривать произведения искусства в галереях в многомерном виде через экраны своих телефонов. [196] Музей современного искусства в Нью-Йорке создал экспозицию в своем художественном музее, демонстрирующую возможности дополненной реальности, которые зрители могут увидеть с помощью приложения на своих смартфонах. [197] Музей разработал свое персональное приложение под названием MoMAR Gallery, которое гости музея могут загрузить и использовать в специализированной галерее дополненной реальности, чтобы просматривать картины музея по-другому. [198] Это позволяет людям видеть скрытые аспекты и информацию о картинах, а также иметь возможность интерактивного технологического опыта с произведениями искусства.
Технология дополненной реальности использовалась в работах Нэнси Бейкер Кэхилл «Предел погрешности» и «Революции» [199], двух произведениях публичного искусства, которые она создала для выставки Desert X 2019 года . [200]
Технология дополненной реальности помогла разработать технологию отслеживания глаз , которая позволяет преобразовывать движения глаз человека с ограниченными возможностями в рисунки на экране. [201]
Датский художник Олафур Элиассон поместил в среду пользователя такие объекты, как палящее солнце, внеземные камни и редких животных. [202] Мартин и Муньос начали использовать технологию дополненной реальности (AR) в 2020 году для создания и размещения виртуальных работ на основе своих снежных шаров на своих выставках и в среде пользователя. Их первая работа AR была представлена в Институте Сервантеса в Нью-Йорке в начале 2022 года. [203]
Аппаратное и программное обеспечение дополненной реальности для использования в фитнесе включает в себя умные очки , предназначенные для езды на велосипеде и бега, с аналитикой производительности и навигацией по карте, проецируемой в поле зрения пользователя, [204] а также бокс, боевые искусства и теннис, где пользователи остаются в курсе своего физического окружения для обеспечения безопасности. [205] Игры и программное обеспечение, связанные с фитнесом, включают Pokémon Go и Jurassic World Alive . [206]
Взаимодействие человека с компьютером (HCI) — это междисциплинарная область вычислений, которая занимается проектированием и реализацией систем, взаимодействующих с людьми. Исследователи в HCI представляют ряд дисциплин, включая информатику, инженерию, дизайн, человеческий фактор и социальные науки, с общей целью — решать проблемы в проектировании и использовании технологий, чтобы их можно было использовать проще, эффективнее, продуктивно, безопасно и с удовлетворением. [207]
Согласно статье в журнале Time за 2017 год , прогнозируется, что через 15–20 лет дополненная реальность и виртуальная реальность станут основными способами взаимодействия с компьютером. [208]
Дети младшего школьного возраста легко учатся на интерактивных занятиях. Например, астрономические созвездия и движения объектов в солнечной системе были ориентированы в 3D и накладывались в направлении, в котором держали устройство, и расширялись дополнительной видеоинформацией. Иллюстрации в бумажных научных книгах могли казаться живыми в виде видео, не требуя от ребенка перехода к веб-материалам.
В 2013 году на Kickstarter был запущен проект по обучению электронике с помощью образовательной игрушки, которая позволяла детям сканировать свою схему с помощью iPad и видеть, как протекает электрический ток. [209] Хотя к 2016 году для AR были доступны некоторые образовательные приложения, она не получила широкого распространения. Приложения, которые используют дополненную реальность для помощи в обучении, включали SkyView для изучения астрономии, [210] AR Circuits для построения простых электрических цепей, [211] и SketchAr для рисования. [212]
Дополненная реальность также может стать для родителей и учителей способом достижения своих целей в области современного образования, которые могут включать в себя обеспечение более индивидуализированного и гибкого обучения, установление более тесных связей между тем, чему учат в школе, и реальным миром, а также помощь учащимся в большей вовлеченности в собственное обучение.
Системы дополненной реальности используются в ситуациях, связанных с общественной безопасностью : от сильных штормов до обнаружения подозреваемых на свободе.
Еще в 2009 году в двух статьях журнала Emergency Management обсуждалась технология дополненной реальности для управления чрезвычайными ситуациями. Первая статья называлась «Дополненная реальность — новые технологии для управления чрезвычайными ситуациями» Джеральда Барона. [213] По словам Адама Кроу: «Технологии, подобные дополненной реальности (например, Google Glass), и растущие ожидания общественности будут продолжать заставлять профессиональных менеджеров по чрезвычайным ситуациям радикально менять, когда, где и как технологии будут использоваться до, во время и после катастроф». [214]
Другим ранним примером был поисковый самолет, искавший потерявшегося туриста в пересеченной горной местности. Системы дополненной реальности предоставили операторам аэрофотосъемки географическую осведомленность о названиях лесных дорог и местонахождениях, объединенных с видео с камеры. Оператор камеры мог лучше искать туриста, зная географический контекст изображения с камеры. После обнаружения оператор мог более эффективно направлять спасателей к местоположению туриста, поскольку географическое положение и опорные ориентиры были четко обозначены. [215]
AR может использоваться для облегчения социального взаимодействия. Социальная сеть дополненной реальности под названием Talk2Me позволяет людям распространять информацию и просматривать рекламируемую другими информацию в режиме дополненной реальности. Своевременный и динамичный обмен информацией и функции просмотра Talk2Me помогают инициировать разговоры и заводить друзей для пользователей с людьми, находящимися в физической близости. [216] Однако использование гарнитуры AR может снизить качество взаимодействия между двумя людьми, если один из них не носит ее, если гарнитура становится отвлекающим фактором. [217]
Дополненная реальность также дает пользователям возможность практиковать различные формы социального взаимодействия с другими людьми в безопасной, безрисковой среде. Ханнес Кауфман, доцент кафедры виртуальной реальности в Техническом университете Вены , говорит: «В совместной дополненной реальности несколько пользователей могут получить доступ к общему пространству, заполненному виртуальными объектами, оставаясь при этом на земле в реальном мире. Эта техника особенно эффективна в образовательных целях, когда пользователи находятся вместе и могут использовать естественные средства общения (речь, жесты и т. д.), но также может успешно сочетаться с иммерсивной виртуальной реальностью или удаленным сотрудничеством». [ Эта цитата нуждается в цитате ] Ханнес называет образование потенциальным применением этой технологии.
Игровая индустрия приняла технологию AR. Было разработано несколько игр для подготовленных закрытых сред, таких как AR air hockey, Titans of Space , совместные бои против виртуальных врагов и AR-улучшенные бильярдные игры. [218] [219] [220]
В 2010 году Ogmento стал первым стартапом в сфере AR-игр, получившим венчурное финансирование. Компания продолжила выпускать ранние локационные AR-игры для таких игр, как Paranormal Activity: Sanctuary, NBA: King of the Court и Halo: King of the Hill. Технология компьютерного зрения компании в конечном итоге была переупакована и продана Apple, став крупным вкладом в ARKit. [221]
Дополненная реальность позволяет игрокам в видеоигры испытать цифровой игровой процесс в реальной среде. Niantic выпустила мобильную игру дополненной реальности Pokémon Go . [222] Disney объединилась с Lenovo для создания игры дополненной реальности Star Wars : Jedi Challenges , которая работает с гарнитурой Lenovo Mirage AR, датчиком слежения и контроллером светового меча , запуск которой запланирован на декабрь 2017 года. [223]
AR позволяет промышленным дизайнерам испытать дизайн и работу продукта до его завершения. Volkswagen использовал AR для сравнения расчетных и фактических изображений краш-тестов. [224] AR использовался для визуализации и изменения структуры кузова автомобиля и компоновки двигателя. Он также использовался для сравнения цифровых макетов с физическими макетами, чтобы найти расхождения между ними. [225] [226]
Одним из первых применений дополненной реальности было здравоохранение, в частности, для поддержки планирования, практики и обучения хирургическим процедурам. Еще в 1992 году повышение производительности человека во время операции было официально заявленной целью при создании первых систем дополненной реальности в лабораториях ВВС США. [3] С 2005 года для обнаружения вен используется устройство, называемое ближним инфракрасным веноискателем , которое снимает подкожные вены, обрабатывает и проецирует изображение вен на кожу. [227] [228] AR предоставляет хирургам данные мониторинга пациента в стиле головного дисплея летчика-истребителя и позволяет получать доступ к записям изображений пациента, включая функциональные видео, и накладывать их друг на друга. Примерами являются виртуальное рентгеновское изображение, основанное на предыдущей томографии или на изображениях в реальном времени с ультразвуковых и конфокальных микроскопических зондов, [229] визуализация положения опухоли на видео эндоскопа , [ 230] или риски облучения от рентгеновских устройств визуализации. [231] [232] AR может улучшить наблюдение за плодом в утробе матери . [233] Siemens, Karl Storz и IRCAD разработали систему для лапароскопической хирургии печени, которая использует AR для наблюдения за подповерхностными опухолями и сосудами. [234] AR использовалась для лечения фобии тараканов [235] и для уменьшения страха перед пауками. [236] Пациентам, носящим очки дополненной реальности, можно напоминать о необходимости принимать лекарства. [237] Дополненная реальность может быть очень полезна в медицинской сфере. [238] Ее можно использовать для предоставления важной информации врачу или хирургу, не отрывая их от пациента. 30 апреля 2015 года Microsoft анонсировала Microsoft HoloLens , свою первую попытку дополненной реальности. HoloLens совершенствовался на протяжении многих лет и способен проецировать голограммы для хирургии с использованием флуоресценции в ближнем инфракрасном диапазоне. [239] По мере развития дополненной реальности она находит все большее применение в здравоохранении. Дополненная реальность и аналогичные компьютерные утилиты используются для обучения медицинских работников. [240] [241] В здравоохранении дополненная реальность может использоваться для предоставления руководства во время диагностических и терапевтических вмешательств, например, во время хирургического вмешательства. Magee et al., [242]например, описывают использование дополненной реальности для медицинского обучения при моделировании размещения иглы под контролем УЗИ. Аналогичным образом Джаваид, Мохд, Халим и Абид обнаружили, что виртуальная реальность предоставила мозгу студентов-медиков опыт, который имитирует движение и опыт хирургического вмешательства. [243] Совсем недавно исследование Акчайыра, Акчайыра, Пекташа и Очака (2016) показало, что технология дополненной реальности улучшает лабораторные навыки студентов университетов и помогает им формировать позитивное отношение к лабораторным работам по физике. [244] Недавно дополненная реальность начала внедряться в нейрохирургии , области, которая требует большого количества изображений перед процедурами. [245]
Приложения дополненной реальности, работающие на портативных устройствах, используемых в качестве гарнитур виртуальной реальности, также могут оцифровывать присутствие человека в пространстве и предоставлять его компьютерную модель в виртуальном пространстве, где они могут взаимодействовать и выполнять различные действия. Такие возможности демонстрирует Project Anywhere, разработанный аспирантом ETH Zurich, который был назван «внетелесным опытом». [246] [247] [248]
Опираясь на десятилетия перцептивно-моторных исследований в экспериментальной психологии, исследователи из Лаборатории исследований авиации Иллинойсского университета в Урбане-Шампейне использовали дополненную реальность в форме траектории полета в небе, чтобы научить студентов-летчиков приземлять самолет с помощью летного симулятора. Адаптивный дополненный график, в котором студентам показывали аугментацию только тогда, когда они отклонялись от траектории полета, оказался более эффективным учебным вмешательством, чем постоянный график. [30] [249] Студенты-летчики, обученные приземляться на симуляторе с адаптивной аугментацией, научились сажать легкий самолет быстрее, чем студенты с таким же объемом обучения посадке на симуляторе, но с постоянной аугментацией или без какой-либо аугментации. [30]
Интересное раннее применение AR имело место, когда Rockwell International создала видеокарты спутниковых и орбитальных траекторий мусора для помощи в космических наблюдениях в Air Force Maui Optical System. В своей статье 1993 года "Debris Correlation Using the Rockwell WorldView System" авторы описывают использование картографических наложений, применяемых к видео с телескопов космического наблюдения. Карты-наложения указывали траектории различных объектов в географических координатах. Это позволило операторам телескопов идентифицировать спутники, а также идентифицировать и каталогизировать потенциально опасный космический мусор. [39]
Начиная с 2003 года армия США интегрировала систему дополненной реальности SmartCam3D в беспилотную воздушную систему Shadow, чтобы помочь операторам датчиков, использующим телескопические камеры, определять местонахождение людей или точек интереса. Система объединяла фиксированную географическую информацию, включая названия улиц, точки интереса, аэропорты и железные дороги, с живым видео с системы камер. Система предлагала режим «картинка в картинке», который позволял ей показывать синтетический вид области, окружающей поле зрения камеры. Это помогает решить проблему, в которой поле зрения настолько узкое, что оно исключает важный контекст, как будто «смотришь через соломинку для газировки». Система отображает маркеры местоположения «свой/чужой/нейтральный» в реальном времени, смешанные с живым видео, предоставляя оператору улучшенную ситуационную осведомленность.
Исследователи из Исследовательской лаборатории ВВС США (Калхун, Дрейпер и др.) обнаружили примерно двукратное увеличение скорости, с которой операторы датчиков БПЛА находили точки интереса с помощью этой технологии. [250] Эта способность поддерживать географическую осведомленность количественно повышает эффективность миссии. Система используется на беспилотных летательных аппаратах армии США RQ-7 Shadow и MQ-1C Gray Eagle.
В бою AR может служить сетевой системой связи, которая отображает полезные данные о поле боя на очках солдата в режиме реального времени. С точки зрения солдата люди и различные объекты могут быть отмечены специальными индикаторами, чтобы предупредить о потенциальной опасности. Виртуальные карты и изображения с камер обзора 360° также могут быть отображены, чтобы помочь солдату в навигации и перспективе поля боя, и это может быть передано военным лидерам в удаленный командный центр. [251] Сочетание визуализации камер обзора 360° и AR может использоваться на борту боевых машин и танков в качестве системы кругового обзора .
AR может быть эффективным инструментом для виртуального картирования 3D-топологий хранилищ боеприпасов на местности с выбором комбинации боеприпасов в штабелях и расстояний между ними с визуализацией зон риска. [252] [ ненадежный источник? ] Область применения AR также включает визуализацию данных со встроенных датчиков мониторинга боеприпасов. [252]
NASA X-38 летал с использованием гибридной системы синтетического зрения, которая накладывала данные карты на видео, чтобы обеспечить улучшенную навигацию для космического корабля во время летных испытаний с 1998 по 2002 год. Он использовал программное обеспечение LandForm, которое было полезно в периоды ограниченной видимости, включая случай, когда окно видеокамеры покрылось инеем, заставив астронавтов полагаться на наложения карты. [44] Программное обеспечение LandForm также было испытано на армейском испытательном полигоне Юма в 1999 году. На фотографии справа можно увидеть маркеры карты, указывающие взлетно-посадочные полосы, вышку управления воздушным движением, рулежные дорожки и ангары, наложенные на видео. [45]
AR может повысить эффективность навигационных устройств. Информация может отображаться на лобовом стекле автомобиля, указывая направление к месту назначения и счетчик, погоду, рельеф, дорожные условия и информацию о дорожном движении, а также оповещения о потенциальных опасностях на их пути. [253] [254] [255] С 2012 года швейцарская компания WayRay разрабатывает голографические навигационные системы AR, которые используют голографические оптические элементы для проецирования всей информации, связанной с маршрутом, включая направления, важные уведомления и точки интереса, прямо в поле зрения водителя и далеко впереди транспортного средства. [256] [257] На борту морских судов AR может позволить вахтенным на мостике постоянно отслеживать важную информацию, такую как курс и скорость судна, перемещаясь по мостику или выполняя другие задачи. [258]
Дополненная реальность может оказать положительное влияние на сотрудничество в работе, поскольку люди могут быть склонны активнее взаимодействовать со своей учебной средой. Она также может способствовать обновлению неявных знаний, что делает фирмы более конкурентоспособными. AR использовалась для содействия сотрудничеству между членами распределенной команды посредством конференций с локальными и виртуальными участниками. Задачи AR включали мозговой штурм и дискуссионные встречи с использованием общей визуализации с помощью сенсорных экранов, интерактивных цифровых досок, общих проектных пространств и распределенных контрольных комнат. [259] [260] [261]
В промышленных средах дополненная реальность оказывает существенное влияние, поскольку все больше и больше вариантов ее использования появляются во всех аспектах жизненного цикла продукта, начиная с проектирования продукта и внедрения нового продукта (NPI) до производства, обслуживания и ремонта, обработки материалов и распределения. Например, этикетки отображались на частях системы, чтобы разъяснить инструкции по эксплуатации для механика, выполняющего техническое обслуживание системы. [262] [263] Сборочные линии выиграли от использования AR. Помимо Boeing, BMW и Volkswagen были известны тем, что внедряли эту технологию в сборочные линии для мониторинга улучшений процесса. [264] [265] [266] Большие машины трудно обслуживать из-за их многослойности или структур. AR позволяет людям смотреть на машину, как будто через рентген, сразу указывая им на проблему. [267]
По мере развития технологии дополненной реальности и выхода на рынок устройств дополненной реальности второго и третьего поколения влияние дополненной реальности на предприятия продолжает процветать. В Harvard Business Review Магид Абрахам и Марко Аннунциата обсуждают, как устройства дополненной реальности теперь используются для «повышения производительности труда работников при выполнении ряда задач при первом использовании, даже без предварительного обучения». [268] Они утверждают, что «эти технологии повышают производительность труда, делая работников более квалифицированными и эффективными, и, таким образом, имеют потенциал для обеспечения как большего экономического роста, так и лучших рабочих мест». [268]
Визуализации погоды были первым применением дополненной реальности на телевидении. Теперь в прогнозах погоды стало обычным делом показывать полноценные видеоизображения, снятые в реальном времени с нескольких камер и других устройств обработки изображений. В сочетании с трехмерными графическими символами и сопоставленными с общей виртуальной геопространственной моделью эти анимированные визуализации представляют собой первое настоящее применение дополненной реальности на телевидении.
AR стала обычным явлением в спортивном телевещании. Спортивные и развлекательные заведения оснащены прозрачным и наложенным усилением с помощью отслеживаемых камер для улучшенного просмотра зрителями. Примерами являются желтая линия « первого дауна », которую можно увидеть в телевизионных трансляциях игр в американский футбол, показывающая линию, которую должна пересечь нападающая команда, чтобы получить первый даун. AR также используется в связи с футболом и другими спортивными мероприятиями для показа коммерческой рекламы, наложенной на вид игровой площадки. Участки полей для регби и крикета также показывают спонсируемые изображения. Телетрансляции по плаванию часто добавляют линию поперек дорожек, чтобы указать позицию текущего рекордсмена по мере продолжения гонки, чтобы позволить зрителям сравнивать текущую гонку с лучшими результатами. Другие примеры включают отслеживание хоккейной шайбы и аннотации производительности гоночных автомобилей [269] и траектории мячей для снукера. [114] [270]
AR используется для улучшения концертных и театральных представлений. Например, артисты позволяют слушателям расширить свои впечатления от прослушивания, добавляя свое выступление к выступлениям других групп/групп пользователей. [271] [272] [273]
Путешественники могут использовать AR для доступа к информационным дисплеям в реальном времени относительно местоположения, его особенностей и комментариев или контента, предоставленных предыдущими посетителями. Расширенные приложения AR включают моделирование исторических событий, мест и объектов, визуализированных в ландшафте. [274] [275] [276]
Приложения дополненной реальности, привязанные к географическим местоположениям, представляют информацию о местоположении с помощью аудио, объявляя об интересных особенностях определенного места, как только они становятся видны пользователю. [277] [278] [279]
Системы дополненной реальности, такие как Word Lens, могут интерпретировать иностранный текст на знаках и меню и, в дополненном виде пользователя, повторно отображать текст на языке пользователя. Произнесенные слова иностранного языка могут быть переведены и отображены в виде печатных субтитров пользователя. [280] [281] [282]
Было высказано предположение, что дополненная реальность может быть использована в новых методах создания музыки , микширования , управления и визуализации . [283] [284] [285] [286]
В рамках проекта по проверке концепции Ян Стерлинг, студент факультета дизайна взаимодействия Калифорнийского колледжа искусств , и инженер-программист Сваруп Пал продемонстрировали приложение HoloLens, основной целью которого является предоставление трехмерного пространственного пользовательского интерфейса для кроссплатформенных устройств — приложения Android Music Player и управляемого Arduino Fan and Light, — а также обеспечение взаимодействия с использованием управления взглядом и жестами. [287] [288] [289] [290]
Исследования членов CRIStAL в Университете Лилля используют дополненную реальность для обогащения музыкального исполнения. Проект ControllAR позволяет музыкантам дополнять свои поверхности управления MIDI с помощью ремиксованных графических пользовательских интерфейсов музыкального программного обеспечения . [291] Проект Rouages предлагает дополнять цифровые музыкальные инструменты , чтобы раскрыть их механизмы для аудитории и таким образом улучшить воспринимаемую живость. [292] Reflets — это новый дисплей дополненной реальности, предназначенный для музыкальных представлений, где аудитория действует как 3D-дисплей, показывая виртуальный контент на сцене, который также может использоваться для 3D-музыкального взаимодействия и сотрудничества. [293]
Пользователи Snapchat имеют доступ к дополненной реальности в приложении с помощью фильтров камеры. В сентябре 2017 года Snapchat обновил свое приложение, включив фильтр камеры, который позволил пользователям визуализировать анимированную, мультяшную версию себя под названием « Bitmoji ». Эти анимированные аватары будут проецироваться в реальном мире через камеру и могут быть сфотографированы или записаны на видео. [294] В том же месяце Snapchat также анонсировал новую функцию под названием «Sky Filters», которая будет доступна в его приложении. Эта новая функция использует дополненную реальность для изменения вида сделанной фотографии неба, во многом подобно тому, как пользователи могут применять фильтры приложения к другим фотографиям. Пользователи могут выбирать из фильтров неба, таких как звездная ночь, грозовые облака, красивые закаты и радуга. [295]
В статье под названием «Смерть от Pokémon GO» исследователи из Школы менеджмента Краннерта при Университете Пердью утверждают, что игра вызвала «непропорциональное увеличение количества дорожно-транспортных происшествий и связанных с ними повреждений транспортных средств, травм и смертельных случаев в непосредственной близости от мест, называемых PokéStops, где пользователи могут играть в игру во время вождения». [296] Используя данные из одного муниципалитета, статья экстраполирует то, что это может означать по всей стране, и приходит к выводу, что «увеличение количества аварий, приписываемых внедрению Pokémon GO, составляет 145 632 с соответствующим увеличением числа травм на 29 370 и соответствующим увеличением числа смертельных случаев на 256 за период с 6 июля 2016 года по 30 ноября 2016 года». Авторы экстраполировали стоимость этих аварий и смертельных случаев на сумму от 2 млрд до 7,3 млрд долларов за тот же период. Более того, более одного из трех опрошенных продвинутых пользователей Интернета хотели бы удалить беспокоящие их элементы вокруг себя, такие как мусор или граффити. [297] Они хотели бы даже изменить свое окружение, стерев уличные знаки, рекламу на рекламных щитах и неинтересные витрины магазинов. Таким образом, кажется, что AR представляет собой такую же угрозу для компаний, как и возможность. Хотя это может стать кошмаром для многочисленных брендов, которым не удается захватить воображение потребителей, это также создает риск того, что владельцы очков дополненной реальности могут не осознавать окружающих опасностей. Потребители хотят использовать очки дополненной реальности, чтобы изменить свое окружение во что-то, что отражает их собственное личное мнение. Примерно двое из пяти хотят изменить то, как выглядит их окружение, и даже то, как люди кажутся им. [ необходима цитата ]
Далее, к возможным проблемам конфиденциальности, которые описаны ниже, самой большой опасностью AR являются проблемы перегрузки и чрезмерной зависимости. Для разработки новых продуктов, связанных с AR, это подразумевает, что пользовательский интерфейс должен следовать определенным рекомендациям, чтобы не перегружать пользователя информацией, а также не допускать чрезмерной зависимости пользователя от системы AR, из-за которой важные сигналы из окружающей среды будут упущены. [18] Это называется виртуально-дополненным ключом. [18] Как только ключ игнорируется, люди могут больше не желать реального мира.
Концепция современной дополненной реальности зависит от способности устройства записывать и анализировать окружающую среду в режиме реального времени. Из-за этого существуют потенциальные правовые проблемы с конфиденциальностью. Хотя Первая поправка к Конституции США допускает такую запись во имя общественных интересов, постоянная запись устройства дополненной реальности затрудняет ее выполнение без записи за пределами общественного достояния. Правовые осложнения могут возникнуть в областях, где ожидается право на определенную степень конфиденциальности или где демонстрируются защищенные авторским правом медиаматериалы.
С точки зрения личной конфиденциальности существует простота доступа к информации, которой не следует обладать легко о данном человеке. Это достигается с помощью технологии распознавания лиц. Предполагая, что AR автоматически передает информацию о людях, которых видит пользователь, может быть что угодно, увиденное из социальных сетей, судимости и семейного положения. [298]
Кодекс этики по человеческому усовершенствованию, первоначально представленный Стивом Манном в 2004 году и доработанный Рэем Курцвейлом и Марвином Мински в 2013 году, был окончательно ратифицирован на конференции по виртуальной реальности в Торонто 25 июня 2017 года. [299] [300] [301] [302]
Взаимодействие дополненной реальности, привязанной к местоположению, с правом собственности в значительной степени не определено. [303] [304] Было проанализировано несколько моделей того, как это взаимодействие может быть разрешено в контексте общего права : расширение прав на недвижимость с целью также охватить дополнения на территории или вблизи нее с сильным понятием незаконного проникновения , запрещающее дополнения, если только это не разрешено владельцем; система « открытого диапазона », в которой дополнения разрешены, если только это не запрещено владельцем; и система « свободы передвижения », в которой владельцы недвижимости не имеют контроля над неразрушающими дополнениями. [305]
Одной из проблем, возникших во время помешательства на Pokémon Go, было то, что игроки игры беспокоили владельцев частной собственности во время посещения близлежащих привязанных к местоположению аугментаций, которые могли находиться на территории или на территории в пути . Условия обслуживания Pokémon Go явно отказываются от ответственности за действия игроков, что может ограничить (но не полностью погасить) ответственность ее производителя, Niantic , в случае, если игрок незаконно проникнет во время игры: по аргументу Niantic, игрок совершает незаконное проникновение, в то время как Niantic просто участвует в допустимой свободе слова . Теория, выдвинутая в судебных исках против Niantic, заключается в том, что их размещение игровых элементов в местах, которые приведут к незаконному проникновению или исключительно большому потоку посетителей, может представлять собой неудобство , несмотря на то, что каждое отдельное незаконное проникновение или посещение было лишь незначительно вызвано Niantic. [306] [307] [308]
Еще одно требование, выдвинутое против Niantic, заключается в том, что размещение прибыльных игровых элементов на земле без разрешения владельцев земли является неосновательным обогащением . [309] Более гипотетически, собственность может быть дополнена рекламой или нежелательным контентом против воли ее владельца. [310] Согласно американскому законодательству, такие ситуации вряд ли будут рассматриваться судами как нарушение прав на недвижимость без расширения этих прав с целью включения дополненной реальности (аналогично тому, как английское общее право пришло к признанию прав на воздух ). [309]
В статье в Michigan Telecommunications and Technology Law Review утверждается, что существует три основания для этого расширения, начиная с различного понимания собственности. Теория личности собственности, изложенная Маргарет Радин , как утверждается, поддерживает расширение прав собственности из-за тесной связи между личностью и владением собственностью; однако ее точка зрения не разделяется всеми теоретиками права. [311] Согласно утилитаристской теории собственности , выгоды от избежания вреда владельцам реальной собственности, вызванного расширениями и трагедией общин , а также снижение транзакционных издержек за счет облегчения открытия права собственности были оценены как оправдывающие признание прав реальной собственности как охватывающих расширения, привязанные к местоположению, хотя остается возможность трагедии антиобщин из-за необходимости вести переговоры с владельцами собственности, замедляющими инновации. [312] Наконец, следуя определению «собственности как закона вещей», которое поддерживают Томас Меррилл и Генри Э. Смит, аугментация на основе местоположения естественным образом определяется как «вещь», и, хотя неконкурентная и эфемерная природа цифровых объектов создает трудности для исключающей части определения, в статье утверждается, что это не является непреодолимым. [313]
Некоторые попытки законодательного регулирования были предприняты в Соединенных Штатах . Округ Милуоки, штат Висконсин, попытался регулировать игры с дополненной реальностью, проводимые в его парках, требуя предварительной выдачи разрешения, [314] но это было раскритиковано федеральным судьей по соображениям свободы слова ; [315] а Иллинойс рассматривал возможность введения обязательного уведомления и процедуры удаления для дополнений, привязанных к местоположению. [316]
В статье для Iowa Law Review отмечалось, что для крупномасштабной услуги будет сложно иметь дело со многими местными процессами выдачи разрешений [317] , и хотя предложенный в Иллинойсе механизм можно было бы сделать работоспособным, [318] он был реактивным и требовал от владельцев собственности потенциально постоянного взаимодействия с новыми услугами дополненной реальности; вместо этого был предложен реестр геозон на национальном уровне , аналогичный списку «не звонить» , в качестве наиболее желательной формы регулирования для эффективного баланса интересов как поставщиков услуг дополненной реальности, так и владельцев недвижимости. [319] Однако в статье в Vanderbilt Journal of Entertainment and Technology Law анализируется монолитный реестр «не определять местоположение» как недостаточно гибкий инструмент, который либо разрешает нежелательные дополнения, либо исключает полезные приложения дополненной реальности. [320] Вместо этого утверждается, что модель «открытого диапазона», в которой увеличения разрешены по умолчанию, но владельцы собственности могут ограничивать их в каждом конкретном случае (и несоблюдение рассматривается как форма нарушения права собственности), даст наилучший с социальной точки зрения результат. [321]
Футуристический короткометражный фильм « Взгляд» [325] демонстрирует устройства дополненной реальности, похожие на контактные линзы. [326] [327]
{{cite web}}: CS1 maint: числовые имена: список авторов ( ссылка )улучшенная версия реальности, созданная с помощью технологии наложения цифровой информации на изображение чего-либо, просматриваемого через устройство (например, камеру смартфона) также : технология, используемая для создания дополненной реальности
, которая накладывает сгенерированное компьютером изображение на вид реального мира пользователем, таким образом обеспечивая составное представление.
{{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка ){{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
Медиа, связанные с дополненной реальностью на Wikimedia Commons