Дополненная реальность ( AR ) — это интерактивный опыт, сочетающий в себе реальный мир и компьютерный контент. Содержимое может охватывать множество сенсорных модальностей , включая зрительные , слуховые , тактильные , соматосенсорные и обонятельные . [1] AR можно определить как систему, которая включает в себя три основные функции: сочетание реального и виртуального миров, взаимодействие в реальном времени и точную 3D-регистрацию виртуальных и реальных объектов. [2] Наложенная сенсорная информация может быть конструктивной (т. е. дополнять естественную среду) или деструктивной (т. е. маскировать естественную среду). [3] Этот опыт органично переплетается с физическим миром и воспринимается как захватывающий аспект реальной среды. [3] Таким образом, дополненная реальность изменяет постоянное восприятие реальной среды, тогда как виртуальная реальность полностью заменяет реальную среду пользователя смоделированной. [4] [5]
Дополненная реальность во многом является синонимом смешанной реальности . Существует также совпадение в терминологии расширенной реальности и компьютерной реальности .
Основная ценность дополненной реальности заключается в том, как компоненты цифрового мира сливаются с восприятием человеком реального мира не как простое отображение данных, а посредством интеграции иммерсивных ощущений, которые воспринимаются как естественные части среда. Самые ранние функциональные AR-системы, которые обеспечивали пользователям погружение в смешанную реальность, были изобретены в начале 1990-х годов, начиная с системы Virtual Fixtures, разработанной в лаборатории Армстронга ВВС США в 1992 году. [3] [6] [7] Коммерческие возможности дополненной реальности были впервые внедрены в развлекательном и игровом бизнесе. [8] Впоследствии приложения дополненной реальности распространились на коммерческие отрасли, такие как образование, связь, медицина и развлечения. В сфере образования доступ к контенту можно получить путем сканирования или просмотра изображения с помощью мобильного устройства или с помощью безмаркерных методов дополненной реальности. [9] [10] [11]
Дополненная реальность используется для улучшения естественной среды или ситуаций и предлагает обогащенный опыт восприятия. С помощью передовых технологий AR (например, добавления компьютерного зрения , включения AR-камер в приложения для смартфонов и распознавания объектов ) информация об окружающем реальном мире пользователя становится интерактивной и подвергается цифровому манипулированию. Информация об окружающей среде и ее объектах накладывается на реальный мир. Эта информация может быть виртуальной. Дополненная реальность — это любой опыт, который является искусственным и дополняет уже существующую реальность. [12] [13] [14] [15] [16] или реальный, например, наблюдение другой реальной воспринимаемой или измеренной информации, такой как электромагнитные радиоволны, наложенные в точном соответствии с тем, где они фактически находятся в космосе. [17] [18] [19] Дополненная реальность также имеет большой потенциал в сборе и обмене неявными знаниями. Методы увеличения обычно выполняются в реальном времени и в семантическом контексте с элементами окружающей среды. Иммерсивная перцептивная информация иногда сочетается с дополнительной информацией, например, с результатами в прямом эфире спортивного мероприятия. Это сочетает в себе преимущества технологии дополненной реальности и технологии отображения на лобовом стекле (HUD).
В виртуальной реальности (VR) восприятие реальности пользователями полностью основано на виртуальной информации. В дополненной реальности (AR) пользователю предоставляется дополнительная компьютерная информация в рамках данных, собранных из реальной жизни, что улучшает его восприятие реальности. [20] [21] Например, в архитектуре VR можно использовать для создания пошаговой имитации внутренней части нового здания; а AR можно использовать для демонстрации структур и систем здания, наложенных на реальный вид. Другой пример — использование служебных приложений. Некоторые приложения AR, такие как Augment , позволяют пользователям применять цифровые объекты в реальной среде, позволяя компаниям использовать устройства дополненной реальности как способ предварительного просмотра своих продуктов в реальном мире. [22] Аналогичным образом, его также можно использовать для демонстрации того, как продукты могут выглядеть в среде для клиентов, как это продемонстрировали такие компании, как Mountain Equipment Co-op или Lowe's , которые используют дополненную реальность, чтобы позволить клиентам предварительно просмотреть, как могут выглядеть их продукты. как дома за счет использования 3D-моделей. [23]
Дополненная реальность (AR) отличается от виртуальной реальности (VR) в том смысле, что в AR часть окружающей среды является «реальной», а AR просто добавляет слои виртуальных объектов к реальной среде. С другой стороны, в виртуальной реальности окружающая среда полностью виртуальна и создана компьютером. Демонстрацию того, как AR накладывает объекты на реальный мир, можно увидеть в играх дополненной реальности. WallaMe — это игровое приложение дополненной реальности, которое позволяет пользователям скрывать сообщения в реальных условиях, используя технологию геолокации, чтобы пользователи могли скрывать сообщения в любой точке мира, где они пожелают. [24] Такие приложения имеют множество применений в мире, в том числе в активизме и художественном самовыражении. [25]
Аппаратными компонентами дополненной реальности являются: процессор, дисплей, датчики и устройства ввода. Современные мобильные вычислительные устройства, такие как смартфоны и планшетные компьютеры , содержат эти элементы, которые часто включают камеру и датчики микроэлектромеханических систем ( MEMS ), такие как акселерометр , GPS и твердотельный компас , что делает их подходящими платформами AR. [26] [27] В дополненной реальности используются две технологии: дифракционные волноводы и отражательные волноводы.
В рендеринге дополненной реальности используются различные технологии, в том числе оптические проекционные системы , мониторы , портативные устройства и системы отображения, которые носят на теле человека.
Головной дисплей (HMD) — это устройство отображения, которое носится на лбу, например, на ремне безопасности или на шлеме . HMD размещают изображения как физического мира, так и виртуальных объектов в поле зрения пользователя. В современных шлемах виртуальной реальности часто используются датчики с шестью степенями свободы мониторинга, которые позволяют системе согласовывать виртуальную информацию с физическим миром и соответствующим образом приспосабливаться к движениям головы пользователя. [28] [29] [30] гарнитуры HMD могут предоставить пользователям виртуальной реальности возможность мобильного взаимодействия и совместной работы. [31] Отдельные поставщики, такие как uSens и Gestigon , включают элементы управления жестами для полного виртуального погружения . [32] [33]
AR-дисплеи можно отображать на устройствах, напоминающих очки. Версии включают очки, в которых используются камеры для перехвата реального изображения мира и повторного отображения его дополненного изображения через окуляры [34], а также устройства, в которых изображения AR проецируются через поверхности линз очков или отражаются от них. [35] [36] [37]
Проекционный дисплей (HUD) — это прозрачный дисплей, на котором отображаются данные, не требуя от пользователей отводить взгляд от их обычных точек обзора. Проекционные дисплеи, предшественник технологии дополненной реальности, были впервые разработаны для пилотов в 1950-х годах. Они проецировали простые полетные данные в их поле зрения, тем самым позволяя им держать «голову поднятой» и не смотреть вниз на приборы. Устройства дополненной реальности для близи глаз можно использовать в качестве портативных проекционных дисплеев, поскольку они могут отображать данные, информацию и изображения, пока пользователь просматривает реальный мир. Многие определения дополненной реальности определяют ее только как наложение информации. [38] [39] По сути, именно это и делает проекционный дисплей; однако, практически говоря, ожидается, что дополненная реальность будет включать регистрацию и отслеживание между наложенными восприятиями, ощущениями, информацией, данными и изображениями и некоторой частью реального мира. [40]
Контактные линзы, отображающие изображения AR, находятся в разработке. Эти бионические контактные линзы могут содержать элементы дисплея, встроенные в линзу, включая интегральные схемы, светодиоды и антенну для беспроводной связи. Первый дисплей для контактных линз был запатентован в 1999 году Стивом Манном и предназначался для работы в сочетании с очками дополненной реальности, но от проекта отказались [41] [42] , а затем, 11 лет спустя, в 2010–2011 годах. [43] [44] [45] [46] Другая версия контактных линз, разрабатываемая для вооруженных сил США, предназначена для работы с очками AR, позволяя солдатам фокусироваться на изображениях AR, находящихся близко к глазу на очках. и удаленные объекты реального мира одновременно. [47] [48]
На выставке CES 2013 компания Innovega также представила аналогичные контактные линзы, для работы которых требовалось сочетание AR-очков. [49]
В футуристическом короткометражном фильме «Взгляд» [50] используются устройства дополненной реальности, похожие на контактные линзы. [51] [52]
Многие ученые работали над контактными линзами, способными выполнять различные технологические задачи. Патент, поданный Samsung, описывает контактную линзу AR, которая после завершения будет включать в себя встроенную камеру на самой линзе. [53] Конструкция предназначена для управления интерфейсом посредством моргания глазом. Он также предназначен для связи со смартфоном пользователя для просмотра отснятого материала и отдельного управления им. В случае успеха внутри объектива будет установлена камера или датчик. Говорят, что это может быть что угодно, от датчика освещенности до датчика температуры.
Первый публично представленный рабочий прототип контактной линзы AR, не требующий совместного использования очков, был разработан Mojo Vision, анонсирован и продемонстрирован на выставке CES 2020. [54] [55] [56]
Виртуальный сетчаточный дисплей (VRD) — это персональное устройство отображения, которое разрабатывается в Лаборатории технологий человеческого интерфейса Вашингтонского университета под руководством доктора Томаса А. Фернесса III. [57] С помощью этой технологии изображение сканируется непосредственно на сетчатку глаза зрителя. В результате получаются яркие изображения с высоким разрешением и высокой контрастностью. Зритель видит нечто вроде обычного дисплея, парящего в пространстве. [58]
Для анализа безопасности VRD было проведено несколько испытаний. [57] В одном тесте пациенты с частичной потерей зрения — с дегенерацией желтого пятна (заболеванием, вызывающим дегенерацию сетчатки) или кератоконусом — были отобраны для просмотра изображений с использованием этой технологии. В группе с дегенерацией желтого пятна пять из восьми испытуемых предпочитали изображения VRD изображениям с электронно-лучевой трубки (ЭЛТ) или бумажным изображениям и считали, что они лучше и ярче и могут видеть одинаковые или более высокие уровни разрешения. Все пациенты с кератоконусом могли разрешить линии меньшего размера в нескольких тестах с использованием VRD, а не с помощью собственной коррекции. Они также обнаружили, что изображения VRD легче просматривать и они более четкие. В результате этих нескольких тестов виртуальный сетчаточный дисплей считается безопасной технологией.
Виртуальный сетчаточный дисплей создает изображения, которые можно увидеть при дневном и комнатном освещении. VRD считается предпочтительным кандидатом для использования в хирургических дисплеях благодаря сочетанию высокого разрешения, высокой контрастности и яркости. Дополнительные тесты показывают высокий потенциал использования VRD в качестве технологии отображения для пациентов со слабым зрением.
EyeTap (также известное как стекло Generation-2 [59] ) улавливает лучи света, которые в противном случае прошли бы через центр хрусталика глаза пользователя, и заменяет каждый луч реального света синтетическим светом, управляемым компьютером .
Очки поколения 4 [59] (Laser EyeTap) аналогичны VRD (т.е. они используют управляемый компьютером источник лазерного света), за исключением того, что они также имеют бесконечную глубину фокуса и заставляют сам глаз, по сути, функционировать как как камера, так и дисплей за счет точного совмещения с глазом и повторного синтеза (в лазерном свете) лучей света, попадающих в глаз. [60]
Портативный дисплей представляет собой небольшой дисплей, который помещается в руку пользователя. На сегодняшний день все портативные AR-решения поддерживают прозрачность видео. Первоначально в портативных AR использовались реперные маркеры [61] , а позже — устройства GPS и датчики MEMS, такие как цифровые компасы и акселерометр- гироскоп с шестью степенями свободы . Сегодня начинают использоваться безмаркерные трекеры одновременной локализации и картографии (SLAM), такие как PTAM (параллельное отслеживание и картографирование). Портативный дисплей AR обещает стать первым коммерческим успехом AR-технологий. Двумя основными преимуществами портативных AR являются портативность портативных устройств и повсеместное распространение телефонов с камерой. Недостатками являются физические ограничения, заключающиеся в том, что пользователю приходится постоянно держать портативное устройство перед собой, а также искажающий эффект классических широкоугольных камер мобильных телефонов по сравнению с реальным миром, если смотреть глазами. [62]
В таких играх, как Pokémon Go и Ingress , используется интерфейс карты с привязкой изображений (ILM), где утвержденные местоположения с геотегами отображаются на стилизованной карте, с которой пользователь может взаимодействовать. [63]
Проекционное картографирование дополняет объекты и сцены реального мира без использования специальных дисплеев, таких как мониторы, наголовные дисплеи или портативные устройства. В проекционном картографировании используются цифровые проекторы для отображения графической информации на физических объектах. Ключевое отличие проекционного мэппинга заключается в том, что дисплей отделен от пользователей системы. Поскольку дисплеи не связаны с каждым пользователем, проекционное отображение естественным образом масштабируется до групп пользователей, обеспечивая совместное сотрудничество между пользователями.
Примеры включают шейдерные лампы , мобильные проекторы, виртуальные столы и интеллектуальные проекторы. Шейдерные лампы имитируют и дополняют реальность, проецируя изображения на нейтральные объекты. Это дает возможность улучшить внешний вид объекта с помощью материалов простого блока — проектора, камеры и сенсора.
Другие приложения включают проекции на столы и стены. Одно из нововведений — расширенный виртуальный стол — отделяет виртуальное от реального за счет зеркал с светоделителями , прикрепленных к потолку под регулируемым углом. [64] Виртуальные витрины, в которых используются зеркала-делители луча вместе с несколькими графическими дисплеями, обеспечивают интерактивные средства одновременного взаимодействия с виртуальным и реальным. Множество новых реализаций и конфигураций делают пространственную дополненную реальность все более привлекательной интерактивной альтернативой.
Система проекционного картографирования может одновременно отображать изображение на любом количестве поверхностей в помещении. Проекционное картографирование поддерживает как графическую визуализацию, так и пассивные тактильные ощущения для конечных пользователей. Пользователи могут прикасаться к физическим объектам, создавая пассивные тактильные ощущения. [16] [65] [66] [67]
Современные мобильные системы дополненной реальности используют одну или несколько из следующих технологий отслеживания движения : цифровые камеры и/или другие оптические датчики , акселерометры, GPS, гироскопы, твердотельные компасы, радиочастотную идентификацию (RFID). Эти технологии предлагают различные уровни точности и точности. Эти технологии реализованы в API ARKit от Apple и API ARCore от Google , чтобы обеспечить отслеживание соответствующих платформ мобильных устройств.
Мобильные приложения дополненной реальности набирают популярность из-за широкого распространения мобильных и особенно носимых устройств. Однако они часто полагаются на вычислительно интенсивные алгоритмы компьютерного зрения с экстремальными требованиями к задержке. Чтобы компенсировать нехватку вычислительной мощности, часто желательно перенести обработку данных на удаленную машину. Разгрузка вычислений накладывает новые ограничения на приложения, особенно с точки зрения задержки и пропускной способности. Хотя существует множество протоколов передачи мультимедиа в реальном времени, существует также потребность в поддержке со стороны сетевой инфраструктуры. [68]
Методы включают системы распознавания речи , которые преобразуют произносимые пользователем слова в компьютерные инструкции, и системы распознавания жестов, которые интерпретируют движения тела пользователя путем визуального обнаружения или с помощью датчиков, встроенных в периферийное устройство, такое как палочка, стилус, указка, перчатка или другой предмет одежды. . [69] [70] [71] [72] Продукты, которые пытаются служить контроллером AR-гарнитур, включают Wave от Seebright Inc. и Nimble от Intugine Technologies.
Компьютер анализирует воспринимаемые визуальные и другие данные для синтеза и позиционирования. Компьютеры отвечают за графику дополненной реальности. Дополненная реальность использует изображение, сгенерированное компьютером, которое оказывает поразительное влияние на то, как отображается реальный мир. С развитием технологий и компьютеров дополненная реальность приведет к радикальному изменению взгляда на реальный мир. [73] По данным Time , примерно через 15–20 лет прогнозируется, что дополненная реальность и виртуальная реальность станут основным применением компьютерного взаимодействия. [74] Компьютеры совершенствуются очень быстрыми темпами, что приводит к появлению новых способов улучшения других технологий. По мере развития компьютеров дополненная реальность станет более гибкой и более распространенной в обществе. Компьютеры — это ядро дополненной реальности. [75] Компьютер получает данные от датчиков, определяющих относительное положение поверхности объектов. Это преобразуется в ввод данных в компьютер, который затем выводится пользователям, добавляя что-то, чего в противном случае не было бы. Компьютер состоит из памяти и процессора. [76] Компьютер сканирует окружающую среду, затем генерирует изображения или видео и помещает их на приемник, чтобы наблюдатель мог их увидеть. Фиксированные отметки на поверхности объекта сохраняются в памяти компьютера. Компьютер также извлекается из своей памяти, чтобы реалистично представить изображения зрителю.
Проекторы также можно использовать для отображения содержимого AR. Проектор может проецировать виртуальный объект на проекционный экран, и зритель может взаимодействовать с этим виртуальным объектом. Проекционными поверхностями могут быть множество объектов, например стены или стеклянные панели. [77]
Ключевым показателем систем AR является то, насколько реалистично они интегрируют дополнения с реальным миром. Программное обеспечение должно получать координаты реального мира, независимо от камеры и изображений с камеры. Этот процесс называется регистрацией изображений и использует различные методы компьютерного зрения , в основном связанные с отслеживанием видео . [78] [79] Многие методы компьютерного зрения дополненной реальности унаследованы от визуальной одометрии . Аугограмма — это сгенерированное компьютером изображение, которое используется для создания AR . Авгография — это научная и программная практика создания аугограмм для AR.
Обычно эти методы состоят из двух частей. Первый этап — обнаружение точек интереса , реперных маркеров или оптического потока на изображениях с камеры. На этом этапе могут использоваться такие методы обнаружения объектов, как обнаружение углов , обнаружение пятен , обнаружение краев или определение порога , а также другие методы обработки изображений . [80] [81] Второй этап восстанавливает реальную систему координат из данных, полученных на первом этапе. Некоторые методы предполагают, что в сцене присутствуют объекты с известной геометрией (или реперными маркерами). В некоторых из этих случаев 3D-структуру сцены необходимо рассчитать заранее. Если часть сцены неизвестна, одновременная локализация и картография (SLAM) могут отображать относительные положения. Если информация о геометрии сцены отсутствует, используются методы структуры движения, такие как настройка связок . Математические методы, используемые на втором этапе, включают: проективную ( эпиполярную ) геометрию, геометрическую алгебру , представление вращения с экспоненциальной картой , фильтры Калмана и частиц , нелинейную оптимизацию , робастную статистику . [ нужна цитата ]
В дополненной реальности различают два разных режима отслеживания: маркерный и безмаркерный . Маркеры — это визуальные сигналы, которые запускают отображение виртуальной информации. [82] Можно использовать лист бумаги с различной геометрией. Камера распознает геометрию, определяя определенные точки на чертеже. Безмаркерное отслеживание, также называемое мгновенным отслеживанием, не использует маркеры. Вместо этого пользователь размещает объект в поле зрения камеры предпочтительно в горизонтальной плоскости. Он использует датчики в мобильных устройствах для точного определения реальной среды, например расположения стен и точек пересечения. [83]
Язык разметки дополненной реальности (ARML) — это стандарт данных, разработанный в рамках Открытого геопространственного консорциума (OGC) [84] , который состоит из грамматики расширяемого языка разметки ( XML ) для описания местоположения и внешнего вида виртуальных объектов на сцене, а также Привязки ECMAScript для обеспечения динамического доступа к свойствам виртуальных объектов.
Чтобы обеспечить быструю разработку приложений дополненной реальности, были запущены некоторые приложения для разработки программного обеспечения, такие как Lens Studio от Snapchat и Spark AR от Facebook , включая комплекты разработки программного обеспечения (SDK) от Apple и Google. [85] [86]
Внедрение дополненной реальности в потребительские товары требует учета дизайна приложений и связанных с этим ограничений технологической платформы. Поскольку системы AR в значительной степени полагаются на погружение пользователя и взаимодействие между пользователем и системой, дизайн может способствовать внедрению виртуальности. Для большинства систем дополненной реальности можно следовать аналогичным рекомендациям по проектированию. Ниже перечислены некоторые соображения по разработке приложений дополненной реальности:
Контекстный дизайн фокусируется на физическом окружении конечного пользователя, пространственном пространстве и доступности, которые могут играть роль при использовании системы AR. Проектировщики должны знать о возможных физических сценариях, в которых может находиться конечный пользователь, таких как:
Оценивая каждый физический сценарий, можно избежать потенциальных угроз безопасности и внести изменения, чтобы еще больше улучшить погружение конечного пользователя. UX-дизайнерам придется определить пути пользователя для соответствующих физических сценариев и определить, как интерфейс реагирует на каждый из них.
Другой аспект контекстного проектирования включает в себя проектирование функциональных возможностей системы и ее способность учитывать предпочтения пользователя. [88] [89] Хотя инструменты обеспечения специальных возможностей широко распространены в базовом дизайне приложений, следует уделить определенное внимание при разработке ограниченных по времени подсказок (для предотвращения непреднамеренных операций), звуковых сигналов и общего времени взаимодействия. Важно отметить, что в некоторых ситуациях функциональность приложения может ограничивать возможности пользователя. Например, приложения, используемые для вождения, должны сократить объем взаимодействия с пользователем и вместо этого использовать звуковые сигналы.
Дизайн взаимодействия в технологиях дополненной реальности ориентирован на взаимодействие пользователя с конечным продуктом, чтобы улучшить общий пользовательский опыт и удовольствие. Цель дизайна взаимодействия — не оттолкнуть и не запутать пользователя путем организации представленной информации. Поскольку взаимодействие с пользователем зависит от его ввода, дизайнеры должны сделать элементы управления системой более понятными и доступными. Распространенным методом повышения удобства использования приложений дополненной реальности является обнаружение часто используемых областей на сенсорном дисплее устройства и разработка приложения в соответствии с этими областями управления. [90] Также важно структурировать карты путешествий пользователя и поток представляемой информации, что снижает общую когнитивную нагрузку системы и значительно улучшает кривую обучения приложения. [91]
При проектировании взаимодействия разработчикам важно использовать технологию дополненной реальности, которая дополняет функцию или назначение системы. [92] Например, использование захватывающих AR-фильтров и дизайн уникальной платформы обмена в Snapchat позволяют пользователям расширять свое социальное взаимодействие в приложении. В других приложениях, которые требуют от пользователей понимания фокуса и намерения, дизайнеры могут использовать прицельную сетку или лучевую передачу с устройства. [88]
В целом графический дизайн — это внешний вид развивающегося приложения, который привлекает пользователя. Чтобы улучшить элементы графического интерфейса и взаимодействие с пользователем, разработчики могут использовать визуальные подсказки, чтобы информировать пользователя, с какими элементами пользовательского интерфейса они предназначены для взаимодействия и как с ними взаимодействовать. Поскольку навигация в AR-приложении может показаться сложной и разочаровывающей, дизайн визуальных подсказок может сделать взаимодействие более естественным. [87]
В некоторых приложениях дополненной реальности, которые используют 2D-устройство в качестве интерактивной поверхности, 2D-среда управления плохо транслируется в 3D-пространстве, из-за чего пользователи не решаются исследовать свое окружение. Чтобы решить эту проблему, дизайнеры должны применять визуальные подсказки, чтобы помочь и побудить пользователей исследовать свое окружение.
При разработке VR-приложений важно отметить два основных объекта в AR: объемные 3D- объекты, которыми манипулируют и которые реалистично взаимодействуют со светом и тенью; анимационные медиаизображения, такие как изображения и видео, которые в основном представляют собой традиционные 2D-медиа, визуализированные в новом контексте для дополненной реальности. [87] Когда виртуальные объекты проецируются на реальную среду, разработчикам приложений дополненной реальности сложно обеспечить идеально плавную интеграцию с реальной средой, особенно с 2D-объектами. Таким образом, дизайнеры могут добавлять вес объектам, использовать карты глубины и выбирать различные свойства материала, которые подчеркивают присутствие объекта в реальном мире. Другой визуальный дизайн, который можно применить, — это использование различных методов освещения или отбрасывания теней для улучшения общего восприятия глубины. Например, распространенный метод освещения заключается в простом размещении источника света над головой в положении «12 часов», чтобы создать тени на виртуальных объектах. [87]
Дополненная реальность используется во многих приложениях: от игр и развлечений до медицины, образования и бизнеса. [93] Примеры областей применения, описанные ниже, включают археологию, архитектуру, торговлю и образование. Некоторые из самых ранних приведенных примеров включают дополненную реальность, используемую для поддержки хирургии путем предоставления виртуальных наложений для помощи практикующим врачам, а также контент AR для астрономии и сварки. [7] [94]
AR использовалась для помощи археологическим исследованиям. Дополняя археологические особенности современного ландшафта, AR позволяет археологам формулировать возможные конфигурации участков на основе сохранившихся структур. [95] Созданные на компьютере модели руин, зданий, ландшафтов или даже древних людей были переработаны в ранние археологические приложения дополненной реальности. [96] [97] [98] Например, внедрение такой системы, как VITA (Инструмент визуального взаимодействия для археологии), позволит пользователям представлять и исследовать мгновенные результаты раскопок, не выходя из дома. Каждый пользователь может сотрудничать путем взаимной «навигации, поиска и просмотра данных». Хрвое Бенко, исследователь кафедры компьютерных наук Колумбийского университета , отмечает, что эти конкретные системы и другие подобные им могут предоставлять «3D-панорамные изображения и 3D-модели самого объекта на разных этапах раскопок», при этом систематизируя большую часть данных. для совместной работы, которую легко использовать. Системы дополненной реальности для совместной работы обеспечивают мультимодальные взаимодействия , которые объединяют реальный мир с виртуальными изображениями обеих сред. [99]
AR может помочь в визуализации строительных проектов. Сгенерированные компьютером изображения сооружения можно наложить на реальный локальный вид объекта недвижимости до того, как там будет построено физическое здание; это было публично продемонстрировано компанией Trimble Navigation в 2004 году. AR также можно использовать в рабочем пространстве архитектора, создавая анимированные 3D-визуализации его 2D-чертежей. Наблюдение за архитектурой можно улучшить с помощью приложений AR, позволяющих пользователям, просматривающим внешний вид здания, виртуально видеть сквозь его стены, просматривать его внутренние объекты и планировку. [100] [101] [102]
Благодаря постоянному повышению точности GPS компании могут использовать дополненную реальность для визуализации моделей строительных площадок, подземных сооружений, кабелей и труб с географической привязкой с помощью мобильных устройств. [103] Дополненная реальность применяется для презентации новых проектов, решения строительных задач на месте и улучшения рекламных материалов. [104] Примеры включают Daqri Smart Helmet, каску на базе Android, используемую для создания дополненной реальности для промышленных рабочих, включая визуальные инструкции, оповещения в реальном времени и 3D-картирование.
После землетрясения в Крайстчерче Кентерберийский университет выпустил CityViewAR, [105] который позволил градостроителям и инженерам визуализировать разрушенные здания. [106] Это не только предоставило планировщикам инструменты для сравнения с предыдущим городским пейзажем , но также послужило напоминанием о масштабах последовавших разрушений, поскольку целые здания были снесены.
Системы AR используются в качестве инструментов для совместной работы при проектировании и планировании искусственной среды. Например, AR можно использовать для создания карт дополненной реальности, зданий и каналов данных, проецируемых на столы для совместного просмотра специалистами по искусственной среде. [107] Наружная AR обещает, что проекты и планы могут быть наложены на реальный мир, переопределяя сферу компетенции этих профессий и внедряя проектирование на месте в их процесс. Варианты дизайна могут быть сформулированы на месте и кажутся более близкими к реальности, чем традиционные настольные механизмы, такие как 2D-карты и 3D-модели.
Концепция «умного города» также использует системы ИКТ, включая дополненную реальность, для предоставления информации гражданам, повышения операционной эффективности и, в конечном итоге, улучшения качества государственных услуг. [108] Некоторые городские застройщики начали принимать меры по установке интеллектуальных систем для сбора мусора, мониторинга общественной безопасности с помощью технологий мониторинга AR и улучшения туризма с помощью интерактивных технологий. [108]
В образовательных учреждениях AR используется в качестве дополнения к стандартной учебной программе. Текст, графика, видео и аудио могут быть наложены на среду реального времени, в которой обучается студент. Учебники, карточки и другие учебные материалы для чтения могут содержать встроенные «маркеры» или триггеры, которые при сканировании устройством AR предоставляют учащемуся дополнительную информацию, представленную в мультимедийном формате. [109] [110] [111] На 7-й Международной конференции «Виртуальная, дополненная и смешанная реальность» 2015 года Google Glass упоминались как пример дополненной реальности, которая может заменить физический класс. [112] Во-первых, технологии AR помогают учащимся участвовать в аутентичном исследовании реального мира, а виртуальные объекты, такие как тексты, видео и изображения, являются дополнительными элементами, позволяющими учащимся проводить исследования реального мира. [113]
По мере развития AR учащиеся могут участвовать в интерактивном режиме и более достоверно взаимодействовать со знаниями. Вместо того, чтобы оставаться пассивными получателями, учащиеся могут стать активными учениками, способными взаимодействовать со своей учебной средой. Компьютерное моделирование исторических событий позволяет учащимся исследовать и изучать детали каждой значимой области места событий. [114]
В сфере высшего образования Construct3D, система Studierstube, позволяет студентам изучать концепции машиностроения, математику или геометрию. [115] Приложения дополненной реальности по химии позволяют учащимся визуализировать пространственную структуру молекулы и взаимодействовать с ней с помощью маркерного объекта, который они держат в руке. [116] Другие использовали бесплатное приложение HP Reveal для создания карточек дополненной реальности для изучения механизмов органической химии или для создания виртуальных демонстраций использования лабораторных приборов. [117] Студенты-анатомы могут визуализировать различные системы человеческого тела в трех измерениях. [118] Было показано, что использование AR в качестве инструмента для изучения анатомических структур увеличивает знания учащихся и обеспечивает существенные преимущества, такие как повышение вовлеченности и погружения учащихся. [119] [120]
AR используется для замены бумажных руководств цифровыми инструкциями, которые накладываются в поле зрения оператора производства, что снижает умственные усилия, необходимые для работы. [121] AR делает обслуживание машин эффективным, поскольку дает операторам прямой доступ к истории обслуживания машин. [122] Виртуальные руководства помогают производителям адаптироваться к быстро меняющимся конструкциям продукции, поскольку цифровые инструкции легче редактировать и распространять по сравнению с физическими руководствами. [121]
Цифровые инструкции повышают безопасность оператора, устраняя необходимость смотреть на экран или руководство вдали от рабочей зоны, что может быть опасно. Вместо этого инструкции накладываются на рабочую область. [123] [124] Использование AR может повысить чувство безопасности операторов при работе рядом с промышленным оборудованием с высокой нагрузкой, предоставляя операторам дополнительную информацию о состоянии машины и функциях безопасности, а также об опасных зонах рабочего пространства. [123] [125]
AR используется для интеграции печатного и видеомаркетинга. Печатные маркетинговые материалы могут быть разработаны с использованием определенных «триггерных» изображений, которые при сканировании устройством с поддержкой AR с использованием распознавания изображений активируют видеоверсию рекламного материала. Основное различие между дополненной реальностью и простым распознаванием изображений заключается в том, что на экране просмотра можно одновременно накладывать несколько медиафайлов, таких как кнопки «Поделиться» в социальных сетях, внутристраничное видео, даже аудио и 3D-объекты. Традиционные печатные издания используют дополненную реальность для объединения различных типов медиа. [126] [127] [128] [129] [130]
AR может улучшить предварительный просмотр продукта, например, позволяя покупателю увидеть, что находится внутри упаковки продукта, не открывая ее. [131] AR также можно использовать в качестве помощи при выборе товаров из каталога или через киоск. Отсканированные изображения продуктов могут активировать просмотр дополнительного контента, такого как параметры настройки и дополнительные изображения продукта при его использовании. [132]
К 2010 году для электронной коммерции были разработаны виртуальные гардеробные. [133]
В 2012 году монетный двор использовал технологии дополненной реальности для продажи памятной монеты Арубы. Сама монета использовалась в качестве триггера AR, и, когда ее держали перед устройством с поддержкой AR, она открывала дополнительные объекты и слои информации, которые не были видны без устройства. [134] [135]
В 2018 году Apple объявила о поддержке файлов USDZ AR для iPhone и iPad с iOS12. Apple создала галерею AR QuickLook, которая позволяет массам людей испытать дополненную реальность на своем собственном устройстве Apple. [136]
В 2018 году канадская компания электронной коммерции Shopify объявила об интеграции AR Quick Look. Их продавцы смогут загружать 3D-модели своих продуктов, а их пользователи смогут нажимать на модели в браузере Safari на своих устройствах iOS, чтобы просматривать их в реальной среде. [137]
В 2018 году Twinkl выпустила бесплатное классное приложение AR. Учащиеся смогут увидеть, как выглядел Йорк более 1900 лет назад. [138] Twinkl выпустила первую в истории многопользовательскую AR-игру Little Red [139] и имеет более 100 бесплатных образовательных AR-моделей. [140]
Дополненная реальность все чаще используется для онлайн-рекламы. Ритейлеры предлагают возможность загрузить картинку на свой сайт и «примерить» различную одежду, наложенную на картинку. Более того, такие компании, как Bodymetrics, устанавливают в универмагах кабинки для переодевания, которые предлагают сканирование всего тела . Эти стенды отображают трехмерную модель пользователя, позволяя потребителям просматривать на себе различные наряды без необходимости физического переодевания. [141] Например, JC Penney и Bloomingdale используют « виртуальные примерочные », которые позволяют покупателям видеть себя в одежде, не примеряя ее. [142] Еще один магазин, использующий дополненную реальность для продажи одежды своим покупателям, — это Neiman Marcus . [143] Neiman Marcus предлагает потребителям возможность видеть свою одежду на 360 градусов с помощью «зеркал памяти». [143] В магазинах косметики, таких как L'Oreal , Sephora , Charlotte Tilbury и Rimmel , также есть приложения, использующие дополненную реальность. [144] Эти приложения позволяют потребителям увидеть, как на них будет смотреться макияж. [144] По словам Грега Джонса, директора по дополненной и виртуальной реальности в Google, дополненная реальность «воссоединит физическую и цифровую розничную торговлю». [144]
Технологию AR также используют такие розничные торговцы мебелью, как IKEA , Houzz и Wayfair . [144] [142] Эти розничные продавцы предлагают приложения, которые позволяют потребителям просматривать их товары у себя дома, прежде чем что-либо покупать. [144] В 2017 году Ikea анонсировала приложение Ikea Place. Он содержит каталог из более чем 2000 продуктов — почти полную коллекцию диванов, кресел, журнальных столиков и шкафов компании, которые можно разместить в любом месте комнаты со своим телефоном. [145] Приложение позволило разместить 3D-модели мебели в реальном масштабе в жилом пространстве клиента. В ИКЕА поняли, что их покупатели больше не делают покупки в магазинах так часто и не совершают прямые покупки. [146] [147] Приобретение Shopify Primer, AR- приложения, направлено на то, чтобы подтолкнуть мелких и средних продавцов к интерактивным покупкам в AR с простой в использовании интеграцией AR и пользовательским интерфейсом как для продавцов, так и для потребителей. [148] AR помогает розничной торговле снизить эксплуатационные расходы. Продавцы загружают информацию о товарах в систему AR, а потребители могут использовать мобильные терминалы для поиска и создания 3D-карт. [149]
Первое описание дополненной реальности в том виде, в котором она известна сегодня , было в романе Уильяма Гибсона « Виртуальный свет» 1994 года. В 2011 году AR была смешана с поэзией Ника из Sekai Camera в Токио, Япония. Проза этих стихотворений в дополненной реальности взята из книги Пола Целана « Die Niemandsrose» , выражающей последствия землетрясения и цунами Тохоку 2011 года . [150]
AR, применяемая в изобразительном искусстве, позволяет объектам или местам вызывать художественные многомерные переживания и интерпретации реальности.
Австралийский художник новых медиа Джеффри Шоу впервые применил дополненную реальность в трех произведениях: « Точка зрения» в 1975 году, «Виртуальные скульптуры» в 1987 году и «Золотой теленок» в 1993 году . [152] [153] Он продолжает исследовать новые варианты дополненной реальности в многочисленных недавних работах.
Дополненная реальность может способствовать развитию визуального искусства в музеях, позволяя посетителям музеев просматривать произведения искусства в галереях в многомерном виде через экраны своих телефонов. [154] Музей современного искусства в Нью-Йорке организовал в своем художественном музее выставку, демонстрирующую функции дополненной реальности, которые зрители могут увидеть с помощью приложения на своем смартфоне. [155] Музей разработал собственное приложение под названием MoMAR Gallery, которое гости музея могут скачать и использовать в специализированной галерее дополненной реальности, чтобы по-новому взглянуть на картины музея. [156] Это позволяет людям видеть скрытые аспекты и информацию о картинах, а также иметь возможность получить интерактивный технологический опыт работы с произведениями искусства.
Технология дополненной реальности также использовалась в картинах Нэнси Бейкер Кэхилл «Граница погрешности» и «Революции» [157] — двух произведениях паблик-арта, которые она создала для выставки Desert X 2019 года . [158]
Технология AR способствовала разработке технологии отслеживания движений глаз , позволяющей переводить движения глаз человека с ограниченными возможностями в рисунки на экране. [159]
Технология AR также может использоваться для размещения объектов в среде пользователя. Датский художник Олафур Элиассон помещает в среду пользователя такие объекты, как горящие солнца, внеземные камни и редкие животные. [160] Мартин и Муньос начали использовать технологию дополненной реальности (AR) в 2020 году для создания и размещения виртуальных работ на основе своих снежных шаров на своих выставках и в среде пользователей. Их первая AR-работа была представлена в Институте Сервантеса в Нью-Йорке в начале 2022 года. [161]
Аппаратное и программное обеспечение дополненной реальности для использования в фитнесе включает в себя « умные» очки , предназначенные для езды на велосипеде и бега, с аналитикой производительности и навигацией по карте, проецируемой в поле зрения пользователя [162] , а также бокс, боевые искусства и теннис, где пользователи сохраняют осведомленность о своем физическом состоянии. окружающая среда для безопасности. [163] Игры и программное обеспечение, связанные с фитнесом, включают Pokémon Go и Jurassic World Alive . [164]
Взаимодействие человека и компьютера (HCI) — это междисциплинарная область вычислений, которая занимается проектированием и реализацией систем, взаимодействующих с людьми. Исследователи HCI представляют ряд дисциплин, включая информатику, инженерию, дизайн, человеческий фактор и социальные науки, с общей целью решать проблемы проектирования и использования технологий, чтобы их можно было использовать более легко и эффективно. эффективно, безопасно и с удовлетворением. [165]
Дети начальной школы легко учатся на интерактивном опыте. Например, астрономические созвездия и движения объектов в Солнечной системе были ориентированы в 3D и наложены в направлении, в котором держалось устройство, а также дополнены дополнительной видеоинформацией. Иллюстрации научных книг на бумаге могут ожить в виде видео, не требуя от ребенка перехода к веб-материалам.
В 2013 году на Kickstarter был запущен проект по обучению электронике с помощью развивающей игрушки, которая позволяла детям сканировать свою схему с помощью iPad и видеть протекающий вокруг электрический ток. [166] Хотя к 2016 году для AR были доступны некоторые образовательные приложения, они не получили широкого распространения. Приложения, использующие дополненную реальность для облегчения обучения, включают SkyView для изучения астрономии, [167] AR Circuits для построения простых электрических цепей, [168] и SketchAr для рисования. [169]
AR также станет для родителей и учителей способом достижения своих целей в области современного образования, что может включать обеспечение более индивидуализированного и гибкого обучения, установление более тесных связей между тем, чему учат в школе, и реальным миром, а также помощь учащимся в более активном вовлечении в учебу. их собственное обучение.
Системы дополненной реальности используются в ситуациях общественной безопасности , от суперураганов до подозреваемых на свободе.
Еще в 2009 году в двух статьях журнала Emergency Management обсуждалась технология дополненной реальности для управления чрезвычайными ситуациями. Первым была книга Джеральда Бэрона «Дополненная реальность — новые технологии управления чрезвычайными ситуациями». [170] По словам Адама Кроу: «Такие технологии, как дополненная реальность (например, Google Glass) и растущие ожидания общественности будут и дальше вынуждать профессиональных менеджеров по чрезвычайным ситуациям радикально менять, когда, где и как технологии развертываются до, во время, и после катастроф». [171]
Еще одним ранним примером был поисковый самолет, искавший потерявшегося путешественника в пересеченной горной местности. Системы дополненной реальности предоставили операторам аэрофотосъемки географическую осведомленность о названиях и местоположениях лесных дорог в сочетании с видео с камеры. Оператор камеры мог лучше найти путешественника, зная географический контекст изображения камеры. После обнаружения оператор мог более эффективно направлять спасателей к местонахождению туриста, поскольку географическое положение и ориентиры были четко обозначены. [172]
AR можно использовать для облегчения социального взаимодействия. Социальная сеть дополненной реальности под названием Talk2Me позволяет людям распространять информацию и просматривать рекламируемую информацию других людей в режиме дополненной реальности. Функции своевременного и динамичного обмена информацией и просмотра Talk2Me помогают инициировать разговоры и заводить друзей среди пользователей с людьми, находящимися в физической близости. [173] Однако использование AR-гарнитуры может ухудшить качество взаимодействия между двумя людьми, если один из них ее не носит, если гарнитура отвлекает внимание. [174]
Дополненная реальность также дает пользователям возможность практиковать различные формы социального взаимодействия с другими людьми в безопасной и безопасной среде. Ханнес Кауфман, доцент кафедры виртуальной реальности Венского технического университета, говорит: «В совместной дополненной реальности несколько пользователей могут получить доступ к общему пространству, населенному виртуальными объектами, оставаясь при этом привязанными к реальному миру. Этот метод особенно эффективен в образовательных целях, когда пользователи совмещены и могут использовать естественные средства общения (речь, жесты и т. д.), но также могут успешно сочетаться с иммерсивной виртуальной реальностью или удаленным сотрудничеством». [ Эта цитата нуждается в цитировании ] Ханнес называет образование потенциальным вариантом использования этой технологии.
Игровая индустрия внедрила технологию AR. Для подготовленных помещений был разработан ряд игр, таких как аэрохоккей с дополненной реальностью, « Космические титаны» , совместные бои с виртуальными врагами и бильярдные игры с улучшенной дополненной реальностью. [175] [176] [177]
В 2010 году Ogmento стал первым игровым стартапом AR, получившим венчурное финансирование. Компания продолжала выпускать ранние AR-игры с определением местоположения для таких игр, как Paranormal Activity: Sanctuary, NBA: King of the Court и Halo: King of the Hill. Технология компьютерного зрения компании в конечном итоге была переупакована и продана Apple, что стало важным вкладом в ARKit. [178]
Дополненная реальность позволила игрокам видеоигр испытать цифровые игры в реальной среде. Niantic выпустила мобильную игру с дополненной реальностью Pokémon Go . [179] Disney в партнерстве с Lenovo создала игру дополненной реальности Star Wars : Jedi Challenges , которая работает с гарнитурой Lenovo Mirage AR, датчиком слежения и контроллером светового меча , запуск которой запланирован на декабрь 2017 года. [180]
Игры дополненной реальности (ARG) также используются для продвижения развлекательных фильмов и телевидения. 16 марта 2011 года BitTorrent продвигал открытую лицензионную версию художественного фильма «Зенит» в США. Пользователям, загрузившим клиентское программное обеспечение BitTorrent, также было предложено загрузить и поделиться первой из трех частей фильма. 4 мая 2011 года вторая часть фильма была доступна на VODO . Эпизодический выпуск фильма, дополненный трансмедийной маркетинговой кампанией ARG, создал вирусный эффект, и фильм скачали более миллиона пользователей. [181] [182] [183] [184]
AR позволяет промышленным дизайнерам испытать дизайн и работу продукта еще до его завершения. Volkswagen использовал дополненную реальность для сравнения расчетных и фактических изображений краш-тестов. [185] AR использовалась для визуализации и изменения конструкции кузова автомобиля и компоновки двигателя. Его также использовали для сравнения цифровых макетов с физическими макетами, чтобы найти различия между ними. [186] [187]
Одним из первых применений дополненной реальности было здравоохранение, в частности, для поддержки планирования, практики и обучения хирургическим процедурам. Еще в 1992 году повышение работоспособности человека во время операции было официально заявленной целью при создании первых систем дополненной реальности в лабораториях ВВС США. [3] С 2005 года для обнаружения вен используется устройство, называемое прибором для поиска вен ближнего инфракрасного диапазона , который снимает подкожные вены, обрабатывает и проецирует изображение вен на кожу. [188] [189] AR предоставляет хирургам данные мониторинга пациентов в стиле проекционного дисплея пилота-истребителя, а также позволяет получать доступ и накладывать записи изображений пациентов, включая функциональные видео. Примеры включают виртуальный рентгеновский снимок, основанный на предшествующей томографии или изображениях в реальном времени, полученных с помощью ультразвуковых и конфокальных микроскопических датчиков, [190] визуализацию положения опухоли на видео эндоскопа , [ 191] или рисков радиационного воздействия от X -устройства визуализации. [192] [193] AR может улучшить наблюдение за плодом в утробе матери . [194] Siemens, Карл Шторц и IRCAD разработали систему для лапароскопической хирургии печени, которая использует дополненную реальность для просмотра подповерхностных опухолей и сосудов. [195] AR использовалась для лечения фобии тараканов [196] и для уменьшения страха перед пауками. [197] Пациентам, носящим очки дополненной реальности, можно напоминать о необходимости приема лекарств. [198] Дополненная реальность может быть очень полезна в медицинской сфере. [199] Его можно использовать для предоставления важной информации врачу или хирургу, не отвлекая их от пациента. 30 апреля 2015 года Microsoft анонсировала Microsoft HoloLens , свою первую попытку создания дополненной реальности. HoloLens с годами усовершенствовался и способен проецировать голограммы для хирургии под визуальным контролем на основе флуоресценции ближнего инфракрасного диапазона. [200] По мере развития дополненной реальности она находит все большее применение в здравоохранении. Дополненная реальность и аналогичные компьютерные утилиты используются для обучения медицинских работников. [201] [202] В здравоохранении AR может использоваться для обеспечения руководства во время диагностических и терапевтических вмешательств, например, во время хирургического вмешательства. Маги и др., [203]например, опишите использование дополненной реальности для медицинского обучения при моделировании установки иглы под ультразвуковым контролем. Совсем недавнее исследование Акчайыра, Акчайыра, Пекташа и Очака (2016) показало, что технология дополненной реальности не только улучшает лабораторные навыки студентов университетов, но и помогает им формировать позитивное отношение к лабораторным работам по физике. [204] Недавно дополненная реальность начала применяться в нейрохирургии , области, которая требует большого количества изображений перед процедурой. [205]
Используя различные методы визуализации для обработки больших наборов данных в дополненной и виртуальной реальности , Гаутам Сивах и др. исследовали реализацию статистических методов и методов моделирования больших данных в Метавселенной , то есть с использованием алгоритмов машинного обучения и искусственного интеллекта . [206]
Приложения дополненной реальности, работающие на портативных устройствах, используемых в качестве гарнитур виртуальной реальности, также могут оцифровывать присутствие человека в космосе и предоставлять его компьютерную модель в виртуальном пространстве, где они могут взаимодействовать и выполнять различные действия. Такие возможности демонстрирует проект Anywhere, разработанный аспирантом ETH Zurich и получивший название «внетелесный опыт». [207] [208] [209]
Опираясь на десятилетия перцептивно-моторных исследований в области экспериментальной психологии, исследователи из Лаборатории авиационных исследований Университета Иллинойса в Урбане-Шампейне использовали дополненную реальность в виде траектории полета в небе, чтобы научить студентов-летчиков, как посадить самолет с помощью симулятор полета. Адаптивное дополненное расписание, при котором учащимся демонстрировалось дополнение только тогда, когда они отклонялись от траектории полета, оказалось более эффективным тренировочным вмешательством, чем постоянное расписание. [210] [211] Летчики, обученные приземляться на тренажере с адаптивной аугментацией, научились приземлять легкий самолет быстрее, чем студенты с таким же объемом подготовки к посадке на тренажере, но с постоянной аугментацией или без какой-либо аугментации. [210]
Интересное раннее применение дополненной реальности произошло, когда компания Rockwell International создала наложения видеокарт со спутниками и следами орбитального мусора для помощи в космических наблюдениях с помощью оптической системы ВВС Мауи. В своей статье 1993 года «Корреляция мусора с использованием системы Rockwell WorldView» авторы описывают использование наложений карт, применяемых к видео с телескопов космического наблюдения. На наложениях карт обозначены траектории движения различных объектов в географических координатах. Это позволило операторам телескопов идентифицировать спутники, а также идентифицировать и каталогизировать потенциально опасный космический мусор. [212]
Начиная с 2003 года армия США интегрировала систему дополненной реальности SmartCam3D в беспилотную авиационную систему Shadow, чтобы помочь операторам датчиков, использующим телескопические камеры, определять местонахождение людей или достопримечательностей. Система объединяла фиксированную географическую информацию, включая названия улиц, достопримечательности, аэропорты и железные дороги, с видео в реальном времени с системы камер. Система предлагала режим «картинка в картинке», который позволяет отображать синтетическое изображение области, окружающей поле зрения камеры. Это помогает решить проблему, в которой поле зрения настолько узко, что исключает важный контекст, как будто «смотришь через трубочку для газировки». Система отображает в реальном времени маркеры местоположения «свой/чужой/нейтральный» в сочетании с видео в реальном времени, предоставляя оператору улучшенную ситуационную осведомленность.
Исследователи из исследовательской лаборатории ВВС США (Калхун, Дрейпер и др.) обнаружили примерно двукратное увеличение скорости, с которой операторы датчиков БПЛА находили интересные места с помощью этой технологии. [213] Эта способность сохранять географическую осведомленность количественно повышает эффективность миссии. Система используется на беспилотных авиационных системах RQ-7 Shadow и MQ-1C Grey Eagle армии США.
В бою AR может служить сетевой системой связи, которая передает полезные данные боя на очки солдата в режиме реального времени. С точки зрения солдата люди и различные объекты могут быть помечены специальными индикаторами, предупреждающими о потенциальной опасности. Виртуальные карты и изображения с камеры обзора 360° также могут быть визуализированы, чтобы помочь солдату ориентироваться и смотреть на поле боя, и это может быть передано военачальникам в удаленный командный центр. [214] Комбинация камер кругового обзора и дополненной реальности может использоваться на борту боевых машин и танков в качестве системы кругового обзора .
ДР может стать эффективным инструментом виртуального картографирования 3D-топологий хранилищ боеприпасов на местности, с выбором комбинации боеприпасов в штабелях и расстояний между ними с визуализацией зон риска. [215] [ ненадежный источник? ] В сферу применения AR также входит визуализация данных со встроенных датчиков мониторинга боеприпасов. [215]
НАСА X-38 управлялось с использованием гибридной системы синтетического зрения, которая накладывала картографические данные на видео, чтобы обеспечить улучшенную навигацию космического корабля во время летных испытаний с 1998 по 2002 год. В нем использовалось программное обеспечение LandForm, которое было полезно в периоды ограниченной видимости, включая Например, когда окно видеокамеры замерзло, и астронавтам пришлось полагаться на наложения карты. [216] Программное обеспечение LandForm также прошло испытания на армейском полигоне Юма в 1999 году. На фотографии справа можно увидеть маркеры на карте, обозначающие взлетно-посадочные полосы, диспетчерскую вышку, рулежные дорожки и ангары, наложенные на видео. [217]
AR может повысить эффективность навигационных устройств. Информация может отображаться на лобовом стекле автомобиля с указанием направления и счетчика пункта назначения, погоды, местности, дорожных условий и информации о дорожном движении, а также предупреждений о потенциальных опасностях на пути. [218] [219] [220] С 2012 года швейцарская компания WayRay разрабатывает голографические навигационные системы дополненной реальности, в которых используются голографические оптические элементы для проецирования всей информации, связанной с маршрутом, включая направления, важные уведомления и достопримечательности, прямо на экран. в прямой видимости водителя и далеко впереди автомобиля. [221] [222] На борту морских судов AR может позволить вахтенным на мостике постоянно отслеживать важную информацию, такую как курс и скорость судна, во время движения по мостику или выполнения других задач. [223]
Дополненная реальность может оказать положительное влияние на рабочее сотрудничество, поскольку люди могут быть склонны более активно взаимодействовать со своей учебной средой. Это также может способствовать обновлению неявных знаний, что делает фирмы более конкурентоспособными. AR использовалась для облегчения сотрудничества между распределенными членами команды посредством конференций с местными и виртуальными участниками. Задачи AR включали мозговые штурмы и дискуссионные встречи с использованием общей визуализации с помощью столов с сенсорными экранами, интерактивных цифровых досок, общих пространств проектирования и распределенных диспетчерских. [224] [225] [226]
В промышленных средах дополненная реальность оказывает существенное влияние: появляется все больше и больше вариантов использования во всех аспектах жизненного цикла продукта, начиная от проектирования продукта и внедрения нового продукта (NPI) до производства, обслуживания и ремонта, обработки материалов и распределение. Например, на частях системы размещались этикетки, поясняющие инструкции по эксплуатации для механика, выполняющего техническое обслуживание системы. [227] [228] Использование дополненной реальности принесло пользу сборочным линиям. Помимо Boeing, BMW и Volkswagen были известны тем, что внедрили эту технологию в сборочные линии для мониторинга усовершенствований процессов. [229] [230] [231] Большие машины сложно обслуживать из-за их многослойности или структуры. AR позволяет людям смотреть сквозь машину, как через рентген, сразу указывая на проблему. [232]
По мере развития технологии AR и выхода на рынок AR-устройств второго и третьего поколений влияние AR на предприятия продолжает расти. В Harvard Business Review Магид Абрахам и Марко Аннунциата обсуждают, как устройства AR теперь используются для «повышения производительности работников при выполнении множества задач с первого раза, даже без предварительного обучения». [233] Они утверждают, что «эти технологии повышают производительность, делая работников более квалифицированными и эффективными, и, таким образом, имеют потенциал для обеспечения как большего экономического роста, так и лучших рабочих мест». [233]
Визуализации погоды были первым применением дополненной реальности на телевидении. В настоящее время при прогнозировании погоды стало обычным явлением отображение полноценных видеоизображений, снятых в реальном времени с нескольких камер и других устройств обработки изображений. В сочетании с трехмерными графическими символами и сопоставлением с общей виртуальной геопространственной моделью эти анимированные визуализации представляют собой первое настоящее применение AR на телевидении.
AR стала обычным явлением в спортивном телевещании. Спортивные и развлекательные объекты оснащены прозрачными и наложенными изображениями с помощью отслеживаемых камер для улучшения просмотра зрителями. Примеры включают желтую линию « первого дауна », которую можно увидеть в телевизионных трансляциях игр по американскому футболу, показывающую линию, которую нападающая команда должна пересечь, чтобы получить первый даун. AR также используется в связи с футболом и другими спортивными мероприятиями для показа коммерческой рекламы, наложенной на вид на игровую площадку. На участках полей для регби и полей для крикета также представлены спонсорские изображения. В телепередачах по плаванию часто добавляются линии, пересекающие дорожки, чтобы указать положение текущего рекордсмена по ходу забега, чтобы позволить зрителям сравнить текущий забег с лучшим результатом. Другие примеры включают отслеживание хоккейных шайб и аннотации характеристик гоночных автомобилей [234] и траекторий мяча для снукера. [78] [235]
AR использовалась для улучшения концертных и театральных представлений. Например, артисты позволяют слушателям расширить свои впечатления от прослушивания, добавив свое исполнение к выступлениям других групп/групп пользователей. [236] [237] [238]
Путешественники могут использовать AR для доступа к информационным дисплеям в реальном времени о местоположении, его особенностях, а также комментариям или контенту, предоставленным предыдущими посетителями. Расширенные приложения AR включают моделирование исторических событий, мест и объектов, визуализированных в ландшафте. [239] [240] [241]
Приложения AR, связанные с географическими местоположениями, представляют информацию о местоположении в виде звука, объявляя об интересующих вас особенностях на конкретном сайте, когда они становятся видимыми пользователю. [242] [243] [244]
Системы дополненной реальности, такие как Word Lens, могут интерпретировать иностранный текст на знаках и меню и в расширенном представлении пользователя повторно отображать текст на языке пользователя. Произнесенные слова на иностранном языке могут быть переведены и отображены пользователю в виде печатных субтитров. [245] [246] [247]
Было высказано предположение, что дополненная реальность может быть использована в новых методах создания музыки , микширования , управления и визуализации . [248] [249] [250] [251]
Был концептуализирован инструмент для создания 3D-музыки в клубах, который, помимо штатных функций микширования звука, позволяет диджею воспроизводить десятки звуковых сэмплов , размещенных в любой точке 3D-пространства. [252]
Команды музыкального колледжа Лидса разработали приложение AR, которое можно использовать с пультами Audient и которое позволяет студентам использовать свой смартфон или планшет для размещения слоев информации или интерактивности поверх микшерного пульта Audient. [253]
ARmony — это пакет программного обеспечения, который использует дополненную реальность, чтобы помочь людям освоить инструмент. [254]
В рамках экспериментального проекта Ян Стерлинг, студент Калифорнийского колледжа искусств, занимающийся интерактивным дизайном , и инженер-программист Сваруп Пал продемонстрировали приложение HoloLens, основной целью которого является предоставление трехмерного пространственного пользовательского интерфейса для кроссплатформенных устройств — Android Music. Приложение Player и вентилятор и свет, управляемые Arduino, а также позволяют взаимодействовать с помощью управления взглядом и жестами. [255] [256] [257] [258]
AR Mixer — это приложение, которое позволяет выбирать и микшировать песни, манипулируя объектами, например меняя ориентацию бутылки или банки. [259]
В видеоролике Уриэль Йехезкель демонстрирует использование контроллера Leap Motion и GECO MIDI для управления Ableton Live с помощью жестов рук и заявляет, что с помощью этого метода он смог управлять более чем 10 параметрами одновременно обеими руками и получить полный контроль над конструкцией песня, эмоции и энергия. [260] [261] [ нужен лучший источник ]
Предложен новый музыкальный инструмент, позволяющий новичкам играть электронные музыкальные композиции, интерактивно смешивая и модулируя их элементы, манипулируя простыми физическими объектами. [262]
Была предложена система, использующая явные жесты и неявные танцевальные движения для управления визуальными дополнениями живого музыкального исполнения, которая обеспечивает более динамичные и спонтанные выступления и - в сочетании с косвенной дополненной реальностью - приводит к более интенсивному взаимодействию между артистом и публикой. [263]
Исследования членов CRIStAL в Университете Лилля используют дополненную реальность для улучшения музыкального исполнения. Проект ControllAR позволяет музыкантам дополнять свои поверхности управления MIDI обновленными графическими пользовательскими интерфейсами музыкального программного обеспечения . [264] Проект Rouages предлагает усовершенствовать цифровые музыкальные инструменты , чтобы раскрыть их механизмы публике и тем самым улучшить воспринимаемую живость. [265] Reflets — это новый дисплей дополненной реальности, посвященный музыкальным выступлениям, где зрители действуют как 3D-дисплей, показывая виртуальный контент на сцене, который также можно использовать для музыкального 3D-взаимодействия и совместной работы. [266]
Пользователи Snapchat имеют доступ к дополненной реальности в приложении для обмена мгновенными сообщениями благодаря использованию фильтров камеры. В сентябре 2017 года Snapchat обновил свое приложение, включив в него фильтр камеры, который позволял пользователям отображать анимированную мультяшную версию самих себя под названием « Bitmoji ». Эти анимированные аватары будут проецироваться в реальном мире через камеру, их можно будет фотографировать или записывать на видео. [267] В том же месяце Snapchat также анонсировала новую функцию под названием «Небесные фильтры», которая будет доступна в ее приложении. Эта новая функция использует дополненную реальность для изменения внешнего вида снимка неба, подобно тому, как пользователи могут применять фильтры приложения к другим изображениям. Пользователи могут выбирать фильтры неба, такие как звездная ночь, грозовые облака, красивые закаты и радуга. [268]
В статье под названием «Смерть от Pokémon GO» исследователи из Школы менеджмента Кранерта Университета Пердью утверждают, что игра вызвала «непропорциональное увеличение количества дорожно-транспортных происшествий и связанных с ними повреждений транспортных средств, телесных повреждений и смертельных случаев в окрестностях мест, называемых PokéStops». , где пользователи могут играть в игру во время вождения». [269] Используя данные одного муниципалитета, статья экстраполирует то, что это может означать по всей стране, и приходит к выводу, что «увеличение количества аварий, связанных с внедрением Pokémon GO, составило 145 632 с соответствующим увеличением количества травм на 29 370 и соответствующим увеличением количества Число погибших составило 256 за период с 6 июля 2016 года по 30 ноября 2016 года». Авторы экстраполировали стоимость этих аварий и человеческих жертв на сумму от 2 до 7,3 миллиардов долларов за тот же период. Более того, более чем один из трех опрошенных продвинутых пользователей Интернета хотел бы удалить тревожные элементы вокруг себя, такие как мусор или граффити. [270] Они хотели бы даже изменить свое окружение, стирая уличные знаки, рекламные щиты и неинтересные витрины магазинов. Таким образом, кажется, что AR представляет собой не только угрозу для компаний, но и возможность. Хотя это может стать кошмаром для многих брендов, которым не удается завоевать воображение потребителей, но также создает риск того, что владельцы очков дополненной реальности могут перестать подозревать об окружающих опасностях. Потребители хотят использовать очки дополненной реальности, чтобы изменить свое окружение во что-то, отражающее их личное мнение. Примерно двое из пяти хотят изменить то, как выглядит их окружение и даже то, как им кажутся люди. [ нужна цитата ]
Далее, помимо возможных проблем конфиденциальности, которые описаны ниже, наибольшую опасность AR представляют проблемы перегрузки и чрезмерной надежности. При разработке новых продуктов, связанных с дополненной реальностью, это означает, что пользовательский интерфейс должен следовать определенным рекомендациям, чтобы не перегружать пользователя информацией, а также не позволять пользователю чрезмерно полагаться на систему дополненной реальности, чтобы важные сигналы из окружающей среды не учитывались. пропущенный. [16] Это называется виртуально-дополненным ключом. [16] Как только ключ будет проигнорирован, люди могут больше не желать реального мира.
Концепция современной дополненной реальности зависит от способности устройства записывать и анализировать окружающую среду в режиме реального времени. Из-за этого существуют потенциальные юридические проблемы по поводу конфиденциальности. Хотя Первая поправка к Конституции США разрешает такую запись во имя общественных интересов, постоянная запись устройства AR затрудняет это без записи за пределами общественного достояния. Юридические сложности могут возникнуть в тех областях, где ожидается право на определенную степень конфиденциальности или где отображаются медиафайлы, защищенные авторским правом.
Что касается личной жизни, существует простота доступа к информации о конкретном человеке, которой не следует располагать. Это достигается за счет технологии распознавания лиц. Если предположить, что AR автоматически передает информацию о людях, которых видит пользователь, можно увидеть что угодно из социальных сетей, судимости и семейного положения. [271]
Кодекс этики аугментации человека, который первоначально был представлен Стивом Манном в 2004 году и доработан Рэем Курцвейлом и Марвином Мински в 2013 году, в конечном итоге был ратифицирован на конференции виртуальной реальности в Торонто 25 июня 2017 года. [272] [273] [ 274] [275]
Взаимодействие дополненной реальности, привязанной к местоположению, с законодательством о собственности в значительной степени не определено. [276] [277] Было проанализировано несколько моделей того, как это взаимодействие может быть разрешено в контексте общего права : расширение прав на недвижимость , включив в него также пристройки на территории или рядом с собственностью с сильным понятием вторжения , запрет на увеличение, если это не разрешено. владельцем; система « открытого диапазона », где улучшения разрешены, если не запрещено владельцем; и система « свободы передвижения », при которой владельцы недвижимости не имеют контроля над неразрушающими расширениями. [278]
Одна из проблем, возникших во время увлечения Pokémon Go, заключалась в том, что игроки беспокоили владельцев частной собственности во время посещения близлежащих дополнений, привязанных к локации, которые могли находиться на объектах или объекты могли находиться в пути . Условия обслуживания Pokémon Go прямо отказываются от ответственности за действия игроков, что может ограничить (но не полностью аннулировать) ответственность ее производителя, компании Niantic , в случае нарушения игроком границ во время игры: по аргументации Niantic, Игрок является тем, кто совершает нарушение владения, в то время как Niantic просто соблюдает допустимую свободу слова . Теория, выдвинутая в судебных процессах против Niantic, заключается в том, что размещение ими игровых элементов в местах, которые могут привести к вторжению на территорию или к исключительно большому потоку посетителей, может представлять собой неудобство , несмотря на то, что каждое отдельное нарушение или посещение лишь незначительно вызвано действиями Niantic. [279] [280] [281]
Еще один иск, выдвинутый против Niantic, заключается в том, что размещение прибыльных игровых элементов на земле без разрешения владельцев земли является неосновательным обогащением . [282] Более гипотетически, собственность может быть дополнена рекламой или неприятным контентом вопреки желанию ее владельца. [283] Согласно американскому законодательству, такие ситуации вряд ли будут рассматриваться судами как нарушение прав на недвижимость без расширения этих прав за счет включения дополненной реальности (аналогично тому, как английское общее право стало признавать права на воздух ). [282]
В статье, опубликованной в Michigan Telecommunication and Technology Law Review, утверждается, что существует три основания для такого расширения, начиная с различного понимания собственности. Утверждается , что личностная теория собственности, изложенная Маргарет Радин , поддерживает расширение прав собственности из-за тесной связи между личностью и владением собственностью; однако ее точка зрения не всегда разделяется теоретиками права. [284] В соответствии с утилитарной теорией собственности , выгоды от предотвращения вреда владельцам недвижимости, вызванного приумножением и трагедией общего достояния , а также снижение трансакционных издержек за счет упрощения установления права собственности оценивались как оправдание признания недвижимости. Права охватывают расширение, привязанное к местоположению, хотя остается вероятность трагедии антиобщин из-за необходимости вести переговоры с владельцами собственности, замедляющими инновации. [285] Наконец, в соответствии с идентификацией «свойство как закон вещей», поддержанной Томасом Мерриллом и Генри Э. Смитом, пространственная аугментация естественным образом идентифицируется как «вещь», и, хотя неконкурентная и эфемерная природа цифровые объекты представляют трудности с точки зрения исключаемости определения, в статье утверждается, что это не является непреодолимым. [286]
Некоторые попытки законодательного регулирования были предприняты в США . Округ Милуоки, штат Висконсин, пытался регулировать игры с дополненной реальностью, проводимые в его парках, требуя предварительной выдачи разрешения, [287] но это подверглось критике со стороны федерального судьи по причине свободы слова ; [288] и Иллинойс рассматривали возможность введения обязательного уведомления и процедуры удаления дополнений, привязанных к местоположению. [289]
В статье для Iowa Law Review отмечалось, что многие местные процессы получения разрешений будут трудными для крупномасштабной службы, [290] и, хотя предложенный механизм Иллинойса можно было сделать работоспособным, [291] он носил реактивный характер и требовал от владельцев собственности потенциально постоянно иметь дело с новыми услугами дополненной реальности; вместо этого в качестве наиболее желательной формы регулирования для эффективного баланса интересов как поставщиков услуг дополненной реальности, так и владельцев недвижимости был предложен реестр геозон на национальном уровне , аналогичный списку запрещенных вызовов . [292] Однако статья в журнале Vanderbilt Journal of Entertainment and Technology Law анализирует монолитный реестр «не находить местонахождение» как недостаточно гибкий инструмент, который либо допускает нежелательные дополнения, либо исключает полезные приложения дополненной реальности. [293] Вместо этого он утверждает, что модель «открытого диапазона», в которой расширения разрешены по умолчанию, но владельцы собственности могут ограничивать их в каждом конкретном случае (и при этом несоблюдение требований рассматривается как форма посягательства), приведет к социально-лучший результат. [294]
{{cite web}}: CS1 maint: числовые имена: список авторов ( ссылка )расширенная версия реальности, созданная с использованием технологии наложения цифровой информации на изображение чего-либо, просматриваемого через устройство (например, камеру смартфона), а также: технология, используемая для создания дополненной реальности
Технология, которая накладывает изображение, созданное компьютером, на представление пользователя о реальном мире, создавая таким образом составное представление.
{{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка ){{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка ){{cite journal}}: Требуется цитировать журнал |journal=( помощь )
СМИ, связанные с дополненной реальностью, на Викискладе?