Смешанная реальность ( MR ) — это термин, используемый для описания слияния реальной среды и среды, созданной компьютером. Физические и виртуальные объекты могут сосуществовать в средах смешанной реальности и взаимодействовать в реальном времени.
Смешанную реальность, включающую тактильные ощущения, иногда называют визуально-гаптической смешанной реальностью. [1] [2]
В контексте физики термин «система интерреальности» относится к системе виртуальной реальности в сочетании с ее аналогом из реального мира. [3] В статье 2007 года описывается система межреальности, состоящая из реального физического маятника, соединенного с маятником, который существует только в виртуальной реальности. [4] Эта система имеет два стабильных состояния движения: состояние «двойной реальности», в котором движение двух маятников некоррелировано, и состояние «смешанной реальности», в котором маятники демонстрируют стабильное синхронизированное по фазе движение, что весьма коррелированы. Использование терминов «смешанная реальность» и «межреальность» четко определено в контексте физики и может немного отличаться в других областях, однако обычно это рассматривается как «соединяющее физический и виртуальный мир». [5]
Смешанная реальность используется в приложениях в различных областях, включая дизайн, образование, развлечения, военную подготовку, здравоохранение, управление контентом продуктов и управление роботами человеком.
Обучение на основе моделирования включает в себя обучение на основе VR и AR, а также интерактивное обучение на основе опыта. Существует множество потенциальных вариантов использования смешанной реальности как в образовательных учреждениях, так и в условиях профессиональной подготовки. В образовании AR используется для моделирования исторических сражений, обеспечивая учащимся беспрецедентный эффект погружения и потенциально улучшая качество обучения. [6] Кроме того, AR показала эффективность в университетском образовании для студентов-медиков и студентов-медиков в рамках дисциплин, которые извлекают пользу из трехмерных представлений моделей, таких как физиология и анатомия. [7] [8]
От телевизионных шоу до игровых консолей, смешанная реальность имеет множество применений в сфере развлечений.
Британское игровое шоу Bamzooki 2004 года призвало детей-участников создавать виртуальных «Зуков» и наблюдать, как они соревнуются в различных испытаниях. [9] В сериале использовалась смешанная реальность, чтобы оживить Зуков. Телешоу длилось четыре сезона и завершилось в 2010 году. [9]
Игровое шоу FightBox 2003 года также призывало участников создавать конкурентоспособных персонажей и использовать смешанную реальность, чтобы позволить им взаимодействовать. [10] В отличие от обычно ненасильственных соревнований Бамзуми, цель FightBox заключалась в том, чтобы новые участники создали сильнейшего бойца и выиграли соревнование. [10]
В 2009 году исследователи представили на Международном симпозиуме по смешанной и дополненной реальности ( ISMAR ) свой социальный продукт под названием «BlogWall», который представлял собой проецируемый экран на стене. [11] Пользователи могли размещать на стене короткие текстовые видеоролики или изображения и играть в простые игры, такие как понг . [11] BlogWall также имел поэтический режим, в котором полученные сообщения перестраивались в стихотворение, и режим опроса, в котором пользователи могли просить других ответить на их опросы. [11]
Mario Kart Live: Home Circuit — это гоночная игра в смешанной реальности для Nintendo Switch, выпущенная в октябре 2020 года.[16a-New] Игра позволяет игрокам использовать свой дом в качестве гоночной трассы [12] В течение первой недели после выпуска В Японии было продано 73 918 копий, что сделало ее самой продаваемой игрой недели в стране. [13]
Другое исследование изучало возможность применения смешанной реальности в театре, кино и тематических парках. [14]
Первой полностью иммерсивной системой смешанной реальности стала платформа Virtual Fixtures , разработанная в 1992 году Луи Розенбергом в лабораториях Армстронга ВВС США . [15] Это позволило пользователям-людям управлять роботами в реальных средах, которые включали реальные физические объекты и добавленные виртуальные трехмерные наложения («приспособления»), которые улучшают выполнение человеком задач манипулирования. Опубликованные исследования показали, что путем внедрения виртуальных объектов в реальный мир люди-операторы могут добиться значительного повышения производительности. [15] [16] [17]
Реальность боя можно моделировать и представлять с помощью сложных многоуровневых данных и визуальных средств, большинство из которых представляют собой головные дисплеи (HMD), которые включают любую технологию отображения, которую можно носить на голове пользователя. [18] Решения для военной подготовки часто строятся на готовых коммерческих технологиях (COTS), таких как платформа синтетической среды Improbable , Virtual Battlespace 3 и VirTra, причем две последние платформы используются армией США . По состоянию на 2018 год [обновлять]VirTra используется как гражданскими, так и военными правоохранительными органами для обучения персонала различным сценариям, включая активную стрельбу, домашнее насилие и военные остановки движения. [19] [20] Технологии смешанной реальности использовались Исследовательской лабораторией армии США для изучения того, как стресс влияет на принятие решений . Благодаря смешанной реальности исследователи могут безопасно изучать военнослужащих в ситуациях, когда солдаты вряд ли выживут. [21]
В 2017 году армия США разрабатывала Synthetic Training Environment (STE) — набор технологий для учебных целей, которые, как ожидается, будут включать смешанную реальность. По состоянию на 2018 год [обновлять]STE все еще находился в разработке без прогнозируемой даты завершения. Некоторые зарегистрированные цели STE включали повышение реализма и расширение возможностей моделирования, а также доступности STE для других систем. [22]
Утверждалось, что среды смешанной реальности, такие как STE, могут снизить затраты на обучение, [23] [24] например, за счет уменьшения количества боеприпасов , расходуемых во время обучения. [25] В 2018 году сообщалось, что STE будет включать в себя изображение любой части местности мира в учебных целях. [26] STE предложит разнообразные возможности обучения для отделений бригад и боевых групп, включая команды «Страйкер» , арсеналы и пехотные команды. [27]
Смешанное пространство — это пространство, в котором физическая и виртуальная среды намеренно тесно интегрированы. Цель дизайна смешанного пространства — дать людям возможность ощутить ощущение присутствия в смешанном пространстве, воздействуя непосредственно на содержимое смешанного пространства. [28] [29] Примеры смешанных пространств включают устройства дополненной реальности , такие как Microsoft HoloLens , и такие игры, как Pokémon Go , а также множество туристических приложений для смартфонов, умные конференц-залы и такие приложения, как системы слежения за автобусами.
Идея смешения исходит из идей концептуальной интеграции или концептуального смешения , предложенных Жилем Фоконье и Марком Тёрнером .
Мануэль Имаз и Дэвид Беньон представили теорию смешивания, чтобы рассмотреть концепции разработки программного обеспечения и взаимодействия человека и компьютера. [30]
Самая простая реализация смешанного пространства требует двух функций. Первая необходимая функция — это ввод. Ввод может варьироваться от тактильных до изменений в окружающей среде. Следующая необходимая функция — уведомления, полученные из цифровых пространств. Соответствия между физическим и цифровым пространством необходимо абстрагировать и использовать при проектировании смешанного пространства. Бесшовная интеграция обоих пространств встречается редко. Смешанным пространствам нужны опорные точки или технологии, чтобы связать пространства. [29]
Хорошо спроектированное смешанное пространство рекламирует и передает цифровой контент тонким и ненавязчивым способом. Присутствие можно измерить с помощью физиологических, поведенческих и субъективных показателей, полученных из пространства. [30]
В любом пространстве есть два основных компонента. Они есть:
Для присутствия в смешанном пространстве должно быть физическое пространство и цифровое пространство. В контексте смешанного пространства, чем выше связь между физическим и цифровым пространствами, тем богаче опыт. [28] Это общение происходит через корреспондентов, которые передают состояние и природу объектов.
При рассмотрении смешанных пространств природа и характеристики любого пространства могут быть представлены следующими факторами: Онтология – различные типы объектов представляют в пространстве общее количество объектов и отношения между объектами и пространством.
Физическое пространство . Физические пространства — это пространства, которые обеспечивают пространственное взаимодействие. [31] Этот вид пространственного взаимодействия сильно влияет на когнитивную модель пользователя. [32]
Цифровое пространство . Цифровое пространство (также называемое информационным пространством) состоит из всего информационного контента. Этот контент может быть в любой форме. [33]
Смешанная реальность позволяет удаленным командам по всему миру работать вместе и решать бизнес-задачи организации. Независимо от того, где он физически находится, сотрудник может надеть гарнитуру и наушники с шумоподавлением и войти в виртуальную среду для совместной работы с эффектом погружения. Поскольку эти приложения могут точно переводить в режиме реального времени, языковые барьеры становятся неактуальными. Этот процесс также повышает гибкость. Хотя многие работодатели по-прежнему используют негибкие модели фиксированного рабочего времени и места, есть свидетельства того, что сотрудники более продуктивны, если у них больше автономии в выборе того, где, когда и как они работают. Некоторые сотрудники предпочитают шумную рабочую среду, а другим нужна тишина. Некоторые лучше всего работают утром; другие лучше всего работают ночью. Сотрудники также получают выгоду от автономии в работе благодаря различным способам обработки информации. Классическая модель стилей обучения различает визуальных, аудиальных и кинестетических учащихся . [34]
Техническое обслуживание машин также можно выполнять с помощью смешанной реальности. Крупные компании с несколькими производственными площадками и большим количеством оборудования могут использовать смешанную реальность для обучения и инструктирования своих сотрудников. Машины нуждаются в регулярных проверках и время от времени их приходится настраивать. Эти корректировки в основном выполняются людьми, поэтому сотрудников необходимо информировать о необходимых корректировках. Используя смешанную реальность, сотрудники из разных мест могут носить гарнитуры и получать инструкции об изменениях в реальном времени. Инструкторы могут управлять изображением, которое видит каждый сотрудник, и могут перемещаться по производственной зоне, приближаясь к техническим деталям и объясняя каждое необходимое изменение. Было показано, что сотрудники, проходящие пятиминутное обучение по такой программе смешанной реальности, достигают тех же результатов обучения, что и чтение 50-страничного учебного пособия. [35] Расширением этой среды является включение живых данных от работающего оборудования в виртуальное пространство для совместной работы, а затем их связывание с трехмерными виртуальными моделями оборудования. Это позволяет обучать и выполнять рабочие процессы по техническому обслуживанию, эксплуатации и обеспечению безопасности, которые в противном случае были бы затруднительны в реальных условиях, используя при этом опыт, независимо от их физического местонахождения. [36]
Смешанную реальность можно использовать для создания макетов , сочетающих физические и цифровые элементы. Благодаря использованию одновременной локализации и картографии (SLAM) макеты могут взаимодействовать с физическим миром, чтобы получить контроль над более реалистичными сенсорными ощущениями [37] , такими как постоянство объектов , которые обычно невозможно или чрезвычайно сложно отслеживать и анализировать без использования как цифровые, так и физические помощники. [38] [39]
Умные очки могут быть встроены в операционную для облегчения хирургических процедур; возможно удобное отображение данных пациента с наложением точных визуальных ориентиров для хирурга. [40] [41] Предполагается, что гарнитуры смешанной реальности, такие как Microsoft HoloLens, позволяют эффективно обмениваться информацией между врачами, а также предоставляют платформу для расширенного обучения. [42] [41] В некоторых ситуациях (например, при заражении пациента инфекционным заболеванием) это может повысить безопасность врачей и сократить использование СИЗ . [43] Хотя смешанная реальность имеет большой потенциал для улучшения здравоохранения, у нее есть и некоторые недостатки. [41] Технология никогда не сможет полностью интегрироваться в сценарии, когда присутствует пациент, поскольку существуют этические проблемы, связанные с невозможностью врача осмотреть пациента. [41] [39] Смешанная реальность также полезна для медицинского образования. Например, согласно отчету Всемирного экономического форума за 2022 год, 85% студентов-медиков первого курса Университета Кейс Вестерн Резерв сообщили, что смешанная реальность для преподавания анатомии «эквивалентна» или «лучше», чем очные занятия. [44]
Управление контентом продукта до появления смешанной реальности состояло в основном из брошюр и небольшого взаимодействия с клиентами за пределами этой двухмерной сферы. [45] С развитием технологий смешанной реальности появились новые формы интерактивного управления контентом продуктов. В частности, трехмерная цифровая визуализация обычно двухмерных продуктов повысила доступность и эффективность взаимодействия потребителя с продуктом. [46]
Недавние достижения в технологиях смешанной реальности возобновили интерес к альтернативным способам связи для взаимодействия человека и робота. [47] Люди-операторы, носящие очки смешанной реальности, такие как HoloLens, могут взаимодействовать (управлять и контролировать), например, с роботами и подъемными машинами [48] на месте в цифровой фабрике. Этот вариант использования обычно требует обмена данными в реальном времени между интерфейсом смешанной реальности и машиной/процессом/системой, что может быть реализовано за счет внедрения технологии цифровых двойников. [48]
Смешанная реальность позволяет продавцам показать покупателям, насколько тот или иной товар будет соответствовать их требованиям. Продавец может продемонстрировать, как тот или иной товар впишется в дом покупателя. Покупатель с помощью VR может виртуально выбрать товар, развернуть его и разместить в нужных точках. Это повышает уверенность покупателя в совершении покупки и снижает количество возвратов. [49]
Архитектурные фирмы могут позволить клиентам виртуально посетить желаемые дома.
Хотя смешанная реальность подразумевает переплетение виртуального мира и физического мира на высоком уровне, существует множество цифровых сред, используемых для создания среды смешанной реальности. Они могут варьироваться от портативных устройств до целых комнат, каждое из которых имеет практическое применение в разных дисциплинах. [50] [51]
Автоматическая виртуальная среда пещеры (CAVE) — это среда, обычно небольшая комната, расположенная в большой внешней комнате, в которой пользователь окружен проецируемыми дисплеями вокруг него, над ним и под ним. [50] 3D-очки и объемный звук дополняют проекции, обеспечивая пользователю ощущение перспективы, целью которого является имитация физического мира. [50] С момента своего создания системы CAVE использовались инженерами, разрабатывающими и тестирующими прототипы продуктов. [52] Они позволяют разработчикам продукции тестировать свои прототипы, прежде чем тратить ресурсы на создание физического прототипа, а также открывают двери для «практического» тестирования на нематериальных объектах, таких как микроскопические среды или целые заводские цеха. [52] После разработки CAVE те же исследователи в конечном итоге выпустили CAVE2, в которой учтены недостатки оригинальной CAVE. [53] Первоначальные проекции были заменены 37-мегапиксельными 3D-ЖК-панелями, сетевые кабели соединяют CAVE2 с Интернетом, а более точная система камер позволяет окружающей среде меняться по мере перемещения пользователя по ней. [53]
Проекционный дисплей (HUD) — это дисплей, который проецирует изображения прямо перед зрителем, не сильно запутывая его окружение. Стандартный HUD состоит из трех элементов: проектора, который отвечает за наложение графики HUD, объединителя, представляющего собой поверхность, на которую проецируется графика, и компьютера, который объединяет два других компонента и вычисляет любые реальные значения. -время расчетов или корректировок. [54] Прототипы HUD сначала использовались в военных целях для помощи летчикам-истребителям в бою, но со временем превратились в помощь во всех аспектах полета, а не только в бою. [55] Затем HUD были стандартизированы и в коммерческой авиации, а затем проникли и в автомобильную промышленность. Одним из первых применений HUD в автомобильном транспорте стала система Heads-up от Pioneer, которая заменяет солнцезащитный козырек со стороны водителя дисплеем, проецирующим навигационные инструкции на дорогу перед водителем. [56] Крупные производители, такие как General Motors, Toyota, Audi и BMW, с тех пор включили проекционный дисплей в той или иной форме в некоторые модели.
Головной дисплей (HMD), который носится по всей голове или перед глазами, представляет собой устройство, которое использует одну или две оптики для проецирования изображения непосредственно перед глазами пользователя. Его применение распространяется на медицину, развлечения, авиацию и инженерное дело, обеспечивая уровень визуального погружения, которого не могут достичь традиционные дисплеи. [57] Наголовные дисплеи наиболее популярны среди потребителей на рынке развлечений, где крупные технологические компании разрабатывают шлемы виртуальной реальности в дополнение к своим существующим продуктам. [58] [59] Однако эти головные дисплеи представляют собой дисплеи виртуальной реальности и не интегрируют физический мир. Однако популярные шлемы дополненной реальности более предпочтительны в корпоративных средах. HoloLens от Microsoft — это шлем дополненной реальности, который находит применение в медицине, предоставляя врачам более глубокую информацию в режиме реального времени, а также в инженерии, накладывая важную информацию поверх физического мира. [60] Еще один примечательный HMD дополненной реальности был разработан Magic Leap, стартапом, разрабатывающим аналогичный продукт с приложениями как в частном секторе, так и на потребительском рынке. [61]
Мобильные устройства, включая смартфоны и планшеты, продолжают увеличивать вычислительную мощность и портативность. Многие современные мобильные устройства оснащены наборами инструментов для разработки приложений дополненной реальности. [51] Эти приложения позволяют разработчикам накладывать компьютерную графику на видео физического мира. Первой мобильной игрой с дополненной реальностью, имевшей широкий успех, стала Pokémon GO, выпущенная в 2016 году и набравшая 800 миллионов загрузок. [62] В то время как развлекательные приложения, использующие AR, оказались успешными, приложения для повышения производительности и утилиты также начали интегрировать функции AR. Google выпустила обновления для своего приложения Google Maps, которые включают в себя навигационные указания AR, накладываемые на улицы перед пользователем, а также расширение своего приложения-переводчика для наложения переведенного текста на физический текст на более чем 20 иностранных языках. [63] Мобильные устройства представляют собой уникальные технологии отображения, поскольку ими всегда пользуются повсеместно.