Смешанная реальность ( MR ) — это термин, используемый для описания слияния реальной среды и компьютерной среды. Физические и виртуальные объекты могут сосуществовать в средах смешанной реальности и взаимодействовать в реальном времени.
Смешанную реальность, включающую тактильные ощущения, иногда называют визуально-тактильной смешанной реальностью. [1] [2]
В контексте физики термин «система интерреальности» относится к системе виртуальной реальности, связанной с ее реальным аналогом. [3] В статье 2007 года описывается система интерреальности, включающая реальный физический маятник, связанный с маятником, который существует только в виртуальной реальности. [4] Эта система имеет два устойчивых состояния движения: состояние «двойной реальности», в котором движение двух маятников некоррелировано, и состояние «смешанной реальности», в котором маятник демонстрирует устойчивое фазово-синхронизированное движение, которое сильно коррелировано. Использование терминов «смешанная реальность» и «интерреальность» четко определено в контексте физики и может немного отличаться в других областях, однако, как правило, оно рассматривается как «соединяющее физический и виртуальный мир». [5]
Смешанная реальность используется в приложениях в самых разных областях, включая проектирование, образование, развлечения, военную подготовку, здравоохранение, управление контентом продукции и управление роботами с участием человека.
Обучение на основе моделирования включает обучение на основе виртуальной и дополненной реальности, а также интерактивное, экспериментальное обучение. Существует множество потенциальных вариантов использования смешанной реальности как в образовательных учреждениях, так и в учреждениях профессиональной подготовки. В образовании дополненная реальность использовалась для моделирования исторических сражений, обеспечивая непревзойденный иммерсивный опыт для студентов и потенциально улучшенный опыт обучения. [6] Кроме того, дополненная реальность показала эффективность в университетском образовании для студентов-медиков и студентов-медиков в дисциплинах, которые извлекают пользу из 3D-представлений моделей, таких как физиология и анатомия. [7] [8]
От телевизионных шоу до игровых приставок — смешанная реальность находит множество применений в сфере развлечений.
Британское игровое шоу 2004 года Bamzooki призвало детей-участников создать виртуальных «Зуков» и наблюдать, как они соревнуются в различных испытаниях. [9] Шоу использовало смешанную реальность, чтобы оживить Зуков. Телевизионное шоу длилось четыре сезона, закончившись в 2010 году. [9]
Игровое шоу FightBox 2003 года также призывало участников создавать конкурентоспособных персонажей и использовало смешанную реальность, чтобы позволить им взаимодействовать. [10] В отличие от в целом ненасильственных испытаний Bamzoomi , цель FightBox заключалась в том, чтобы новые участники создали сильнейшего бойца, который выиграл бы соревнование. [10]
В 2009 году исследователи представили на Международном симпозиуме по смешанной и дополненной реальности ( ISMAR ) свой социальный продукт под названием «BlogWall», который состоял из проецируемого на стену экрана. [11] Пользователи могли публиковать короткие текстовые клипы или изображения на стене и играть в простые игры, такие как Pong . [11] BlogWall также имел поэтический режим, в котором он перестраивал полученные сообщения, чтобы сформировать стихотворение, и режим опроса, в котором пользователи могли просить других отвечать на их опросы. [11]
Mario Kart Live: Home Circuit — гоночная игра в смешанной реальности для Nintendo Switch, выпущенная в октябре 2020 года.[16a-New] Игра позволяет игрокам использовать свой дом в качестве гоночной трассы [12] За первую неделю после выпуска в Японии было продано 73 918 копий, что сделало игру самой продаваемой игрой недели в стране. [13]
В другом исследовании изучался потенциал применения смешанной реальности в театрах, кино и тематических парках. [14]
Первой полностью иммерсивной системой смешанной реальности была платформа Virtual Fixtures , разработанная в 1992 году Луисом Розенбергом в Armstrong Laboratories of the United States Air Force . [15] Она позволяла пользователям-людям управлять роботами в реальных условиях, которые включали реальные физические объекты и 3D-виртуальные наложения («фиксаторы»), которые были добавлены для улучшения производительности человека при выполнении задач манипуляции. Опубликованные исследования показали, что путем внедрения виртуальных объектов в реальный мир можно добиться значительного повышения производительности операторами-людьми. [15] [16] [17]
Реальность боя может быть смоделирована и представлена с использованием сложных, многослойных данных и визуальных помощников, большинство из которых являются дисплеями, монтируемыми на голове (HMD), которые охватывают любую технологию отображения, которую можно носить на голове пользователя. [18] Решения для военной подготовки часто строятся на коммерческих готовых технологиях (COTS), таких как платформа синтетической среды Improbable , Virtual Battlespace 3 и VirTra, причем последние две платформы используются армией США . По состоянию на 2018 год [обновлять]VirTra используется как гражданскими, так и военными правоохранительными органами для обучения персонала в различных сценариях, включая активную стрельбу, домашнее насилие и остановки военного транспорта. [19] [20] Технологии смешанной реальности использовались Исследовательской лабораторией армии США для изучения того, как этот стресс влияет на принятие решений . С помощью смешанной реальности исследователи могут безопасно изучать военнослужащих в сценариях, в которых солдаты, скорее всего, не выживут. [21]
В 2017 году армия США разрабатывала Synthetic Training Environment (STE), набор технологий для учебных целей, который, как ожидалось, будет включать смешанную реальность. По состоянию на 2018 год [обновлять]STE все еще находился в разработке без предполагаемой даты завершения. Некоторые зарегистрированные цели STE включали повышение реализма и увеличение возможностей обучения симуляции и доступности STE для других систем. [22]
Утверждалось, что среды смешанной реальности, такие как STE, могут снизить затраты на обучение, [23] [24], например, за счет уменьшения количества боеприпасов, расходуемых во время обучения. [25] В 2018 году сообщалось, что STE будет включать в себя представление любой части местности мира для учебных целей. [26] STE будет предлагать различные возможности обучения для бригадных отделений и боевых групп, включая команды Stryker , оружейные и пехотные группы. [27]
Смешанное пространство — это пространство, в котором физическая среда и виртуальная среда намеренно интегрированы в тесном взаимодействии. Целью дизайна смешанного пространства является предоставление людям опыта ощущения присутствия в смешанном пространстве, непосредственного воздействия на содержимое смешанного пространства. [28] [29] Примерами смешанных пространств являются устройства дополненной реальности , такие как Microsoft HoloLens , и игры, такие как Pokémon Go, а также множество приложений для смартфонов, интеллектуальных конференц-залов и приложений, таких как системы отслеживания автобусов.
Идея смешения исходит из идей концептуальной интеграции, или концептуального смешения, введенных Жилем Фоконье и Марком Тернером .
Мануэль Имаз и Дэвид Беньон представили теорию смешивания для рассмотрения концепций в области разработки программного обеспечения и взаимодействия человека и компьютера. [30]
Простейшая реализация смешанного пространства требует двух функций. Первая требуемая функция — это ввод. Ввод может варьироваться от тактильного до изменений в окружающей среде. Следующая требуемая функция — это уведомления, полученные из цифровых пространств. Соответствия между физическим и цифровым пространством должны быть абстрагированы и использованы дизайном смешанного пространства. Бесшовная интеграция обоих пространств встречается редко. Смешанные пространства нуждаются в точках привязки или технологиях для связи пространств. [29]
Хорошо спроектированное смешанное пространство рекламирует и передает цифровой контент тонким и ненавязчивым образом. Присутствие можно измерить с помощью физиологических, поведенческих и субъективных измерений, полученных из пространства. [30]
В любом пространстве есть два основных компонента:
Для присутствия в смешанном пространстве должно быть физическое пространство и цифровое пространство. В контексте смешанного пространства, чем выше связь между физическим и цифровым пространствами, тем богаче опыт. [28] Эта связь происходит через посредство корреспондентов, которые передают состояние и природу объектов.
Для целей рассмотрения смешанных пространств природа и характеристики любого пространства могут быть представлены следующими факторами:# Онтология — различные типы объектов, присутствующих в пространстве, общее количество объектов и отношения между объектами и пространством.
Физическое пространство – Физические пространства – это пространства, которые обеспечивают пространственное взаимодействие. [31] Этот вид пространственного взаимодействия сильно влияет на когнитивную модель пользователя. [32]
Цифровое пространство – Цифровое пространство (также называемое информационным пространством) состоит из всего информационного контента. Этот контент может быть в любой форме. [33]
Смешанная реальность позволяет глобальной рабочей силе удаленных команд работать вместе и решать бизнес-задачи организации. Независимо от того, где они физически находятся, сотрудник может надеть гарнитуру и шумоподавляющие наушники и войти в совместную, захватывающую виртуальную среду. Поскольку эти приложения могут точно переводить в режиме реального времени, языковые барьеры становятся несущественными. Этот процесс также повышает гибкость. Хотя многие работодатели по-прежнему используют негибкие модели фиксированного рабочего времени и местоположения, есть доказательства того, что сотрудники более продуктивны, если у них есть большая автономия в отношении того, где, когда и как они работают. Некоторые сотрудники предпочитают шумную рабочую среду, в то время как другим нужна тишина. Некоторые лучше всего работают утром, другие лучше всего работают ночью. Сотрудники также выигрывают от автономии в том, как они работают, из-за разных способов обработки информации. Классическая модель стилей обучения различает визуальных, аудиальных и кинестетических учащихся . [34]
Техническое обслуживание машин также может выполняться с помощью смешанной реальности. Крупные компании с несколькими производственными площадками и большим количеством оборудования могут использовать смешанную реальность для обучения и инструктирования своих сотрудников. Машины нуждаются в регулярных проверках и время от времени должны настраиваться. Эти настройки в основном выполняются людьми, поэтому сотрудники должны быть проинформированы о необходимых настройках. Используя смешанную реальность, сотрудники из разных мест могут носить гарнитуры и получать живые инструкции об изменениях. Инструкторы могут управлять представлением, которое видит каждый сотрудник, и могут скользить по производственной зоне, увеличивая масштаб технических деталей и объясняя каждое необходимое изменение. Было показано, что сотрудники, прошедшие пятиминутный сеанс обучения с такой программой смешанной реальности, достигают тех же результатов обучения, что и чтение 50-страничного учебного пособия. [35] Расширением этой среды является включение живых данных от работающего оборудования в виртуальное совместное пространство, а затем связывание с трехмерными виртуальными моделями оборудования. Это позволяет проводить обучение и выполнять процессы технического обслуживания, эксплуатации и безопасности, которые в противном случае были бы затруднительны в реальных условиях, используя при этом опыт, независимо от их физического местонахождения. [36]
Смешанная реальность может использоваться для создания макетов , которые объединяют физические и цифровые элементы. С использованием одновременной локализации и картирования (SLAM) макеты могут взаимодействовать с физическим миром, чтобы получить контроль над более реалистичными сенсорными переживаниями [37], такими как постоянство объектов , которые обычно было бы невозможно или крайне сложно отслеживать и анализировать без использования как цифровых, так и физических помощников. [38] [39]
Умные очки могут быть установлены в операционной для помощи в хирургических процедурах; возможно, они будут удобно отображать данные пациента, накладывая точные визуальные подсказки для хирурга. [40] [41] Предполагается, что гарнитуры смешанной реальности, такие как Microsoft HoloLens, позволят эффективно обмениваться информацией между врачами, а также станут платформой для улучшенного обучения. [42] [41] В некоторых ситуациях (например, пациент инфицирован инфекционным заболеванием) это может повысить безопасность врача и сократить использование СИЗ . [43] Хотя смешанная реальность имеет большой потенциал для улучшения здравоохранения, у нее также есть некоторые недостатки. [41] Технология никогда не сможет полностью интегрироваться в сценарии, когда присутствует пациент, поскольку существуют этические проблемы, связанные с тем, что врач не может видеть пациента. [41] [39] Смешанная реальность также полезна для медицинского образования. Например, согласно отчету Всемирного экономического форума за 2022 год, 85% студентов-медиков первого курса в Университете Кейс Вестерн Резерв сообщили, что смешанная реальность для преподавания анатомии была «эквивалентной» или «лучше», чем очное обучение. [44]
Управление контентом продукта до появления смешанной реальности состояло в основном из брошюр и небольшого взаимодействия клиента с продуктом за пределами этой двухмерной области. [45] С усовершенствованием технологий смешанной реальности появились новые формы интерактивного управления контентом продукта. В частности, трехмерные цифровые визуализации обычно двухмерных продуктов увеличили достижимость и эффективность взаимодействия потребителя с продуктом. [46]
Недавние достижения в области технологий смешанной реальности возобновили интерес к альтернативным способам общения для взаимодействия человека и робота. [47] Операторы-люди, носящие очки смешанной реальности, такие как HoloLens , могут взаимодействовать (управлять и контролировать), например, роботов и подъемных машин [48] на месте в цифровой фабрике. Этот вариант использования обычно требует передачи данных в реальном времени между интерфейсом смешанной реальности и машиной/процессом/системой, что может быть реализовано путем внедрения технологии цифровых двойников. [48]
Смешанная реальность позволяет продавцам показывать покупателям, как определенный товар будет соответствовать их требованиям. Продавец может продемонстрировать, как определенный продукт впишется в дома покупателя. Покупатель с помощью VR может виртуально выбрать товар, развернуться и разместить его в нужных местах. Это повышает уверенность покупателя в совершении покупки и сокращает количество возвратов. [49]
Архитектурные фирмы могут предоставить клиентам возможность виртуального посещения желаемого ими дома.
В то время как смешанная реальность относится к переплетению виртуального мира и физического мира на высоком уровне, существует множество цифровых носителей, используемых для создания среды смешанной реальности. Они могут варьироваться от карманных устройств до целых комнат, каждый из которых имеет практическое применение в различных дисциплинах. [50] [51]
Автоматическая виртуальная среда пещеры (CAVE) — это среда, обычно небольшая комната, расположенная в более крупной внешней комнате, в которой пользователь окружен проекционными дисплеями вокруг него, над ним и под ним. [50] 3D-очки и объемный звук дополняют проекции, чтобы предоставить пользователю чувство перспективы, которое направлено на имитацию физического мира. [50] С момента разработки системы CAVE были приняты инженерами, разрабатывающими и тестирующими прототипы продуктов. [52] Они позволяют дизайнерам продуктов тестировать свои прототипы, прежде чем тратить ресурсы на создание физического прототипа, а также открывают двери для «практического» тестирования на нематериальных объектах, таких как микроскопические среды или целые заводские цеха. [52] После разработки CAVE те же исследователи в конечном итоге выпустили CAVE2, который построен на недостатках оригинальной CAVE. [53] Первоначальные проекции были заменены на 37-мегапиксельные 3D ЖК-панели, сетевые кабели интегрируют CAVE2 с Интернетом, а более точная система камер позволяет среде меняться по мере того, как пользователь перемещается по ней. [53]
Head-up display (HUD) — это дисплей, который проецирует изображения прямо перед зрителем, не сильно затемняя окружающую среду. Стандартный HUD состоит из трех элементов: проектора, который отвечает за наложение графики HUD, объединителя, который является поверхностью, на которую проецируется графика, и компьютера, который объединяет два других компонента и вычисляет любые вычисления или корректировки в реальном времени. [54] Прототипы HUD сначала использовались в военных целях для помощи летчикам-истребителям в бою, но в конечном итоге эволюционировали для помощи во всех аспектах полета — не только в бою. [55] Затем HUD были стандартизированы и в коммерческой авиации, в конечном итоге проникнув в автомобильную промышленность. Одним из первых применений HUD в автомобильном транспорте стала система Heads-up компании Pioneer, которая заменяет солнцезащитный козырек со стороны водителя на дисплей, который проецирует навигационные инструкции на дорогу перед водителем. [56] Крупнейшие производители, такие как General Motors, Toyota, Audi и BMW, с тех пор включили в некоторые модели ту или иную форму проекционного дисплея.
Головной дисплей (HMD), надеваемый на всю голову или надеваемый перед глазами, представляет собой устройство, которое использует одну или две оптики для проецирования изображения непосредственно перед глазами пользователя. Его применение варьируется от медицины до развлечений, авиации и техники, обеспечивая уровень визуального погружения, которого не могут достичь традиционные дисплеи. [57] Головные дисплеи наиболее популярны среди потребителей на рынке развлечений, при этом крупные технологические компании разрабатывают HMD в дополнение к своим существующим продуктам. [58] [59] Однако эти головные дисплеи являются дисплеями виртуальной реальности и не интегрируют физический мир. Однако популярные HMD дополненной реальности более предпочтительны в корпоративных средах. HoloLens от Microsoft — это HMD дополненной реальности, который применяется в медицине, предоставляя врачам более глубокое понимание в реальном времени, а также в технике, накладывая важную информацию поверх физического мира. [60] Еще один известный шлем дополненной реальности был разработан Magic Leap, стартапом, разрабатывающим аналогичный продукт с приложениями как в частном секторе, так и на потребительском рынке. [61]
Мобильные устройства, включая смартфоны и планшеты, продолжают увеличивать вычислительную мощность и портативность. Многие современные мобильные устройства оснащены наборами инструментов для разработки приложений дополненной реальности. [51] Эти приложения позволяют разработчикам накладывать компьютерную графику на видео физического мира. Первой мобильной игрой дополненной реальности, которая имела широкий успех, была Pokémon GO, выпущенная в 2016 году и собравшая 800 миллионов загрузок. [62] В то время как развлекательные приложения, использующие AR, оказались успешными, приложения для повышения производительности и утилиты также начали интегрировать функции AR. Google выпустила обновления для своего приложения Google Maps, которые включают в себя навигационные указания AR, наложенные на улицы перед пользователем, а также расширили свое приложение для перевода, чтобы накладывать переведенный текст на физическое письмо на более чем 20 иностранных языках. [63] Мобильные устройства являются уникальными технологиями отображения из-за того, что они обычно оснащены в любое время.
Медиа, связанные со смешанной реальностью на Wikimedia Commons