Дисплей , устанавливаемый на голову ( HMD ), представляет собой дисплейное устройство, надеваемое на голову или как часть шлема (см. дисплей, устанавливаемый на шлем для авиационных приложений), которое имеет небольшую оптическую систему дисплея перед одним ( монокулярный HMD) или каждым глазом ( бинокулярный HMD). HMD имеют множество применений, включая игры, авиацию, инженерию и медицину. [1]
Гарнитуры виртуальной реальности — это тип HMD, которые отслеживают трехмерное положение и вращение, чтобы предоставить пользователю виртуальную среду. Гарнитуры 3DOF VR обычно используют IMU для отслеживания. Гарнитуры 6DOF VR обычно используют слияние датчиков из нескольких источников данных, включая как минимум один IMU.
Оптический дисплей, монтируемый на голове (OHMD), — это носимый дисплей, который может отображать проецируемые изображения и позволяет пользователю видеть сквозь него. [2]
Типичный HMD имеет один или два небольших дисплея с линзами и полупрозрачными зеркалами, встроенными в очки (также называемые очками данных), забрало или шлем. Дисплейные блоки миниатюризированы и могут включать электронно-лучевые трубки (ЭЛТ), жидкокристаллические дисплеи (ЖК-дисплеи), жидкие кристаллы на кремнии (LCos) или органические светодиоды (OLED). Некоторые поставщики используют несколько микродисплеев для увеличения общего разрешения и поля зрения .
HMD различаются тем, могут ли они отображать только компьютерно-генерируемые изображения (CGI) или только живые изображения из физического мира или их комбинацию. Большинство HMD могут отображать только компьютерно-генерируемое изображение, иногда называемое виртуальным изображением. Некоторые HMD позволяют накладывать CGI на реальный вид. Иногда это называют дополненной реальностью (AR) или смешанной реальностью (MR). Объединение реального вида с CGI можно осуществить путем проецирования CGI через частично отражающее зеркало и непосредственного просмотра реального мира. Этот метод часто называют оптическим сквозным изображением. Объединение реального вида с CGI также можно осуществить электронным способом, приняв видео с камеры и смешав его электронным способом с CGI.
Используя технологию дополненной реальности, HMD могут достичь прозрачного отображения. Используя технологию виртуальной реальности (VR), HMD могут реализовать просмотр изображений в 360 градусов. [3]
Оптический дисплей, монтируемый на голове, использует оптический смеситель, который сделан из частично посеребренных зеркал. Он может отражать искусственные изображения и пропускать реальные изображения через линзу, позволяя пользователю смотреть через нее. Существуют различные методы для прозрачных HMD, большинство из которых можно объединить в два основных семейства на основе изогнутых зеркал или волноводов . Изогнутые зеркала использовались Laster Technologies и Vuzix в их продукте Star 1200. Различные методы волноводов существуют уже много лет. К ним относятся дифракционная оптика, голографическая оптика, поляризованная оптика и отражательная оптика.
Основные сферы применения HMD включают военную сферу, государственное управление (пожарная служба, полиция и т. д.), а также гражданско-коммерческие сферы (медицина, видеоигры, спорт и т. д.).
В 1962 году компания Hughes Aircraft Company представила Electrocular — компактный монокулярный дисплей с ЭЛТ (длиной 7 дюймов), который крепился на голове и отражал телевизионный сигнал в прозрачный окуляр. [4] [5] [6] [7] Усиленные HMD все чаще интегрируются в кабины современных вертолетов и истребителей. Они обычно полностью интегрированы с летным шлемом пилота и могут включать защитные козырьки, приборы ночного видения и дисплеи с другой символикой.
Военные, полиция и пожарные используют HMD для отображения тактической информации, такой как карты или данные тепловизионного изображения, при просмотре реальной сцены. Недавние приложения включают использование HMD для парашютистов . [8] В 2005 году Liteye HMD был представлен для наземных боевых войск как прочный, водонепроницаемый легкий дисплей, который крепится к стандартному военному креплению шлема PVS-14 США. Автономный цветной монокулярный дисплей на органических светодиодах (OLED) заменяет трубку NVG и подключается к мобильному вычислительному устройству. LE имеет прозрачную способность и может использоваться как стандартный HMD или для приложений дополненной реальности . Конструкция оптимизирована для предоставления данных высокой четкости при любых условиях освещения, в закрытом или прозрачном режимах работы. LE имеет низкое энергопотребление, работая от четырех батареек AA в течение 35 часов или получая питание через стандартное соединение Universal Serial Bus (USB). [9]
Агентство перспективных исследовательских проектов обороны ( DARPA ) продолжает финансировать исследования в области дополненной реальности HMD в рамках программы Persistent Close Air Support (PCAS). В настоящее время Vuzix работает над системой для PCAS, которая будет использовать голографические волноводы для создания прозрачных очков дополненной реальности толщиной всего в несколько миллиметров. [10]
Инженеры и ученые используют HMD для предоставления стереоскопических видов схем автоматизированного проектирования (САПР). [11] Виртуальная реальность, применяемая в проектировании и дизайне, является ключевым фактором интеграции человека в проектирование. Позволяя инженерам взаимодействовать со своими проектами в натуральную величину, продукты могут быть проверены на наличие проблем, которые могли быть не видны до физического прототипирования. Использование HMD для VR рассматривается как дополнение к традиционному использованию CAVE для моделирования VR. HMD в основном используются для взаимодействия одного человека с проектом, в то время как CAVE позволяют проводить более совместные сеансы виртуальной реальности.
Системы с дисплеем на голове также используются при обслуживании сложных систем, поскольку они могут предоставить технику имитацию рентгеновского зрения, объединяя компьютерную графику, такую как системные схемы и изображения, с естественным зрением техника (дополненная или модифицированная реальность).
Существуют также приложения в хирургии, где комбинация рентгенографических данных ( рентгеновская компьютерная томография (КТ) и магнитно-резонансная томография (МРТ)) сочетается с естественным видом операции для хирурга, и анестезия, где жизненные показатели пациента постоянно находятся в поле зрения анестезиолога. [12]
Научно-исследовательские университеты часто используют HMD для проведения исследований, связанных со зрением, равновесием, познанием и нейронаукой. По состоянию на 2010 год изучалось использование предиктивного визуального измерения слежения для выявления легкой черепно-мозговой травмы . В тестах на визуальное слежение устройство HMD с возможностью слежения за глазами показывает объект, движущийся по регулярной схеме. Люди без черепно-мозговой травмы способны отслеживать движущийся объект с помощью плавных движений глаз и правильной траектории . [13]
Недорогие устройства HMD доступны для использования с 3D-играми и развлекательными приложениями. Одним из первых коммерчески доступных HMD был Forte VFX1 , который был анонсирован на выставке бытовой электроники (CES) в 1994 году. [14] VFX-1 имел стереоскопические дисплеи, 3-осевое отслеживание головы и стереонаушники. Другим пионером в этой области была Sony, выпустившая Glasstron в 1997 году. Он имел в качестве дополнительного аксессуара позиционный датчик, который позволял пользователю просматривать окружение, причем перспектива перемещалась по мере движения головы, обеспечивая глубокое чувство погружения. Одно из новых применений этой технологии было в игре MechWarrior 2 , которая позволяла пользователям Sony Glasstron или iGlasses от Virtual I/O принимать новую визуальную перспективу изнутри кабины корабля, используя свои собственные глаза в качестве визуала и наблюдая за полем боя через собственную кабину своего корабля.
Многие бренды видеоочков можно подключать к современным видео и зеркальным камерам, что делает их применимыми в качестве монитора нового поколения. Благодаря способности очков блокировать окружающий свет, режиссеры и фотографы могут видеть более четкие презентации своих живых изображений. [15]
Oculus Rift — это шлем виртуальной реальности (VR), созданный Палмером Лаки , который компания Oculus VR разработала для моделирования виртуальной реальности и видеоигр. [16] HTC Vive — это шлем виртуальной реальности. Гарнитура производится в сотрудничестве между Valve и HTC , ее определяющими особенностями являются точное отслеживание в масштабе комнаты и высокоточные контроллеры движения. PlayStation VR — это шлем виртуальной реальности для игровых консолей, предназначенный для PlayStation 4. [17] Windows Mixed Reality — это платформа, разработанная Microsoft, которая включает в себя широкий спектр гарнитур, производимых HP, Samsung и другими, и способна воспроизводить большинство игр HTC Vive . Она использует только внутреннее отслеживание для своих контроллеров.
Некоторые дисплеи, монтируемые на голове, предназначены для показа традиционного видео- и киноконтента в виртуальном кинотеатре. Эти устройства обычно имеют относительно узкое поле зрения (FOV) 50–60°, что делает их менее захватывающими, чем гарнитуры виртуальной реальности, но они предлагают соответственно более высокое разрешение с точки зрения пикселей на градус. Выпущенный в 2011 году, Sony HMZ-T1 имел разрешение 1280x720 на глаз. Примерно в 2015 году были выпущены автономные продукты для «частного кинотеатра» на базе Android 5 (Lollipop) с использованием различных брендов, таких как VRWorld, Magicsee, на основе программного обеспечения от Nibiru.
Продукты, выпущенные в 2020 году с разрешением 1920×1080 на глаз, включали Goovis G2 [18] и Royole Moon. [19] Также были доступны Avegant Glyph, [20] который включал проекцию сетчатки 720P на глаз, и Cinera Prime, [21] который имел разрешение 2560×1440 на глаз, а также поле зрения 66°. Довольно большой Cinera Prime использовал либо стандартный опорный кронштейн, либо дополнительное крепление на голову. Ожидается, что в конце 2021 года будет доступен Cinera Edge, [22] с тем же полем зрения и разрешением 2560×1440 на глаз, что и более ранняя модель Cinera Prime, но с гораздо более компактным форм-фактором . Другие продукты, доступные в 2021 году, были Cinemizer OLED, [23] с разрешением 870×500 на глаз, VISIONHMD Bigeyes H1, [24] с разрешением 1280x720 на глаз, и Dream Glass 4K, [25] с разрешением 1920x1080 на глаз. Все упомянутые здесь продукты включали аудионаушники или наушники, за исключением Goovis G2, Cinera Prime, VISIONHMD Bigeyes H1 и Dream Glass 4K, которые вместо этого предлагали разъем для аудионаушников.
Для полетов дронов с видом от первого лица (FPV) используются дисплеи, монтируемые на голове, которые обычно называют «очками FPV». [26] [27] Аналоговые очки FPV (например, производимые Fat Shark ) обычно используются для гонок дронов , поскольку они обеспечивают самую низкую задержку видео. Но цифровые очки FPV (например, производимые DJI ) становятся все более популярными из-за более высокого разрешения видео.
С 2010-х годов полеты дронов FPV широко используются в воздушной кинематографии и аэрофотосъемке . [28]
Система HMD была разработана для гонщиков Формулы-1 компаниями Kopin Corp. и BMW Group. HMD отображает критически важные данные гонки, позволяя гонщику продолжать концентрироваться на трассе, пока бригады пит-стопов контролируют данные и сообщения, отправляемые своим гонщикам по двусторонней радиосвязи . [29] Recon Instruments выпустила 3 ноября 2011 года два дисплея для очков для катания на лыжах , MOD и MOD Live, последний на базе операционной системы Android. [30]
Ключевым применением HMD является обучение и моделирование, что позволяет виртуально поместить обучаемого в ситуацию, которая либо слишком дорога, либо слишком опасна для воспроизведения в реальной жизни. Обучение с помощью HMD охватывает широкий спектр приложений от вождения, сварки и окраски распылением, полетов и транспортных симуляторов, обучения спешенных солдат, обучения медицинским процедурам и многого другого. Однако длительное использование определенных типов дисплеев, монтируемых на голове, вызывает ряд нежелательных симптомов, и эти проблемы должны быть решены, прежде чем станет возможным оптимальное обучение и моделирование. [31]
Восприятие глубины внутри HMD требует разных изображений для левого и правого глаза. Существует несколько способов предоставить эти отдельные изображения:
Преимущество двойных видеовходов в том, что они обеспечивают максимальное разрешение для каждого изображения и максимальную частоту кадров для каждого глаза. Недостатком двойных видеовходов является то, что они требуют отдельных видеовыходов и кабелей от устройства, генерирующего контент.
Мультиплексирование на основе времени сохраняет полное разрешение для каждого изображения, но снижает частоту кадров вдвое. Например, если сигнал представлен с частотой 60 Гц, каждый глаз получает обновления только с частотой 30 Гц. Это может стать проблемой для точного представления быстро движущихся изображений.
Мультиплексирование «бок о бок» и «сверху вниз» обеспечивает полноскоростное обновление для каждого глаза, но снижает разрешение, представляемое для каждого глаза. Многие 3D-трансляции, такие как ESPN , решили предоставлять 3D-обоюдное, что избавляет от необходимости выделять дополнительную полосу пропускания и больше подходит для динамичных спортивных событий по сравнению с методами мультиплексирования на основе времени.
Не все HMD обеспечивают восприятие глубины. Некоторые бюджетные модули по сути являются биокулярными устройствами, где обоим глазам представляется одно и то же изображение. 3D-видеоплееры иногда обеспечивают максимальную совместимость с HMD, предоставляя пользователю возможность выбора используемого 3D-формата.