Головной дисплей ( HMD ) — это устройство отображения, которое носится на голове или как часть шлема (см. « Нашлемный дисплей для авиационного применения»), которое имеет небольшую оптику дисплея перед одним ( монокулярным HMD) или каждым глаз ( бинокулярный HMD). HMD имеет множество применений, включая игры, авиацию, инженерию и медицину. [1] Гарнитуры виртуальной реальности представляют собой HMD в сочетании с IMU . Существует также оптический головной дисплей (OHMD), который представляет собой носимый дисплей, который может отражать проецируемые изображения и позволяет пользователю видеть сквозь него. [2]
Типичный HMD имеет один или два небольших дисплея с линзами и полупрозрачными зеркалами, встроенными в очки (также называемые очками для передачи данных), козырек или шлем. Блоки отображения миниатюрны и могут включать электронно-лучевые трубки (ЭЛТ), жидкокристаллические дисплеи (ЖКД), жидкие кристаллы на кремнии (LCos) или органические светодиоды (OLED). Некоторые производители используют несколько микродисплеев для увеличения общего разрешения и поля зрения .
HMD различаются тем, могут ли они отображать только изображения, сгенерированные компьютером (CGI), или только живые изображения из физического мира, или их комбинацию. Большинство шлемов виртуальной реальности могут отображать только изображение, созданное компьютером, иногда называемое виртуальным изображением. Некоторые шлемы виртуальной реальности могут позволять накладывать компьютерную графику на изображение реального мира. Иногда это называют дополненной реальностью (AR) или смешанной реальностью (MR). Объединение изображения реального мира с компьютерной графикой можно осуществить, проецируя компьютерную графику через частично отражающее зеркало и рассматривая реальный мир напрямую. Этот метод часто называют оптическим прозрачным. Объединение реального мира с компьютерной графикой также может быть выполнено в электронном виде, принимая видео с камеры и смешивая его в электронном виде с компьютерной графикой.
В оптическом головном дисплее используется оптический микшер, состоящий из частично посеребренных зеркал. Он может отражать искусственные изображения, позволять реальным изображениям проходить через объектив и позволять пользователю смотреть через него. Существуют различные методы создания прозрачных шлемов виртуальной реальности, большинство из которых можно объединить в два основных семейства, основанных на изогнутых зеркалах или волноводах . Изогнутые зеркала использовались Laster Technologies и Vuzix в их продукте Star 1200. Различные волноводные методы существуют уже много лет. К ним относятся дифракционная оптика, голографическая оптика, поляризованная оптика и отражательная оптика.
Основные области применения HMD включают военные, правительственные (пожарные, полиция и т. д.) и гражданско-коммерческие (медицина, видеоигры, спорт и т. д.).
В 1962 году компания Hughes Aircraft Company представила Electrocular, компактный ЭЛТ (длиной 7 дюймов), крепящийся на голову монокулярный дисплей, который отражал телевизионный сигнал в прозрачный окуляр . интегрируются в кабины современных вертолетов и истребителей.Они обычно полностью интегрированы с летным шлемом пилота и могут включать защитные козырьки, приборы ночного видения и дисплеи другой символики.
Военные, полицейские и пожарные используют шлемы виртуальной реальности для отображения тактической информации, такой как карты или данные тепловидения, при просмотре реальной сцены. Недавние применения включали использование HMD для десантников . [7] В 2005 году шлем Liteye HMD был представлен для наземных боевых войск в виде прочного, водонепроницаемого и легкого дисплея, который крепится к стандартному креплению военного шлема США PVS-14. Автономный цветной монокулярный дисплей на органических светодиодах (OLED) заменяет трубку ПНВ и подключается к мобильному компьютерному устройству. LE обладает прозрачностью и может использоваться в качестве стандартного шлема виртуальной реальности или для приложений дополненной реальности . Конструкция оптимизирована для предоставления данных высокой четкости при любых условиях освещения, в закрытых или прозрачных режимах работы. LE имеет низкое энергопотребление, работает от четырех батареек типа АА в течение 35 часов или получает питание через стандартное соединение универсальной последовательной шины (USB). [8]
Агентство перспективных исследовательских проектов Министерства обороны ( DARPA ) продолжает финансировать исследования в области шлемов дополненной реальности в рамках программы постоянной непосредственной воздушной поддержки (PCAS). В настоящее время Vuzix работает над системой PCAS, которая будет использовать голографические волноводы для создания прозрачных очков дополненной реальности толщиной всего несколько миллиметров. [9]
Инженеры и ученые используют шлемы виртуальной реальности для получения стереоскопического изображения схем автоматизированного проектирования (САПР). [10] Виртуальная реальность применительно к проектированию и дизайну является ключевым фактором интеграции человека в дизайн. Предоставляя инженерам возможность взаимодействовать со своими проектами в натуральную величину, продукты могут быть проверены на наличие проблем, которые могли быть не видны до физического прототипирования. Использование HMD для виртуальной реальности рассматривается как дополнение к традиционному использованию CAVE для моделирования виртуальной реальности. HMD преимущественно используются для взаимодействия с дизайном одного человека, тогда как CAVE позволяют проводить более совместные сеансы виртуальной реальности.
Системы отображения на голове также используются при обслуживании сложных систем, поскольку они могут дать технику имитацию рентгеновского зрения путем объединения компьютерной графики, такой как системные диаграммы и изображения, с естественным зрением техника (дополненная или модифицированная реальность).
Существуют также приложения в хирургии, где сочетание рентгенографических данных ( рентгеновская компьютерная томография (КТ) и магнитно-резонансная томография (МРТ)) сочетается с естественным представлением хирурга об операции и анестезией, когда пациент жизненно важные показатели всегда находятся в поле зрения анестезиолога. [11]
Исследовательские университеты часто используют шлемы виртуальной реальности для проведения исследований, связанных со зрением, балансом, познанием и нейробиологией. По состоянию на 2010 год изучалось использование прогностического визуального отслеживания для выявления легкой черепно-мозговой травмы . В тестах на визуальное отслеживание устройство HMD с возможностью отслеживания глаз показывает объект, движущийся по регулярной схеме. Люди без травм головного мозга способны отслеживать движущийся объект плавными движениями глаз и корректировать траекторию . [12]
Доступны недорогие устройства HMD для использования с 3D-играми и развлекательными приложениями. Одним из первых коммерчески доступных шлемов виртуальной реальности был Forte VFX1 , анонсированный на выставке Consumer Electronics Show (CES) в 1994 году. [13] VFX-1 имел стереоскопические дисплеи, 3-осевое отслеживание положения головы и стереонаушники. Еще одним пионером в этой области была компания Sony, выпустившая Glasstron в 1997 году. В качестве дополнительного аксессуара у нее был датчик положения, который позволял пользователю видеть окружающую среду, при этом перспектива менялась при движении головы, обеспечивая глубокое ощущение погружения. Одним из новых применений этой технологии была игра MechWarrior 2 , которая позволила пользователям Sony Glasstron или iGlasses Virtual I/O принять новую визуальную перспективу изнутри кабины корабля, используя свои собственные глаза в качестве визуальных средств и наблюдая за полем боя. через собственную кабину своего корабля.
Видеоочки многих марок можно подключать к современным видео- и зеркальным камерам, что делает их применимыми в качестве мониторов нового поколения. Благодаря способности очков блокировать окружающий свет кинематографисты и фотографы могут видеть более четкое представление своих живых изображений. [14]
Oculus Rift — это головной дисплей виртуальной реальности (VR), созданный Палмером Лаки и который компания Oculus VR разработала для симуляций виртуальной реальности и видеоигр. [15] HTC Vive — это головной дисплей виртуальной реальности. Гарнитура произведена в результате сотрудничества Valve и HTC , ее отличительной особенностью является точное отслеживание в масштабе помещения и высокоточные контроллеры движений. PlayStation VR — это гарнитура виртуальной реальности для игровых консолей, предназначенная для PlayStation 4 . [16] Windows Mixed Reality — это платформа, разработанная Microsoft, которая включает в себя широкий спектр гарнитур производства HP, Samsung и других компаний и способна воспроизводить большинство игр HTC Vive. Он использует только внутреннее отслеживание для своих контроллеров.
Некоторые наголовные дисплеи предназначены для представления традиционного видео- и киноконтента в виртуальном кинотеатре. Эти устройства обычно имеют относительно узкое поле зрения (FOV) 50–60°, что делает их менее захватывающими, чем гарнитуры виртуальной реальности, но они предлагают соответственно более высокое разрешение в единицах пикселей на градус. Выпущенная в 2011 году Sony HMZ-T1 имела разрешение 1280x720 на глаз. Примерно в 2015 году были выпущены автономные продукты «частного кинотеатра» на базе Android 5 (Lolipop) с использованием различных брендов, таких как VRWorld, Magicsee, на основе программного обеспечения Nibiru. Продукты, выпущенные в 2020 году с разрешением 1920×1080 на глаз, включали Goovis G2 [17] и Royole Moon. [18] Также были доступны Avegant Glyph, [19] с проекцией сетчатки 720P на глаз, и Cinera Prime, [20] с разрешением 2560×1440 на глаз и углом обзора 66°. В довольно большой Cinera Prime использовался либо стандартный опорный рычаг, либо дополнительное крепление на голову. Ожидается, что в конце 2021 года будет доступен Cinera Edge [21] с тем же углом обзора и разрешением 2560×1440 на глаз, что и более ранняя модель Cinera Prime, но с гораздо более компактным форм-фактором . Другими продуктами, доступными в 2021 году, были Cinemizer OLED [22] с разрешением 870×500 на глаз, VISIONHMD Bigeyes H1 [23] с разрешением 1280×720 на глаз и Dream Glass 4K [24] с разрешением 1920×1080 на глаз. Все упомянутые здесь продукты включали в себя аудионаушники или наушники, за исключением Goovis G2, Cinera Prime, VISIONHMD Bigeyes H1 и Dream Glass 4K, которые вместо этого предлагали разъем для аудионаушников.
При полете дрона с видом от первого лица (FPV) используются закрепленные на голове дисплеи, которые обычно называют «очками FPV». [25] [26] Аналоговые очки для FPV (например, производства Fat Shark ) обычно используются в гонках на дронах , поскольку они обеспечивают минимальную задержку видео. Но цифровые очки FPV (например, производства DJI ) становятся все более популярными благодаря видео с более высоким разрешением.
С 2010-х годов полеты дронов с FPV широко используются в аэрокино и аэрофотосъемке . [27]
Система HMD была разработана для гонщиков Формулы-1 компаниями Kopin Corp. и BMW Group. HMD отображает важные данные гонки, позволяя водителю продолжать концентрироваться на трассе, в то время как бригады пит-стопов контролируют данные и сообщения, отправляемые своим водителям через двустороннюю радиосвязь . [28] 3 ноября 2011 года компания Recon Instruments выпустила два наголовных дисплея для лыжных очков : MOD и MOD Live, последний основан на операционной системе Android. [29]
Ключевым применением шлемов виртуальной реальности является обучение и моделирование, позволяющее виртуально поместить обучаемого в ситуацию, которую либо слишком дорого, либо слишком опасно воспроизвести в реальной жизни. Обучение с использованием HMD охватывает широкий спектр применений: от вождения, сварки и окраски распылением, тренажеров полета и транспортных средств, обучения спешенных солдат, обучения медицинским процедурам и многого другого. Однако ряд нежелательных симптомов был вызван длительным использованием определенных типов наголовных дисплеев, и эти проблемы необходимо решить, прежде чем станет возможным оптимальное обучение и моделирование. [30]
Восприятие глубины внутри шлема требует разных изображений для левого и правого глаза. Есть несколько способов предоставить эти отдельные изображения:
Преимущество двойных видеовходов заключается в том, что они обеспечивают максимальное разрешение для каждого изображения и максимальную частоту кадров для каждого глаза. Недостатком двойных видеовходов является то, что для них требуются отдельные видеовыходы и кабели от устройства, генерирующего контент.
Мультиплексирование по времени сохраняет полное разрешение каждого изображения, но снижает частоту кадров вдвое. Например, если сигнал подается с частотой 60 Гц, каждый глаз получает обновления только с частотой 30 Гц. Это может стать проблемой при точном представлении быстродвижущихся изображений.
Параллельное и верхне-нижнее мультиплексирование обеспечивает полноценные обновления для каждого глаза, но снижает разрешение, передаваемое для каждого глаза. Многие 3D-трансляции, такие как ESPN , решили обеспечить параллельное 3D, что избавляет от необходимости выделять дополнительную полосу пропускания передачи и больше подходит для динамичных спортивных состязаний по сравнению с методами временного мультиплексирования.
Не все шлемы виртуальной реальности обеспечивают восприятие глубины. Некоторые модули более низкого уровня по сути представляют собой биокулярные устройства, в которых оба глаза видят одно и то же изображение. 3D-видеоплееры иногда обеспечивают максимальную совместимость с HMD, предоставляя пользователю выбор используемого 3D-формата.