Apple Vision Pro — это гарнитура смешанной реальности, разработанная Apple . Она была анонсирована 5 июня 2023 года на Всемирной конференции разработчиков Apple , а предварительные заказы начались 19 января 2024 года. Она стала доступна для покупки 2 февраля 2024 года в США. [10] Она также стала доступна для покупки в Китае, Гонконге, Японии и Сингапуре 28 июня 2024 года, а в Австралии, Канаде, Франции, Германии и Великобритании — 12 июля 2024 года. Apple Vision Pro — первая новая крупная категория продуктов Apple с момента выпуска Apple Watch в 2015 году. [11]
Apple позиционирует Apple Vision Pro как « пространственный компьютер », в котором цифровые медиа интегрированы с реальным миром. Физические входы — такие как жесты движения, отслеживание глаз и распознавание речи — могут использоваться для взаимодействия с системой. [10] Apple избегала рекламировать устройство как гарнитуру виртуальной реальности при обсуждении продукта в презентациях и маркетинге. [12]
Устройство работает под управлением visionOS [13] , операционной системы смешанной реальности, созданной на основе фреймворков iPadOS с использованием трехмерного пользовательского интерфейса ; она поддерживает многозадачность с помощью окон , которые кажутся плавающими в окружении пользователя [14] , как это видно с камер, встроенных в гарнитуру. Диск на верхней части гарнитуры может использоваться для маскировки потока камеры с помощью виртуальной среды для увеличения погружения. Операционная система поддерживает аватары (официально называемые «Персонами»), которые генерируются путем сканирования лица пользователя; экран на передней панели гарнитуры отображает визуализацию глаз аватара («EyeSight»), которые используются для указания уровня погружения пользователя для наблюдателей и помогают в общении. [15]
В мае 2015 года Apple приобрела немецкую компанию дополненной реальности (AR) Metaio , изначально отделившуюся от Volkswagen . [16] В том же году Apple наняла Майка Роквелла из Dolby Laboratories . Роквелл сформировал команду под названием Technology Development Group, в которую вошли соучредитель Metaio Питер Мейер и менеджер Apple Watch Флетчер Роткопф. Команда разработала демоверсию AR в 2016 году, но ей воспротивился главный дизайнер Джони Айв и его команда. Эксперт по дополненной и виртуальной реальности (VR) и бывший специалист NASA Джефф Норрис был нанят в апреле 2017 года. [17] [18] Команда Роквелла помогла представить ARKit в 2017 году с iOS 11. Команда Роквелла стремилась создать гарнитуру и работала с командой Айва; решение показать глаза пользователя через фронтальный дисплей было хорошо воспринято командой промышленного дизайна. [19]
Разработка гарнитуры пережила период неопределенности с уходом Айва в 2019 году. Его преемник, Эванс Хэнки, покинул компанию в 2023 году. [20] Старший инженер-менеджер Джефф Шталь, который подчиняется Rockwell, руководил разработкой операционной системы VisionOS , [18] [21] после того, как ранее работал над играми и графическими технологиями в Apple. [22] Гарнитура расширенной реальности от Apple задумана как мост к будущим легким очкам дополненной реальности, которые пока технически неосуществимы. [23] [24] В ноябре 2017 года Apple приобрела канадскую компанию MR Vrvana за 30 миллионов долларов. Vrvana Totem мог накладывать полностью непрозрачные, полноцветные анимации поверх реального мира, а не призрачные проекции других гарнитур дополненной реальности, которые не могут отображать черный цвет. Ему удалось сделать это, избежав часто заметной задержки между камерами, захватывающими внешний мир, и одновременно сохраняя поле зрения в 120 градусов при 90 Гц. Totem также использовал ИК-осветители и инфракрасные камеры для пространственного и ручного отслеживания. [25] [26]
По словам инсайдера Уэйна Ма, изначально Apple собиралась разрешить перетаскивать программное обеспечение macOS с дисплея в среду пользователя, но была отклонена на раннем этапе из-за ограничений, связанных с базой на iPadOS, и отметила, что система отслеживания рук недостаточно точна для игр. Рабочие также обсуждали сотрудничество с такими брендами, как Nike, для тренировок с гарнитурой, а другие исследовали лицевые подушки, которые лучше подходили для потных, высокоинтенсивных тренировок, но были отклонены из-за аккумуляторной батареи и хрупкого экрана. Функция под названием «совместное присутствие»; проекция всего тела пользователя FaceTime, также была отклонена по неизвестным причинам. [27]
В мае 2022 года совет директоров Apple представил устройство. [28] В июне компания начала набирать директоров и креативщиков для разработки контента для гарнитуры. Один из таких директоров, Джон Фавро , был привлечен для воплощения в жизнь динозавров в своем шоу Prehistoric Planet на Apple TV+ . [29] К апрелю Apple также пыталась привлечь разработчиков для создания программного обеспечения и услуг для гарнитуры. [30] Apple подала более 5000 патентов на технологии, которые способствовали разработке Apple Vision Pro. [31]
Apple Vision Pro был анонсирован на Всемирной конференции разработчиков Apple 2023 (WWDC23) 5 июня 2023 года, а его запуск запланирован на начало 2024 года в США по начальной цене 3499 долларов США . [2] [32]
6 июня, на следующий день после объявления, Apple приобрела стартап по производству гарнитур дополненной реальности Mira, чья технология используется в гонке Mario Kart от Super Nintendo World . У компании есть контракт с ВВС и ВМС США . Одиннадцать сотрудников компании были приняты на борт. [33]
8 января 2024 года Apple объявила, что дата выпуска Apple Vision Pro в США — 2 февраля 2024 года. [34] Оценки первоначальных поставок варьировались от 60 000 до 80 000 единиц. [35] Предварительные заказы начались 19 января 2024 года в 5:00 утра по тихоокеанскому времени [36] , а стартовые поставки были распроданы за 18 минут. [37] Apple продала до 200 000 единиц за двухнедельный период предварительного заказа, [38] большинство из которых должны были быть отправлены через пять-семь недель после дня запуска. [39]
Apple Vision Pro состоит примерно из 300 компонентов. [40] Он имеет изогнутый ламинированный стеклянный дисплей спереди, алюминиевую раму по бокам, гибкую подушку внутри и съемное регулируемое оголовье. Рама содержит пять датчиков, шесть микрофонов и 12 камер. Пользователи видят два 3660 × 3200 пикселей [4] 1,41-дюймовых (3,6 см) микро- OLED- дисплея с общим количеством 23 мегапикселя, обычно работающих со скоростью 90 кадров в секунду через объектив, но могут автоматически настраиваться на 96 или 100 кадров в секунду в зависимости от отображаемого контента. Глаза отслеживаются системой светодиодов и инфракрасных камер, которые составляют основу сканера радужной оболочки глаза устройства под названием Optic ID (используется для аутентификации, как Face ID в iPhone ). Горизонтально установленные двигатели настраивают линзы для индивидуальных положений глаз, чтобы обеспечить четкие и сфокусированные изображения, которые точно отслеживают движения глаз. Датчики, такие как акселерометры и гироскопы, отслеживают движения лица, сводя к минимуму расхождения между реальным миром и проецируемым изображением. [40] Для пользователей с очками по рецепту поддерживаются специальные оптические вставки, которые крепятся магнитом к основной линзе и разработаны в сотрудничестве с Zeiss . Динамик костной проводимости устройства находится внутри оголовья и размещается прямо над ушами пользователя. Он также может виртуализировать объемный звук . [41] [13] [40] Два охлаждающих вентилятора диаметром около 4 см (1,6 дюйма) расположены рядом с глазами, чтобы помочь с рассеиванием тепла из-за высокоскоростной обработки данных. Функция активного шумоподавления противодействует отвлекающим шумам, включая звуки вентилятора. [40] Во время процесса заказа пользователи должны сканировать свое лицо с помощью iPhone или iPad с Face ID для целей подгонки; это можно сделать через приложение Apple Store или в розничном магазине Apple Store. [42] [43]
Apple Vision Pro использует систему Apple M2 на чипе. Он сопровождается сопроцессором, известным как Apple R1, который используется для обработки входных данных датчика в реальном времени . Устройство можно приобрести с тремя конфигурациями внутренней памяти: 256 ГБ, 512 ГБ и 1 ТБ. [36] Он может питаться от внешнего источника питания, порта USB-C на Mac или аккумуляторной батареи, рассчитанной на два с половиной часа использования. [44] [12] Аккумуляторная батарея подключается к гарнитуре с помощью 12-контактного варианта замка разъема Lightning , который можно извлечь с помощью инструмента для извлечения SIM-карты. [45]
Лицо пользователя сканируется гарнитурой во время настройки для создания персоны — реалистичного аватара , используемого функциями ОС. [46] Одной из таких функций является «EyeSight», экран, обращенный наружу, который отображает глаза персоны пользователя. Его глаза кажутся затемненными в дополненной реальности и затемненными в состоянии полного погружения, чтобы указать на осведомленность пользователя об окружающей среде. Когда кто-то приближается или говорит, даже если пользователь полностью погружен, EyeSight показывает виртуальные глаза его персоны как обычно и делает другого человека видимым. [44] [47]
Цифровой регулятор на гарнитуре используется для управления объемом виртуального фона, занимающего поле зрения пользователя, от вида смешанной реальности , где приложения и медиа кажутся плавающими в реальном окружении пользователя, до полного скрытия окружения пользователя. [48] [44]
Аксессуары для Apple Vision Pro от первой стороны включают дорожный футляр за 199 долларов США, оптические вставки Zeiss производства Apple за 99 долларов США для пользователей с дальнозоркостью, [49] светонепроницаемый уплотнитель за 199 долларов США и подушку светонепроницаемого уплотнителя за 29 долларов США. Единственным официальным сторонним аксессуаром, доступным на момент запуска, является держатель батареи, изготовленный Belkin . [50] [51] [52]
Доступен адаптер первой стороны стоимостью 299 долларов США, который можно приобрести только зарегистрированным платным аккаунтам разработчиков Apple. Он заменяет правое соединение оголовья и добавляет порт USB-C для использования разработчиками. [53] [54] [55] Код из диагностических инструментов показал, что адаптер способен взаимодействовать с Apple Vision Pro в диагностическом режиме. [56]
Apple Vision Pro работает под управлением visionOS (внутреннее название xrOS до внесения изменений в последнюю минуту перед WWDC [57] ), которая в основном основана на основных фреймворках iPadOS (включая UIKit , SwiftUI и ARKit ) и фреймворках MR для фовеального рендеринга и взаимодействия в реальном времени. [2] [32]
Операционная система использует трехмерный пользовательский интерфейс , навигация по которому осуществляется с помощью отслеживания пальцев , отслеживания глаз и распознавания речи . Пользователи могут выбирать элементы, посмотрев на них и сжав два пальца вместе, перемещать элемент, перемещая сжатые пальцы, и прокручивать, щелкая запястьем. Приложения отображаются в плавающих окнах , которые можно размещать в трехмерном пространстве. visionOS поддерживает виртуальную клавиатуру для ввода текста, виртуального помощника Siri и внешние периферийные устройства Bluetooth , включая Magic Keyboard , Magic Trackpad и геймпады . [44] [58] visionOS поддерживает зеркалирование экрана на другие устройства Apple с помощью AirPlay . [59] visionOS может зеркалировать основной дисплей устройства macOS с помощью функции «Mac Virtual Display»; Mac также можно управлять с помощью периферийных устройств, сопряженных с гарнитурой. [59]
visionOS поддерживает приложения Vision из App Store и обратно совместима с выбранными приложениями iOS и iPadOS; разработчикам разрешено отказаться от совместимости с visionOS. [60] Netflix , Spotify и YouTube в частности объявили, что не будут выпускать приложения VisionOS при запуске и не будут поддерживать свои приложения iOS на платформе, и рекомендовали пользователям использовать их веб-версии в Safari . [61] Аналитики предположили, что это могло быть результатом напряженных отношений компаний с Apple из-за политик App Store, таких как обязательное распределение доходов в размере 30% , включая связанные с этим обвинения в нарушении антимонопольного законодательства . [62] [63] В интервью со-генеральный директор Netflix Грег Питерс заявил, что Apple Vision Pro слишком нишевый для поддержки компанией в настоящее время, но что «мы всегда ведем переговоры с Apple, чтобы попытаться выяснить это». [64] Представитель YouTube позже заявил The Verge , что у сервиса есть планы по разработке приложения VisionOS в будущем. [65]
Перед официальным выпуском Apple Vision Pro Сэмюэл Аксон из Ars Technica сказал, что Apple Vision Pro — это «действительно то, чего я никогда раньше не видел», отметив интуитивность его пользовательского интерфейса в хореографической демонстрации, предоставленной Apple, и похвалив демонстрацию технологий динозавров за ее иммерсивность. Аксон сказал, что его дисплеи были тусклыми, но «гораздо лучше, чем у других гарнитур, которые я использовал на этом фронте, даже если она все еще не была идеальной», и что персоны выглядели «сюрреалистично», но передавали язык тела лучше, чем более стилизованные аватары (такие как Animoji или Horizon Worlds ). [43] Он утверждал, что Apple Vision Pro не является платформой виртуальной реальности (VR) и не является конкурентом линейки продуктов Quest (ранее Oculus) компании Meta Platforms из-за ее позиционирования как «в первую очередь устройства дополненной реальности, которое просто имеет несколько функций виртуальной реальности», а не как потребительского продукта для массового рынка. [43] Средства массовой информации отметили, что Meta анонсировала Meta Quest 3 незадолго до WWDC, по-видимому, в ожидании объявления Apple. [66] [67] [68] После выпуска генеральный директор Meta Марк Цукерберг заявил, что он опробовал гарнитуру и ему понравилось разрешение ее дисплея и отслеживание глаз, но он по-прежнему считает, что Quest 3 — «лучший продукт» из-за его более низкой цены и «закрытой» экосистемы Apple. [69]
Джей Питерс из The Verge также отметил, что Apple не представляла Apple Vision Pro как платформу виртуальной реальности и не называла устройство гарнитурой, а описывала его как устройство дополненной реальности и «пространственный компьютер», а также демонстрировала только не-VR-игры, отображаемые в окнах и управляемые с помощью внешнего геймпада, а не полностью иммерсивные впечатления, такие как игры и социальные платформы (включая контроллеры движения ). Он предположил, что такое позиционирование «оставляет место для маневра для вероятного будущего этой технологии, которая совсем не похожа на громоздкую гарнитуру виртуальной реальности: очки дополненной реальности ». [70] В рекомендациях App Store для visionOS также указано, что разработчикам следует называть программное обеспечение visionOS «пространственными вычислениями» или «приложениями для визуализации» и избегать использования таких терминов, как «дополненная реальность» и «смешанная реальность». [71] [72]
После первоначального анонса Apple Vision Pro его критиковали из-за его высокой стоимости, как слишком высокой для того, чтобы стать мейнстримом; [73] [74] [75] три самых дорогих компонента в Apple Vision Pro — это его камера и массив датчиков, его двойные кремниевые чипы Apple и два дисплея виртуальной реальности 4K micro-OLED. Сообщается, что Apple работает над более дешевой моделью, выпуск которой запланирован на конец 2025 года, и моделью второго поколения с более быстрым процессором. [76] Apple Vision Pro также подвергся критике за короткое время работы от батареи, [77] отвлекающий внимание других, [77] и отсутствие входа HDMI [78] [79] и тактильной обратной связи. [77]
Apple Vision Pro получил смешанные и положительные отзывы. Нилай Патель из The Verge похвалил дизайн гарнитуры, назвав его более премиальным и менее «глупым» по сравнению с другими существующими гарнитурами виртуальной реальности, посчитал, что ее дисплеи «в целом невероятны» по своей четкости и яркости, у нее самое высокое качество передачи видео, которое он когда-либо видел на гарнитурах виртуальной реальности (даже при более узком поле зрения , чем у Meta Quest 3), и что ее динамики имеют «убедительный» пространственный звуковой эффект. Однако он считал, что «в этой штуке так много технологий, что кажется магией, когда она работает, и полностью расстраивает, когда не работает», приводя в пример такие как сквозные камеры (которые «не могут преодолеть внутреннюю природу камер и дисплеев»), отслеживание глаз и рук, которое было «непоследовательным» и «разочаровывающим» в использовании (с частями интерфейса visionOS, требующими точности, которую не могла обеспечить система отслеживания глаз), в visionOS отсутствовал инструмент управления окнами, похожий на Expose или Stage Manager, и что функции персонажей и EyeSight были сверхъестественными (видимость последнего была затруднена тусклым дисплеем с низким разрешением, покрытым отражающим стеклом). Патель считал, что Apple Vision Pro должен был стать комплектом разработки для будущих очков дополненной реальности, поскольку текущая форма устройства была — с технологической и философской точек зрения — слишком ограниченной для амбиций Apple и «могла непреднамеренно раскрыть, что некоторые из этих основных идей на самом деле являются тупиковыми». [80]
Джоанна Стерн из The Wall Street Journal поддержала это мнение, заявив, что это «лучшая гарнитура смешанной реальности, которую я когда-либо пробовала», и «многое из того, что может делать Vision Pro, кажется научной фантастикой », но что «эти компании знают, что это не совсем те устройства, которые нам нужны. Они все работают над тем, чтобы превратить виртуальные возможности во что-то, что больше похоже на пару обычных очков. До тех пор они просто морочат нам голову». [81]
Отзывы покупателей Apple Vision Pro были неоднозначными. Один человек попытался управлять автомобилем, используя устройство, о чем Apple предостерегает в руководстве пользователя Apple Vision Pro. [82] Другие пользователи выкладывали видео, на которых они используют устройство во время ходьбы, функция, которая официально не поддерживалась на момент запуска. [83]
Некоторые экспериментировали с готовкой, надевая гарнитуру, что не рекомендуется Apple. Это позволяет пользователям легко видеть пошаговые инструкции во время готовки. [84] Его использование также было задокументировано как потенциальный инструмент в операционной, дополнительные варианты использования включают образование, производительность, продажи, сотрудничество и цифровых близнецов . [85] [86]
Вскоре после запуска некоторые владельцы сообщили о спонтанно появляющихся микротрещинах на переднем дисплее над переносицей. [87] [88] [89]