Apple Vision Pro — гарнитура смешанной реальности, разработанная Apple Inc. О ней было объявлено 5 июня 2023 года на Всемирной конференции разработчиков Apple , а предварительные заказы начались 19 января 2024 года. Она стала доступна для покупки 2 февраля 2024 года. , В Соединенных Штатах. [10] Мировой запуск пока не запланирован. Apple Vision Pro — это первая новая крупная категория продуктов Apple с момента выпуска Apple Watch в 2015 году. [11]
Apple позиционирует Apple Vision Pro как « пространственный компьютер », в котором цифровые медиа интегрированы с реальным миром. Физические входные данные, такие как жесты движения, отслеживание глаз и распознавание речи , могут использоваться для взаимодействия с системой. [10] Apple избегала маркетинга устройства как гарнитуры виртуальной реальности при обсуждении продукта в презентациях и маркетинге. [12]
Устройство работает под управлением VisionOS , [13] операционной системы смешанной реальности, созданной на основе платформ iOS и использующей трехмерный пользовательский интерфейс ; он поддерживает многозадачность через окна , которые кажутся парящими в пространстве вокруг пользователя [14] , как это видно с помощью камер, встроенных в гарнитуру. Диск в верхней части гарнитуры можно использовать для маскировки изображения с камеры в виртуальной среде для увеличения погружения. ОС поддерживает аватары (официально называемые «Персонами»), которые генерируются путем сканирования лица пользователя; экран на передней части гарнитуры отображает изображение глаз аватара («EyeSight»), которые используются для обозначения уровня погружения пользователя для окружающих и помогают в общении. [15]
В мае 2015 года Apple приобрела немецкую компанию дополненной реальности (AR) Metaio , первоначально отделившуюся от Volkswagen . [16] В том же году Apple наняла Майка Роквелла из Dolby Laboratories . Роквелл сформировал команду под названием Technology Development Group, в которую вошли соучредитель Metaio Питер Мейер и менеджер Apple Watch Флетчер Роткопф. Команда разработала демоверсию AR в 2016 году, но против нее выступил главный дизайнер Джони Айв и его команда. Эксперт по дополненной и виртуальной реальности (VR) и бывший специалист НАСА Джефф Норрис был нанят в апреле 2017 года. [17] [18] Команда Rockwell помогла выпустить ARKit в 2017 году с iOS 11 . Команда Роквелла стремилась создать гарнитуру и работала с командой Айва; Решение открыть глаза владельца через фронтальный дисплей было хорошо встречено командой промышленных дизайнеров. [19]
Разработка гарнитуры пережила период неопределенности с уходом Айва в 2019 году. Его преемник Эванс Хэнки покинул компанию в 2023 году. [20] Старший технический менеджер Джефф Шталь, подчиняющийся Rockwell, руководил разработкой операционной системы VisionOS. , [18] [21] после того, как ранее работал над играми и графическими технологиями в Apple. [22] Гарнитура расширенной реальности Apple задумана как мост к будущим легким очкам дополненной реальности, которые пока технически неосуществимы. [23] [24] В ноябре 2017 года Apple приобрела канадскую компанию MR Vrvana за 30 миллионов долларов. Тотем Врвана смог накладывать полностью непрозрачную, полноцветную анимацию поверх реального мира, а не призрачные проекции других гарнитур AR, которые не могут отображать черный цвет. Ему удалось сделать это, избегая при этом часто заметной задержки между камерами, снимающими внешний мир, и одновременно сохраняя поле зрения 120 градусов при частоте 90 Гц. Тотем также использовал ИК-осветители и инфракрасные камеры для пространственного отслеживания и отслеживания рук. [25] [26]
По словам лидера Уэйна Ма, Apple изначально собиралась разрешить перетаскивание программного обеспечения macOS с дисплея в среду пользователя, но на раннем этапе от этого отказались из-за ограничений, связанных с базой на iOS, и отметили, что система отслеживания рук недостаточно точна. для игр. Работники также обсудили сотрудничество с такими брендами, как Nike , для тренировок с гарнитурой, а другие исследовали подушки для лица, которые лучше подходили для потных и высокоинтенсивных тренировок, но были выброшены из-за аккумуляторного блока и хрупкого экрана. Функция под названием «совместное присутствие»; проекция всего тела пользователя FaceTime также была удалена по неизвестным причинам. [27]
В мае 2022 года руководство Apple представило устройство, в том числе генеральный директор Тим Кук . [28] В июне компания начала нанимать режиссеров и креативщиков для разработки контента для гарнитуры. Один из таких режиссеров, Джон Фавро , был приглашен для того, чтобы оживить динозавров в своем шоу Apple TV+ «Доисторическая планета» . [29] К апрелю Apple также пыталась привлечь разработчиков для создания программного обеспечения и услуг для гарнитуры. [30] Apple подала более 5000 патентов на технологии, которые способствовали разработке Apple Vision Pro. [31]
Apple Vision Pro было анонсировано на Всемирной конференции разработчиков Apple 2023 (WWDC23) 5 июня 2023 года и будет запущено в начале 2024 года в США по стартовой цене 3499 долларов США . [2] [32]
6 июня, на следующий день после объявления, Apple приобрела стартап Mira, занимающийся AR-гарнитурами, чьи технологии используются в аттракционе Mario Kart в Super Nintendo World . Компания имеет контракт с ВВС и ВМС США . На борт были привлечены одиннадцать сотрудников компании. [33]
8 января 2024 года Apple объявила, что дата выпуска Apple Vision Pro в США наступит 2 февраля 2024 года . [35] Предварительные заказы начались 19 января 2024 года в 5:00 утра по тихоокеанскому времени [36] , а стартовые поставки были распроданы за 18 минут. [37] Apple продала до 200 000 единиц за две недели предварительного заказа, [38] большая часть которых должна была быть отгружена через пять-семь недель после дня запуска. [39]
Apple Vision Pro состоит примерно из 300 компонентов. [40] Он имеет изогнутый многослойный стеклянный дисплей спереди, алюминиевую рамку по бокам, гибкую подушку внутри и съемное регулируемое оголовье. Рамка содержит пять датчиков, шесть микрофонов и 12 камер. Пользователи видят два дисплея microOLED размером 3660x3200 пикселей [4] с диагональю 1,41 дюйма (3,6 см) и общим разрешением 23 мегапикселя , которые обычно работают со скоростью 90 кадров в секунду через объектив, но могут автоматически регулироваться до 96 или 100 кадров в секунду в зависимости от отображаемого контента. За глазами следит система светодиодов и инфракрасных камер, которые составляют основу сканера радужной оболочки глаза устройства под названием Optic ID (используется для аутентификации, как Face ID в iPhone ). Горизонтально расположенные моторы регулируют линзы в соответствии с индивидуальным положением глаз, обеспечивая четкое и сфокусированное изображение, точно отслеживающее движения глаз. Датчики, такие как акселерометры и гироскопы , отслеживают движения лица, сводя к минимуму расхождения между реальным миром и проецируемым изображением. [40] Для пользователей очков по рецепту поддерживаются специальные оптические вставки, которые прикрепляются к основной линзе с помощью магнита и разрабатываются в сотрудничестве с Zeiss . Динамик костной проводимости устройства находится внутри оголовья и расположен прямо над ушами пользователя. Он также может виртуализировать объемный звук . [41] [13] [40] Два охлаждающих вентилятора диаметром около 4 см (1,6 дюйма) расположены рядом с глазами, чтобы способствовать рассеиванию тепла за счет высокоскоростной обработки данных. Функция активного шумоподавления подавляет отвлекающие шумы, в том числе звуки вентилятора. [40] В процессе заказа пользователи должны отсканировать свое лицо с помощью iPhone или iPad с Face ID для подгонки; это можно сделать через приложение Apple Store или в розничном магазине Apple Store. [42] [43]
Apple Vision Pro использует систему Apple M2 на кристалле. Он сопровождается сопроцессором, известным как Apple R1, который используется для обработки входных данных датчиков в реальном времени . Устройство можно приобрести с тремя конфигурациями внутреннего хранилища: 256 ГБ, 512 ГБ и 1 ТБ. [36] Его можно питать от внешнего источника питания, порта USB-C на Mac или от аккумуляторной батареи, рассчитанной на два с половиной часа использования. [44] [12] Аккумулятор подключается к гарнитуре с помощью несъемного 12-контактного варианта разъема Lightning . [45]
Лицо пользователя сканируется гарнитурой во время настройки для создания персонажа — реалистичного аватара , используемого функциями ОС. [46] Одной из таких функций является «EyeSight», обращенный наружу дисплей, на котором отображаются глаза пользователя. Его глаза кажутся тусклыми в дополненной реальности и затемненными при полном погружении, что указывает на осведомленность пользователя об окружающей среде. Когда кто-то приближается или говорит, даже если пользователь полностью погружен в воду, EyeSight нормально показывает виртуальные глаза его персонажа и делает другого человека видимым. [44] [47]
Цифровой диск с заводной головкой на гарнитуре используется для управления количеством виртуального фона, занимающего поле зрения пользователя: от представления смешанной реальности , где приложения и медиа кажутся плавающими в реальном окружении пользователя, до полного скрытия экрана пользователя. окружение. [48] [44]
Собственные потребительские аксессуары для Apple Vision Pro включают дорожную сумку стоимостью 199 долларов США, оптические вставки Zeiss производства Apple за 99 долларов США для пользователей с дальнозоркостью, [49] световую пломбу стоимостью 199 долларов США и подушечку световой пломбы стоимостью 29 долларов США. Единственный официальный аксессуар стороннего производителя, доступный на момент запуска, — это держатель аккумулятора производства Belkin . [50] [51] [52]
Доступен адаптер первого производителя стоимостью 299 долларов США, который может быть приобретен только зарегистрированными платными учетными записями разработчиков Apple. Он заменяет правильное подключение головного ремня и добавляет порт USB-C для использования разработчиками. [53] [54] [55] Код инструментов диагностики показал, что адаптер способен взаимодействовать с Apple Vision Pro в диагностическом режиме. [56]
Apple Vision Pro работает под управлением VisionOS (внутренне называемой xrOS до внесения изменений в последнюю минуту перед WWDC [57] ), которая основана в основном на базовых платформах iOS (включая UIKit , SwiftUI и ARKit) и специфичных для MR фреймворках для фовеатного рендеринга и взаимодействие в режиме реального времени. [2] [32]
Операционная система использует трехмерный пользовательский интерфейс, навигация которого осуществляется посредством отслеживания пальцев , отслеживания глаз и распознавания речи . Пользователи могут выбирать элементы, глядя на них и сжимая два пальца, перемещать элемент, перемещая сведенные пальцы, и прокручивать, щелкая запястьем. Приложения отображаются в плавающих окнах , которые можно расположить в трехмерном пространстве. VisionOS поддерживает виртуальную клавиатуру для ввода текста, виртуального помощника Siri и внешние периферийные устройства Bluetooth , включая Magic Keyboard , Magic Trackpad и геймпады . [44] [58] VisionOS поддерживает дублирование экрана на другие устройства Apple с помощью AirPlay . [59] VisionOS может зеркально отображать основной дисплей устройства MacOS с помощью функции «Mac Virtual Display»; Mac также можно управлять с помощью периферийных устройств, сопряженных с гарнитурой. [59]
VisionOS поддерживает приложения для машинного зрения из App Store и обратно совместим с некоторыми приложениями iOS и iPadOS ; разработчикам разрешено отказаться от совместимости с VisionOS. [60] Netflix , Spotify и YouTube, в частности, объявили, что они не будут выпускать приложения VisionOS при запуске, а также поддерживать свои приложения iOS на платформе, и рекомендовали пользователям использовать их веб-версии в Safari . [61] Аналитики предположили, что это могло быть результатом напряженных отношений компаний с Apple из-за политики App Store, такой как обязательное распределение доходов в размере 30% , включая связанные с этим антимонопольные обвинения . [62] [63] В интервью со-генеральный директор Netflix Грег Питерс заявил, что Apple Vision Pro слишком нишева, чтобы компания могла ее поддерживать в настоящее время, но что «мы всегда ведем переговоры с Apple, чтобы попытаться понять, что вне". [64] Позже представитель YouTube заявил The Verge , что у сервиса есть планы по разработке приложения VisionOS в будущем. [65]
Перед официальным выпуском Apple Vision Pro Сэмюэл Аксон из Ars Technica сказал, что Apple Vision Pro — это «действительно то, чего я никогда раньше не видел», отметив интуитивность его пользовательского интерфейса в хореографической демонстрации, предоставленной Apple, и похвалив технологию динозавра . демо из-за его захватывающего духа. Axon заявила, что ее дисплеи были тусклыми, но «намного лучше, чем у других гарнитур, которые я использовал в этом плане, даже если они все еще не были идеальными», и что персонажи выглядели «сюрреалистично», но передавали язык тела лучше, чем более стилизованный аватар. (например, Animoji или Horizon Worlds ). [43] Он утверждал, что Apple Vision Pro не является ни платформой виртуальной реальности (VR), ни конкурентом линейки продуктов Quest (ранее Oculus) компании Meta Platforms , поскольку она позиционируется как «в первую очередь AR-устройство, которое просто так получилось несколько функций VR», а не как потребительский продукт для массового рынка. [43] Средства массовой информации заметили, что Meta анонсировала Meta Quest 3 незадолго до WWDC, по-видимому, в ожидании анонса Apple. [66] [67] [68] После ее выпуска генеральный директор Meta Марк Цукерберг заявил, что он продемонстрировал гарнитуру, и ему понравилось ее разрешение дисплея и отслеживание взгляда, но он все же считал Quest 3 «лучшим продуктом» из-за ее более низкой цены и «Закрытая» экосистема Apple. [69]
Джей Питерс из The Verge также отметил, что Apple не представила Apple Vision Pro как платформу VR и не назвала устройство гарнитурой, а описала его как устройство AR и «пространственный компьютер», а продемонстрировала только игры, не относящиеся к VR, представленные на Windows и управление с помощью внешнего геймпада, а не полностью захватывающие возможности, такие как игры и социальные платформы (включая контроллеры движений ). Он предположил, что такое позиционирование «оставляет пространство для маневра для вероятного будущего этой технологии, которая совсем не похожа на громоздкую гарнитуру VR: очки AR ». [70] В рекомендациях App Store для VisionOS также говорится, что разработчикам следует называть программное обеспечение VisionOS «опытом пространственных вычислений» или «приложениями для машинного зрения» и избегать использования таких терминов, как «дополненная реальность» и «смешанная реальность». [71] [72]
После первоначального анонса Apple Vision Pro его раскритиковали из-за его высокой стоимости, которая слишком высока для массового распространения; [73] [74] [75] Три самых дорогих компонента Apple Vision Pro — это камера и массив датчиков, два кремниевых чипа Apple и два дисплея виртуальной реальности 4K micro-OLED. Сообщается, что Apple работает над более дешевой моделью, выпуск которой запланирован на конец 2025 года, и моделью второго поколения с более быстрым процессором. [76] Apple Vision Pro также подвергался критике из-за короткого времени автономной работы, [77] того, что он отвлекал окружающих, [77] и отсутствия входа HDMI [78] [79] и тактильной обратной связи. [77]
Apple Vision Pro получил смешанные и положительные отзывы. Нилай Патель из The Verge похвалил дизайн гарнитуры как более премиальный и менее «тупой» по сравнению с другими существующими VR-гарнитурами, посчитал, что ее дисплеи «в целом невероятны» по четкости и яркости, а также обеспечивает высочайшее качество передачи видео. видел на гарнитуре MR (даже с более узким полем зрения, чем у Meta Quest 3), и что ее динамики имели «убедительный» пространственный звуковой эффект. Однако он чувствовал, что «в этой штуке так много технологий, которые кажутся волшебными, когда они работают, и полностью расстраивают вас, когда это не работает», приводя в пример такие примеры, как сквозные камеры (которые «преодолевают присущую природе камер и дисплеев «), отслеживание глаз и рук, которое было «непоследовательным» и «разочаровывающим» в использовании (части интерфейса VisionOS требовали точности, которую не могла обеспечить система отслеживания глаз), в VisionOS не было инструмента управления окнами, подобного Expose или Stage Manager, и что персонажи и функции EyeSight были сверхъестественными (видимость последнего затруднялась тусклым дисплеем с низким разрешением, закрытым отражающим стеклом). Патель считал, что Apple Vision Pro должен был стать комплектом для разработки будущих очков дополненной реальности, поскольку текущая форма устройства была — с технологической и философской точки зрения — слишком ограничивающей амбиции Apple, и «могла непреднамеренно обнаружить, что некоторые из этих основных идей фактически тупик». [80]
Джоанна Стерн из The Wall Street Journal поддержала это мнение, заявив, что это «лучшая гарнитура смешанной реальности, которую я когда-либо пробовала», и «большая часть того, что может сделать Vision Pro, кажется научной фантастикой », но что «эти компании знают, что на самом деле это не те устройства, которые нам нужны. Все они работают над тем, чтобы превратить виртуальные впечатления во что-то, что больше похоже на пару обычных очков. А пока они просто морочат нам голову». [81]
Большинство отзывов покупателей Apple Vision Pro также были от смешанных до положительных. В то время как многие пользователи Reddit, похоже, были очень довольны устройством и очарованы концепцией пространственного компьютера, другие жаловались на маленькое поле зрения или отсутствие обычных качеств виртуальной реальности. [82]
Один человек пытался управлять автомобилем, используя устройство, о чем Apple предупреждает в руководстве пользователя Apple Vision Pro. [83] Другие пользователи публиковали видео, на которых они используют устройство во время ходьбы — функция, официально не поддерживаемая на момент запуска. [84]
Некоторые экспериментировали с приготовлением пищи, надевая гарнитуру, что не рекомендуется Apple. Это позволяет пользователям легко видеть пошаговые инструкции во время приготовления. [85] Его использование также было задокументировано как потенциальный инструмент в операционной, дополнительные варианты использования включают образование, производительность, продажи, сотрудничество и цифровые двойники . [86] [87]
Вскоре после запуска некоторые владельцы сообщили о спонтанном появлении микротрещин на переднем дисплее над переносицей. [88] [89] [90]
