stringtranslate.com

Фовеальная визуализация

Фовеальный рендеринг — это метод рендеринга , который использует устройство отслеживания глаз , интегрированное с гарнитурой виртуальной реальности, для снижения рабочей нагрузки рендеринга за счет значительного снижения качества изображения в периферическом зрении (вне зоны, на которую смотрит фовеа ). [1] [2]

Менее сложный вариант, называемый фиксированной фовеальной визуализацией, не использует отслеживание глаз, а вместо этого предполагает фиксированную точку фокусировки. [3] [4]

История

Исследования в области фовеальной визуализации начались как минимум в 1991 году. [5]

На Tech Crunch Disrupt SF 2014 компания Fove представила гарнитуру с функцией фовеального рендеринга. [6] За этим последовал успешный кикстартер в мае 2015 года. [7]

На выставке CES 2016 компания SensoMotoric Instruments (SMI) продемонстрировала новую систему отслеживания глаз с частотой 250 Гц и работающее решение для фовеального рендеринга. Это стало результатом партнерства с производителем сенсоров камер Omnivision , который предоставил аппаратное обеспечение камеры для новой системы. [8] [9]

В июле 2016 года компания Nvidia продемонстрировала на конференции SIGGRAPH новый метод фовеального рендеринга, который, как утверждается, невидим для пользователей. [1] [10]

В феврале 2017 года компания Qualcomm анонсировала комплект для разработки виртуальной реальности Snapdragon 835 (VRDK), включающий поддержку фовеального рендеринга под названием Adreno Foveation. [11] [12]

7 января на выставке CES 2019 компания HTC анонсировала новую гарнитуру виртуальной реальности Vive Pro Eye с функцией отслеживания глаз и поддержкой фовеального рендеринга. [13] [14]

В декабре 2019 года SDK Oculus Quest от Facebook предоставил разработчикам доступ к динамическому фиксированному фовеальному рендерингу, что позволило изменять уровень детализации на лету с помощью API. [15]

4 января 2022 года Sony объявила, что их продолжение PlayStation VR будет включать в себя отслеживание глаз и фовеальный рендеринг. [16]

5 июня 2023 года Apple объявила, что гарнитура расширенной реальности Apple Vision Pro включает в себя динамическую фовеальную визуализацию. [17]

Использовать

По словам главного научного сотрудника Oculus Майкла Абраша , использование фовеального рендеринга в сочетании с разреженным рендерингом и реконструкцией изображений с помощью глубокого обучения может потребовать на порядок меньше пикселей для рендеринга по сравнению с полным изображением. [18] Позднее эти результаты были продемонстрированы и опубликованы. [19]


Фовеальный рендеринг с отслеживанием глаз был продемонстрирован в таких продуктах, как гарнитуры Meta Quest Pro (выпущена в 2022 году) и Sony PlayStation VR2 (выпущена в 2023 году). [20]

Смотрите также

Ссылки

  1. ^ ab Parrish, Kevin (2016-07-22). "Nvidia планирует доказать, что новый метод улучшает качество изображения в виртуальной реальности". Digital Trends . Получено 2017-02-02 .
  2. ^ "Понимание фовеальной визуализации". Sensics . 2016-04-11. Архивировано из оригинала 2017-12-01 . Получено 2017-02-04 .
  3. ^ Карботт, Кевин (30 марта 2018 г.). «Что такое фиксированный фовеальный рендеринг и почему он важен?». Tom's Hardware . Получено 9 сентября 2019 г.
  4. ^ Орланд, Кайл (21 марта 2016 г.). «Как Valve добилась приемлемого запуска виртуальной реальности на четырехлетней видеокарте». Ars Technica . Получено 9 сентября 2019 г.
  5. ^ Ван, Лили; Ши, Сюэхуай; Лю, И (2023). «Фовеальный рендеринг: обзор современного уровня техники». Computational Visual Media . 9 (2): 195–228. arXiv : 2211.07969 . doi : 10.1007/s41095-022-0306-4. S2CID  253523241.
  6. ^ "FOVE использует отслеживание глаз, чтобы сделать виртуальную реальность более захватывающей". TechCrunch . 10 сентября 2014 г. Получено 06.02.2019 .
  7. ^ "FOVE: Первая в мире гарнитура виртуальной реальности с отслеживанием движений глаз". Kickstarter . Получено 06.02.2019 .
  8. ^ Мейсон, Уилл (15.01.2016). «250-Гц отслеживание глаз и фовеальный рендеринг от SMI реальны, а их стоимость может вас удивить». UploadVR . Получено 02.02.2017 .
  9. ^ Мейсон, Уилл (15.01.2016). «Отслеживание глаз с частотой 250 Гц и фовеальный рендеринг от SMI реальны, а их стоимость может вас удивить». UploadVR . Получено 18.06.2020 .
  10. ^ "NVIDIA сотрудничает с SMI в области инновационной технологии рендеринга, которая улучшает VR". Nvidia . 2016-01-21 . Получено 2017-02-02 .
  11. ^ "Qualcomm представляет комплект для разработки виртуальной реальности Snapdragon 835". Qualcomm . 2017-02-23 . Получено 2021-06-01 .
  12. ^ "Фовеация в игровых движках". vr.tobii.com . Получено 01.06.2021 .
  13. ^ Статт, Ник (07.01.2019). "HTC анонсирует новую гарнитуру виртуальной реальности Vive Pro Eye с функцией отслеживания глаз". The Verge . Получено 14.01.2019 .
  14. ^ Мэн, Сяосюй; Ду, Руофэй; Цвикер, Маттиас; Варшни, Амитабх (2018-07-01), «Kernel Foveated Rendering», Труды ACM по компьютерной графике и интерактивным технологиям , 1 : 1–20, doi :10.1145/3203199, S2CID  4899582 , получено 2018-07-01
  15. ^ "Oculus Quest получает динамический фиксированный фовеальный рендеринг". VentureBeat . 2019-12-22 . Получено 2020-01-21 .
  16. ^ "PlayStation VR2 и контроллер PlayStation VR2 Sense: следующее поколение VR-игр на PS5". 4 января 2022 г.
  17. ^ «Откройте для себя visionOS». 7 июня 2023 г.
  18. ↑ Oculus (2018-09-26), Oculus Connect 5 | Основной день 01 , получено 2018-09-30
  19. ^ Капланян, Антон (2020-05-15). "DeepFovea: AR/VR-рендеринг, вдохновленный человеческим зрением". YouTube . Получено 2020-05-15 .
  20. ^ "PSVR 2 Foveated Rendering обеспечивает производительность в 3,6 раза выше - Unity". UploadVR . 2022-04-27 . Получено 2022-04-27 .

Внешние ссылки