stringtranslate.com

2D плюс глубина

2D-изображение и его карта глубины
2D-изображение и его карта глубины, более светлые области карты глубины считаются более близкими к зрителю.

2D-plus-Depth — это формат кодирования стереоскопического видео , который используется для 3D-дисплеев, таких как Philips WOWvx. Philips прекратила работу над линейкой WOWvx в 2009 году, сославшись на «текущие события на рынке». [1] В настоящее время эту технологию Philips использует компания SeeCubic, возглавляемая бывшими ключевыми 3D-инженерами и учеными Philips. Они предлагают автостереоскопические 3D-дисплеи, которые используют формат 2D-plus-Depth для ввода 3D-видео. [2]

Обзор

Формат 2D-plus-Depth описан в официальном документе Philips [3] и статьях. [4]

Каждый кадр 2D-изображения дополняется картой глубины в оттенках серого , которая указывает, должен ли определенный пиксель 2D-изображения отображаться перед дисплеем (белый) или за плоскостью экрана (черный). 256 оттенков серого позволяют создать плавный градиент глубины изображения. Обработка на мониторе использовала этот вход для рендеринга многоракурсных изображений.

При поддержке различных компаний в индустрии дисплеев технология 2D-plus-Depth была стандартизирована в MPEG как расширение для 3D, зарегистрированное в стандарте ISO/IEC FDIS 23002-3:2007(E). [5]

Существует также расширение формата 2D-plus-Depth, называемое форматом WOWvx Declipse. Он описан в том же официальном документе Philips «Спецификации 3D-интерфейса». В этом расширенном формате к исходному 2D-изображению и его карте глубины для каждого кадра добавляются еще две плоскости: области фона, покрытые объектами переднего плана, и соответствующая им карта глубины. Итак, каждый кадр в формате Declipse описывается изображением, содержащим четыре части, или квадранта. Это расширение улучшает потенциальное качество изображения, предоставляя данные для более правильного и точного заполнения непокрытых областей окклюзии, созданных путем смещения объектов переднего плана в процессе создания мультивида.

Преимущества

Преимущество 2D-plus-Depth заключается в ограниченном увеличении пропускной способности по сравнению с 2D (сжатие оттенков серого увеличивает пропускную способность на 5–20%), поэтому его можно использовать в существующих инфраструктурах распределения.

2D-plus-Depth обеспечивает гибкость и совместимость с существующим производственным оборудованием и инструментами сжатия. [6] [7]

Это позволяет приложениям использовать разные размеры и дизайны экранов 3D-дисплеев в одной системе.

Еще одним преимуществом является то, что карты глубины создаются в ходе преобразования 2D в стерео 3D с использованием практически любого подхода к такому преобразованию видео. [8] Именно поэтому почти во всех случаях существует соответствующее представление конвертированного стереоматериала в формате 2D плюс глубина. Учитывая отсутствие 3D-контента, снятого в стереорежиме, и количество конвертированных 3D-фильмов , это большое преимущество.

Недостатки

Технология 2D-plus-Depth несовместима с существующими дисплеями 2D или 3D-Ready. Формат подвергся критике из-за ограниченной глубины, которую можно отобразить в 8-битной шкале серого.

2d-plus-Depth не может обрабатывать прозрачность (полупрозрачные объекты в сцене) и окклюзию (объект, блокирующий вид другого). Формат 2d плюс DOT учитывает эти факторы. [9] Кроме того, он не может обрабатывать отражение, преломление (кроме простой прозрачности) и другие оптические явления.

Создание точных изображений 2D плюс глубина может быть дорогостоящим и трудным, хотя последние достижения в области визуализации дальности сделали этот процесс более доступным. [10] [11]

В режиме 2d-plus-Depth отсутствует потенциальное увеличение разрешения при использовании двух полных изображений.

В большинстве случаев глубину монокулярного видео невозможно надежно оценить. Заметными исключениями являются сцены движения камеры, когда движение объекта статично или почти отсутствует, и пейзажные сцены, когда карту глубины можно достаточно хорошо аппроксимировать градиентом. Это позволяет автоматически оценивать глубину. [12] [13] В общем случае для преобразования 2D в 2D плюс глубина возможен только полуавтоматический подход. Компания Philips разработала пакет программного обеспечения для создания 3D-контента под названием BlueBox [14] , который включает в себя полуавтоматическое преобразование 2D-контента в формат 2D-плюс-глубина и автоматическое создание 2D-плюс-глубины из стерео. Похожий полуавтоматический подход к высококачественному преобразованию 2D в 2D плюс глубина реализован в пакете 2D to 3D Suite от YUVsoft, доступном в виде набора плагинов для After Effects и программного обеспечения для видеокомпозиции NUKE. [15]

Преобразование стереоскопического изображения в формат 2D плюс глубина включает в себя несколько алгоритмов, включая обнаружение изменения сцены, сегментацию, оценку движения и сопоставление изображений. Автоматическое преобразование стерео в 2D+Depth теперь возможно благодаря новому высокопроизводительному программному обеспечению и технологии графического процессора даже в режиме реального времени. [16]

Альтернативы

Другими форматами 3D являются стерео (левый-правый или чередующиеся кадры) и многоракурсный 3D-формат (например, многоракурсное видеокодирование и масштабируемое видеокодирование), а также 2D плюс Delta .

Рекомендации

  1. ^ «Philips решает прекратить работу с 3D, 27 марта 2009 г.». Архивировано из оригинала 23 августа 2010 г. Проверено 3 июня 2010 г.
  2. ^ «3D-дисплеи и технологии Dimenco» . Архивировано из оригинала 17 марта 2014 г. Проверено 17 марта 2014 г.
  3. ^ «Решения Philips 3D: Технический документ о характеристиках 3D-интерфейса» (PDF) . Архивировано из оригинала (PDF) 15 июля 2011 г. Проверено 3 июня 2010 г.
  4. ^ Редерт, Андре; и другие. (2006). 3D-решения Philips: от создания контента к визуализации . Третий международный симпозиум по обработке, визуализации и передаче 3D-данных (3DPVT'06). дои :10.1109/3DPVT.2006.107.
  5. ^ Предварительный просмотр «ISO/IEC 23002-3. Информационные технологии. Видеотехнологии MPEG. Часть 3. Представление вспомогательного видео и дополнительной информации»
  6. ^ «2D+Z и его преимущества». Архивировано из оригинала 17 марта 2014 г. Проверено 17 марта 2014 г.
  7. ^ Адаптация и оптимизация алгоритмов кодирования для мобильного 3DTV.
  8. ^ Преобразования 2D в 3D Скотта Сквайрса
  9. ^ Бернард Ф. Колл, Фейсал Иштиак, Кевин О'Коннелл (2010) «3DTV дома: статус, проблемы и решения для обеспечения высокого качества». Архивировано 19 июля 2011 г. на Wayback Machine Proceedings VPQM 2010.
  10. ↑ Уилсон, Эндрю (1 июля 2004 г.). «Однокристальный датчик CMOS захватывает трехмерные изображения». Архивировано 5 февраля 2013 г. на archive.today . Системы видения .
  11. ^ Спейр, Джеймс (август 2004 г.). «Машинное зрение: добавление третьего измерения. Технология электронного восприятия — это новый способ проводить прямые, а не производные измерения глубины целевых объектов». Архивировано 18 октября 2006 г. в Wayback Machine . Датчики .
  12. ^ Пример автоматического преобразования 2D в 2D плюс глубина для сцены движения камеры.
  13. ^ Автоматическая оценка глубины на основе геометрии сцены.
  14. ^ «BlueBox — пакет услуг по созданию 3D-контента, генерирующий 3D-контент в формате 2D-плюс-глубина» . Архивировано из оригинала 15 июля 2011 г. Проверено 3 июня 2010 г.
  15. ^ Программное обеспечение YUVsoft 2D в 3D Suite для преобразования 2D в стерео 3D под управлением человека.
  16. ^ Пример автоматического преобразования стерео в 2D + Depth.