2D-plus-Depth — это формат стереоскопического видеокодирования , который используется для 3D-дисплеев, таких как Philips WOWvx. Philips прекратила работу над линейкой WOWvx в 2009 году, сославшись на «текущее развитие рынка». [1] В настоящее время эта технология Philips используется компанией SeeCubic, возглавляемой бывшими ключевыми 3D-инженерами и учеными Philips. Они предлагают автостереоскопические 3D-дисплеи, которые используют формат 2D-plus-Depth для 3D-видеовхода. [2]
Формат 2D-plus-Depth описан в официальном документе Philips [3] и статьях [4] .
Каждый кадр 2D-изображения дополняется картой глубины в оттенках серого , которая указывает, должен ли определенный пиксель в 2D-изображении отображаться перед дисплеем (белый) или за плоскостью экрана (черный). 256 оттенков серого могут создать плавный градиент глубины в изображении. Обработка в мониторе использовала этот ввод для визуализации многовидовых изображений.
Поддерживаемый различными компаниями в индустрии дисплеев, формат 2D-plus-Depth был стандартизирован в MPEG как расширение для 3D, зарегистрированное в соответствии с ISO/IEC FDIS 23002-3:2007(E). [5]
Существует также расширение формата 2D-plus-Depth, называемое форматом WOWvx Declipse. Он описан в той же белой книге Philips "Спецификации 3D-интерфейса". В этом расширенном формате к исходному 2D-изображению и его карте глубины для каждого кадра добавляются еще две плоскости: области фона, покрытые объектами переднего плана, и их соответствующая карта глубины. Таким образом, каждый кадр в формате Declipse описывается изображением, содержащим четыре части, или квадранта. Это расширение улучшает потенциальное визуальное качество, предоставляя данные для более правильного и точного заполнения непокрытых областей окклюзии, созданных путем смещения объектов переднего плана в процессе генерации нескольких видов.
Преимущество 2D-plus-Depth заключается в том, что он обеспечивает ограниченное увеличение пропускной способности по сравнению с 2D (сжатые оттенки серого увеличивают пропускную способность на 5–20%), что позволяет использовать его в существующих распределительных инфраструктурах.
2D-plus-Depth обеспечивает гибкость и совместимость с существующим производственным оборудованием и инструментами сжатия. [6] [7]
Это позволяет приложениям использовать различные размеры и дизайны экранов 3D-дисплеев в одной и той же системе.
Другим преимуществом является то, что карты глубины создаются в ходе преобразования 2D-в-стерео 3D с использованием практически любого подхода к этому преобразованию видео. [8] Вот почему существует соответствующее представление 2D-плюс-глубина преобразованного стереоматериала почти во всех случаях. Учитывая отсутствие 3D-контента, снятого в стерео, и количество преобразованных 3D-фильмов , это большое преимущество.
2D-plus-Depth несовместим с существующими дисплеями 2D или 3D-Ready. Формат подвергался критике из-за ограниченного количества глубины, которое может быть отображено в 8-битной шкале серого.
2d-plus-Depth не может обрабатывать прозрачность (полупрозрачные объекты в сцене) и окклюзию (объект, блокирующий вид другого объекта). Формат 2d plus DOT учитывает эти факторы. [9] Кроме того, он не может обрабатывать отражение, преломление (помимо простой прозрачности) и другие оптические явления.
Создание точных 2D-изображений с глубиной может быть дорогостоящим и сложным, хотя последние достижения в области дальномерной визуализации сделали этот процесс более доступным. [10] [11]
2d-plus-Depth не обеспечивает потенциального увеличения разрешения, присущего использованию двух полных изображений.
Глубина не может быть надежно оценена для монокулярного видео в большинстве случаев. Заметными исключениями являются сцены движения камеры, когда движение объекта статично или почти отсутствует, и ландшафтные сцены, когда карта глубины может быть достаточно хорошо аппроксимирована градиентом. Это позволяет производить автоматическую оценку глубины. [12] [13] В общем случае только полуавтоматический подход является жизнеспособным для преобразования 2D в 2D-plus-Depth. Philips разработал программный пакет для создания 3D-контента под названием BlueBox [14] , который включает полуавтоматическое преобразование 2D-контента в формат 2D-plus-Depth и автоматическую генерацию 2D-plus-Depth из стерео. Похожий полуавтоматический подход к высококачественному преобразованию 2D в 2D-plus-Depth реализован в YUVsoft's 2D to 3D Suite, доступном в виде набора плагинов для After Effects и программного обеспечения для композитинга видео NUKE. [15]
Стереоскопическое преобразование в 2D-плюс-глубина включает несколько алгоритмов, включая обнаружение смены сцены, сегментацию, оценку движения и сопоставление изображений. Автоматическое преобразование стерео в 2D+глубина теперь возможно благодаря новому высокопроизводительному программному обеспечению и технологии графического процессора, даже в режиме реального времени. [16]
Другие 3D-форматы — это стерео (левые-правые или чередующиеся кадры) и многовидовой 3D-формат (например, многовидовое видеокодирование и масштабируемое видеокодирование), а также 2D плюс Delta .