stringtranslate.com

Многоракурсное видеокодирование

Multi View Video Coding ( MVC , также известный как MVC 3D ) — это стандарт кодирования стереоскопического видео для сжатия видео , который позволяет кодировать видеопоследовательности, снятые одновременно с нескольких ракурсов камеры, в одном видеопотоке. [1] Он использует метод 2D плюс Delta и является поправкой к стандарту сжатия видео H.264 (MPEG-4 AVC) , разработанному совместно MPEG и VCEG , [2] при участии ряда компаний, в первую очередь Panasonic и LG Электроникс . [3]

Форматирование MVC предназначено для кодирования стереоскопического (двухракурсного) 3D-видео , а также телевидения со свободной точкой обзора и многоракурсного 3D-телевидения . Профиль Stereo High был стандартизирован в июне 2009 года; профиль основан на наборе инструментов MVC и используется в стереоскопических выпусках Blu-ray 3D . [4]

Технический обзор

MVC основан на идее, что видеозаписи одной и той же сцены с разных ракурсов имеют много общих элементов. Можно закодировать все одновременные кадры, захваченные в одном элементарном потоке , и распределить как можно больше информации по разным уровням. Это может уменьшить размер закодированного видео. [5] [6]

Многоракурсное видео содержит большое количество статистических зависимостей между просмотрами, поскольку все камеры снимают одну и ту же сцену с разных точек зрения. Следовательно, комбинированное временное и межвидовое предсказание важно для эффективного кодирования MVC. Кадр с определенной камеры можно предсказать не только по связанным во времени кадрам с этой же камеры, но и по кадрам соседних камер. Эти взаимозависимости можно использовать для эффективного прогнозирования. [7] [8] [9]

Этот метод используется при многоракурсном видеокодировании для фильмов Blu-ray 3D и известен как алгоритм 2D плюс Delta, а сама спецификация MVC является частью стандарта H.264 в качестве поправки к H.264 «Приложение H» спецификация. [10]

Поддержка открытого исходного кода в основном отсутствует

По состоянию на апрель 2015 года не существует бесплатного программного обеспечения с открытым исходным кодом , поддерживающего программное декодирование стандарта сжатия видео MVC. [11] Популярные декодеры H.264 и HEVC (H.265) с открытым исходным кодом , например те, которые используются в библиотеках FFmpeg и Libav , просто игнорируют второе представление и, таким образом, не показывают второе представление для стереоскопических представлений. В большинстве случаев причина отсутствия этой поддержки заключается в том, что MVC не учитывался при написании исходного кода основных декодеров H.264 и HEVC. Более поздние поправки, как таковые, часто будут означать большую предварительную работу по рефакторингу кода и большие изменения в его текущей архитектуре, с основной работой по распутыванию и переупорядочению некоторого кода, а также разделению различных функций в существующем коде декодера на более мелкие фрагменты для более простой обработки, а затем создания такие поправки, как MVC, легче добавлять. [12]

Однако в прошлом уже проводилась некоторая работа по проверке концепции , но она так и не вошла в состав официальных выпусков FFmpeg или Libav . [13] [14]

8 марта 2016 года ситуация улучшилась. Версия 0.68 коллекции LAV Filters DirectShow Media Splitter and Decoders [15] была выпущена разработчиком «Nevcairiel» (который также работает для Media Player Classic — Home Cinema ( MPC-HC )) с поддержкой демультиплексирования и декодирования 3D H.264 MVC. . С помощью этой версии и FRIM [16] , написанного программистом по имени «videohelp3d» [17], можно написать сценарий AviSynth для предварительной обработки 3D-видеоклипа H.264 MVC, который затем можно открыть с помощью бесплатного 3D-видео. плеер Bino [18] и затем отображается красным — например, голубое анаглифное видео. [11]

Использование плагина FRIM AviSynth (FRIMSource) описано на домашней странице «videohelp3d». Фильтры LAV можно использовать для получения звука из 3D-видеоклипа H.264 MVC. Разработчик [19] сообщил, что в будущем выпуске LAV Video, возможно, будет напрямую отображать видео в режиме Side-by-Side. [20]

Обладатели патентов

Следующие организации владеют патентами , которые способствовали развитию технологии MVC, внесенными в патентный пул MPEG LA . [21]

Смотрите также

Рекомендации

  1. ^ https://research.nokia.com/page/4988. Архивировано 16 июля 2015 г. на Wayback Machine Mobile 3D Video.
  2. ^ «Архивная копия» (PDF) . Архивировано из оригинала (PDF) 19 июля 2011 года . Проверено 13 января 2011 г.{{cite web}}: CS1 maint: archived copy as title (link)3DTV ДОМА: СОСТОЯНИЕ, ПРОБЛЕМЫ И РЕШЕНИЯ ДЛЯ ПРЕДОСТАВЛЕНИЯ ВЫСОКОГО КАЧЕСТВА ОПЫТА
  3. ^ ab «Список патентов MVC» (PDF) . MPEG Лос-Анджелес . Проверено 11 июля 2019 г.
  4. ^ «mpeg4-mvc — Блог 3D Vision» . Проверено 8 марта 2023 г.
  5. ^ https://wiki.libav.org/Blueprint/MultiAVFrame Схема Libav MultiAVFrame
  6. ^ Эйсселстейн, Вейнанд А.; Сюнтьенс, Питер Дж. Х.; Мистерс, Лидия MJ (3 января 2006 г.). «Человеческий фактор 3D-дисплеев». 3D видеосвязь . Чичестер, Великобритания: John Wiley & Sons, Ltd., стр. 217–233. дои : 10.1002/0470022736.ch12. ISBN 978-0-470-02273-3.
  7. ^ MPEG - Технологии - Введение в кодирование многовидового видео
  8. ^ http://vision.princeton.edu/projects/2008/ECCV_stereo/paper_low-res.pdf Изучение стереосопоставления двух изображений
  9. ^ http://cs.nyu.edu/~fergus/teaching/vision_2012/6_Multiview_SfM.pdf Лекция 6: Многоракурсное стерео и структура из движения
  10. ^ http://www.itu.int/rec/T-REC-H.264 H.264: Расширенное кодирование видео для общих аудиовизуальных услуг.
  11. ^ Аб Хо, Йо-Сон; О, Кван-Юнг (2007). «Обзор многоракурсного видеокодирования». 2007 г. 14-й международный семинар по системам, сигналам и обработке изображений и 6-я конференция EURASIP, посвященная обработке речи и изображений, мультимедийным коммуникациям и услугам. стр. 5–12. дои : 10.1109/IWSSIP.2007.4381085. ISBN 978-961-248-036-3. S2CID  453153.
  12. ^ blogs.gentoo.org/lu_zero/2014/04/04/the-road-to-mvc/ Дорога к MVC
  13. ^ http://www.nt.uni-saarland.de/fileadmin/file_uploads/theses/master/Optimized_implementation_of_a_MVC_decoder.pdf. Архивировано 4 марта 2016 г. в Wayback Machine. Йохен Бритц - Оптимизированная реализация декодера MVC - Магистерская диссертация в области компьютеров и коммуникаций. Технологии
  14. ^ https://github.com/Britz/FFmpeg Britz – Что касается моей магистерской диссертации, я работаю над реализацией H.264 MVC в libvacodec на основе H.264 Приложение H.
  15. ^ https://github.com/Nevcairiel/LAVFilters Репозиторий GitHub проекта LAV Filters Проверено 30 марта 2016 г.
  16. ^ http://www.videohelp.com/software/FRIM Страница загрузки Videohelp Проверено 30 марта 2016 г.
  17. ^ http://forum.doom9.org/showthread.php?t=169651 страница разработчиков "videohelp3d". Проверено 30 марта 2016 г.
  18. ^ http://bino3d.org/index.html Домашняя страница Bino — бесплатного 3D-видеоплеера. Проверено 30 марта 2016 г.
  19. ^ http://forum.doom9.org/showthread.php?t=156191&page=1029 Страница разработчиков "Nevcairiel" (внизу страницы). Проверено 30 марта 2016 г.
  20. ^ CrendKing (10 февраля 2022 г.), AviSynth Filter и VapourSynth Filter , получено 10 февраля 2022 г.
  21. ^ «СМИ: Программы лицензирования». MPEG Лос-Анджелес . Проверено 10 февраля 2022 г.
  22. ^ «Лицензиары, включенные в лицензию на портфель патентов MVC» . MPEG Лос-Анджелес . Проверено 11 июля 2019 г.

Внешние ссылки