Телевидение с бесплатной точкой обзора ( FTV ) — это система просмотра естественного видео, позволяющая пользователю интерактивно управлять точкой обзора и создавать новые виды динамической сцены из любой трехмерной позиции. [1] Эквивалентная система компьютерного моделирования видео известна как виртуальная реальность . Благодаря FTV фокусом внимания могут управлять зрители, а не режиссер, а это означает, что каждый зритель может наблюдать уникальную точку зрения. Еще неизвестно, как FTV повлияет на просмотр телевидения как групповую деятельность.
Системы для рендеринга произвольных видов природных сцен были хорошо известны в сообществе компьютерного зрения уже давно, но только в последние годы [ когда? ] имеет достигнутые уровни скорости и качества, которые подходят для серьезного рассмотрения в качестве системы конечного пользователя. [ нужна цитата ]
Профессор Масаюки Танимото из Университета Нагои (Япония) много сделал для пропаганды использования термина «телевидение со свободной точкой обзора» и опубликовал множество статей по представлению лучевого пространства, [ нужна цитация ] [ необходимы пояснения ] , хотя могут использоваться и другие методы, и используются для FTV.
QuickTime VR можно считать предшественником FTV. [ нужна цитата ]
Чтобы получить виды, необходимые для высококачественной визуализации сцены под любым углом, вокруг сцены размещается несколько камер; либо в студии, либо на открытом воздухе, например, на спортивной арене. Выходное многовидовое видео (MVV) затем должно быть соответствующим образом упаковано, чтобы данные можно было сжимать, а также чтобы устройство просмотра пользователей могло легко получить доступ к соответствующим представлениям для интерполяции новых представлений. [ нужна цитата ]
Недостаточно просто разместить камеры вокруг места съемки. Геометрию установленной камеры необходимо измерить с помощью процесса, известного в компьютерном зрении как «калибровка камеры». [ нужна цитата ] Ручное выравнивание было бы слишком громоздким, поэтому обычно выравнивание «наилучшим образом» выполняется до захвата тестового шаблона, который используется для генерации параметров калибровки.
Телевидение с ограниченной свободной точкой обзора для больших площадей может быть снято с помощью системы камер с одной локацией, установленной на движущейся платформе. [ нужна цитация ] Также необходимо захватить данные о глубине, что необходимо для создания свободной точки обзора. Система захвата Google Street View является примером ограниченной функциональности. Первая полная коммерческая реализация iFlex была реализована в 2009 году компанией Real Time Race . [2]
Захват многоракурсного видео варьируется от частичного (обычно около 30 градусов) до полного (360 градусов) охвата сцены. Следовательно, можно выводить стереоскопические изображения, подходящие для просмотра на 3D-дисплее или других 3D-методах. Системы с большим количеством физических камер могут захватывать изображения с более широким охватом видимой сцены, однако вполне вероятно, что определенные области всегда будут закрыты с любой точки обзора. Большее количество камер должно позволить получить высококачественный результат, поскольку требуется меньше интерполяции.
Больше камер означает, что требуется эффективное кодирование многоракурсного видео. Возможно, это не такой уж большой недостаток, поскольку существуют представления, позволяющие убрать избыточность в MVV; например, кодирование интервью с использованием MPEG-4 или многовидового видеокодирования , представление лучевого пространства, геометрические видео, [3] [ необходимы пояснения ] и т. д.
Что касается аппаратного обеспечения, пользователю требуется устройство просмотра, которое может декодировать MVV и синтезировать новые точки обзора, а также 2D- или 3D-дисплей.
Группа экспертов по движущимся изображениям (MPEG) нормализовала Приложение H к MPEG-4 AVC в марте 2009 года под названием « Кодирование многовидового видео» после работы группы под названием «3DAV» (3D-аудио и видео), возглавляемой Алешей Смоличем [4] в Институте имени Генриха. -Институт Герца .