Деинтерлейсинг — это процесс преобразования чересстрочного видео в не чересстрочную или прогрессивную форму. Чересстрочные видеосигналы обычно встречаются в аналоговом телевидении , цифровом телевидении ( HDTV ) в формате 1080i , некоторых DVD и небольшом количестве дисков Blu-ray .
Кадр чересстрочного видео состоит из двух полей , взятых последовательно: первое содержит все нечетные строки изображения, а второе - все четные строки. Аналоговое телевидение использовало этот метод, поскольку он позволял уменьшить полосу пропускания передачи, сохраняя при этом высокую частоту кадров для более плавного и реалистичного движения. Сигнал без чересстрочной развертки (или с прогрессивной разверткой ), который использует ту же полосу пропускания, обновляет изображение на дисплее только вдвое реже и вызывает воспринимаемое мерцание или заикание. Дисплеи на основе ЭЛТ могли правильно отображать чересстрочное видео благодаря своей полной аналоговой природе, плавно смешивая чередующиеся строки. Однако с начала 2000-х годов такие дисплеи, как телевизоры и компьютерные мониторы, стали почти полностью цифровыми, поскольку дисплей состоит из отдельных пикселей, и на таких дисплеях чересстрочная развертка становится заметной и может выглядеть как отвлекающий визуальный дефект. Процесс деинтерлейсинга должен попытаться свести их к минимуму.
Таким образом, деинтерлейсинг является необходимым процессом и встроен в большинство современных DVD-плееров, проигрывателей Blu-ray, ЖК-/LED-телевизоров, цифровых проекторов, телевизионных приставок, профессионального вещательного оборудования, а также компьютерных видеоплееров и редакторов, хотя каждый из них имеет разный уровень качества.
Деинтерлейсинг исследуется десятилетиями и использует сложные алгоритмы обработки; однако добиться устойчивых результатов было очень трудно. [1] [2]
И видео , и фотопленка захватывают серию кадров (неподвижных изображений) в быстрой последовательности; однако телевизионные системы считывают захваченное изображение путем последовательного сканирования датчика изображения по строкам (рядам). В аналоговом телевидении каждый кадр делится на два последовательных поля : одно содержит все четные строки, другое — нечетные строки. Поля захватываются последовательно со скоростью, вдвое превышающей номинальную частоту кадров. Например, системы PAL и SECAM имеют скорость 25 кадров в секунду или 50 полей в секунду, а система NTSC обеспечивает скорость 29,97 кадров в секунду или 59,94 поля в секунду. Этот процесс разделения кадров на поля с половинным разрешением при удвоенной частоте кадров известен как чересстрочная развертка .
Поскольку чересстрочный сигнал содержит два поля видеокадра, снятого в два разных момента времени, он улучшает восприятие движения зрителем и уменьшает мерцание за счет эффекта постоянства изображения . Это приводит к эффективному удвоению временного разрешения по сравнению с видеозаписью без чересстрочной развертки (для частоты кадров, равной частоте полей). Однако для чересстрочного сигнала требуется дисплей, который изначально способен отображать отдельные поля в последовательном порядке, и только традиционные телевизоры на основе ЭЛТ способны отображать чересстрочный сигнал из-за электронного сканирования и отсутствия видимого фиксированного разрешения.
Большинство современных дисплеев, таких как LCD , DLP и плазменные дисплеи , не способны работать в чересстрочном режиме, поскольку они представляют собой дисплеи с фиксированным разрешением и поддерживают только прогрессивную развертку. Для отображения чересстрочного сигнала на таких дисплеях два чересстрочных поля должны быть преобразованы в один прогрессивный кадр с помощью процесса, известного как деинтерлейсинг . Однако когда два поля, снятые в разные моменты времени, повторно объединяются в полный кадр, отображаемый одновременно, с движущимися объектами на изображении возникают визуальные дефекты, называемые артефактами чересстрочной развертки или расчесыванием . Хороший алгоритм деинтерлейсинга должен стараться максимально избегать артефактов чересстрочной развертки и не жертвовать при этом качеством изображения, чего трудно добиться постоянно. Существует несколько методов, которые экстраполируют недостающую информацию изображения, однако они скорее попадают в категорию интеллектуального создания кадров и требуют сложных алгоритмов и значительной вычислительной мощности.
Методы деинтерлейсинга требуют сложной обработки и, следовательно, могут привести к задержке видеопотока. Хотя это обычно не заметно, это может привести к тому, что отображение старых видеоигр будет отставать от ввода контроллера. Таким образом, многие телевизоры имеют «игровой режим», в котором выполняется минимальная обработка, чтобы максимизировать скорость за счет качества изображения. Деинтерлейсинг лишь частично ответственен за такую задержку; масштабирование также включает в себя сложные алгоритмы, выполнение которых занимает миллисекунды.
Некоторое видео с чересстрочной разверткой могло быть изначально создано из видеоматериалов с прогрессивной разверткой, и это также следует учитывать в процессе деинтерлейсинга.
Типичный киноматериал снимается на пленку со скоростью 24 кадра в секунду. Для преобразования фильма в чересстрочное видео обычно используется процесс, называемый телекино , при котором каждый кадр преобразуется в несколько полей. В некоторых случаях каждый кадр фильма может быть представлен ровно двумя сегментированными кадрами с прогрессивной разверткой (PsF), и в этом формате не требуется сложный алгоритм деинтерлейсинга, поскольку каждое поле содержит часть одного и того же прогрессивного кадра. Однако для соответствия чересстрочному сигналу PAL/SECAM с 50 полями или чересстрочным сигналом NTSC с чересстрочной разверткой 59,94/60 необходимо преобразование частоты кадров с использованием различных методов «вытягивания». Большинство современных телевизоров могут восстановить исходный сигнал с частотой 24 кадра в секунду, используя обратный телекинопроцесс . Другой вариант — ускорить 24-кадровый фильм на 4% (до 25 кадров/с) для преобразования PAL/SECAM; этот метод до сих пор широко используется для DVD, а также телевизионных передач (SD и HD) на рынках PAL.
DVD-диски могут либо кодировать фильмы, используя один из этих методов, либо хранить исходное прогрессивное видео с частотой 24 кадра в секунду и использовать теги декодера MPEG-2, чтобы указать видеоплееру, как преобразовать их в чересстрочный формат. Большинство фильмов на Blu-ray сохранили исходную частоту движущихся фильмов без чересстрочной развертки 24 кадра/с и позволяют выводить их в прогрессивном формате 1080p24 непосредственно на устройства отображения без необходимости преобразования.
Некоторые камкордеры 1080i HDV также поддерживают режим PsF с кинематографической частотой кадров 24 или 25 кадров/с. Съемочные группы телепередач также могут использовать специальные пленочные камеры, работающие со скоростью 25 или 30 кадров в секунду, если такой материал не требует преобразования частоты кадров для трансляции в предполагаемом формате видеосистемы.
Деинтерлейсинг требует, чтобы дисплей буферизировал одно или несколько полей и объединил их в полные кадры. Теоретически это было бы так же просто, как захватить одно поле и объединить его со следующим полученным полем, создав один кадр. Однако первоначально записанный сигнал был получен из двух полей в разные моменты времени, и без специальной обработки любое движение по полям обычно приводит к эффекту «причесывания», когда чередующиеся линии слегка смещаются друг от друга.
Существуют различные методы деинтерлейсинга видео, каждый из которых создает свои собственные проблемы или артефакты . Некоторые методы содержат гораздо больше артефактов, чем другие.
Большинство методов деинтерлейсинга делятся на три большие группы:
Поэтому современные системы деинтерлейсинга буферизуют несколько полей и используют такие методы, как обнаружение границ , в попытке найти движение между полями. Затем это используется для интерполяции недостающих строк из исходного поля, уменьшая эффект расчесывания. [3]
Эти методы берут четные и нечетные поля и объединяют их в один кадр. Они сохраняют полное вертикальное разрешение за счет временного разрешения (воспринимаемой частоты кадров), при этом 50i/60i преобразуется в 24p/25p/30p, что может привести к потере плавности и плавности оригинала. Однако если чересстрочный сигнал изначально был получен из источника с более низкой частотой кадров, такого как пленка, то информация не теряется, и этих методов может быть достаточно.
Эти методы берут каждое поле (только с половиной строк) и расширяют его на весь экран, чтобы создать кадр. Это может уменьшить вдвое вертикальное разрешение изображения, но направлено на сохранение исходной скорости поля (50i или 60i преобразуется в 50p или 60p).
Удвоение строк иногда путают с деинтерлейсингом в целом или с интерполяцией (масштабированием изображения), которая использует пространственную фильтрацию для создания дополнительных строк и, следовательно, уменьшения видимости пикселизации на любом типе дисплея. [4] Терминология «удвоитель строк» чаще используется в бытовой электронике высокого класса, а «деинтерлейсинг» чаще используется в компьютерах и цифровом видео.
Более продвинутые алгоритмы деинтерлейсинга сочетают в себе традиционные методы комбинирования полей (переплетение и смешивание) и методы расширения кадров (двоение или удвоение строк) для создания высококачественной прогрессивной видеопоследовательности. Одним из основных указаний на направление и количество движения может быть направление и длина артефактов «гребенки» в чересстрочном сигнале.
Лучшие алгоритмы также пытаются предсказать направление и величину движения изображения между последующими полями, чтобы лучше смешать два поля вместе. Они могут использовать алгоритмы, аналогичные блочной компенсации движения , используемой при сжатии видео. Например, если в двух полях лицо человека перемещается влево, переплетение создаст расчесывание, а смешивание создаст ореолы. Расширенная компенсация движения (в идеале) будет видеть, что лицо в нескольких полях представляет собой одно и то же изображение, просто перемещенное в другое положение, и попытается определить направление и величину такого движения. Затем алгоритм попытается восстановить все детали лица в обоих выходных кадрах, объединив изображения вместе, перемещая части каждого поля в обнаруженном направлении на обнаруженную величину движения. Деинтерлейсеры, использующие этот метод, часто превосходят других, поскольку они могут использовать информацию из многих полей, а не только из одного или двух, однако для достижения этого в режиме реального времени им требуется мощное оборудование.
Компенсацию движения необходимо сочетать с обнаружением смены сцены (с этим есть свои проблемы), иначе она будет пытаться найти движение между двумя совершенно разными сценами. Плохо реализованный алгоритм компенсации движения будет мешать естественному движению и может привести к визуальным артефактам, которые проявляются в виде «прыгающих» частей неподвижного или плавно движущегося изображения.
Различные методы деинтерлейсинга имеют разные характеристики качества и скорости.
Обычно для измерения качества метода деинтерлейсинга используется следующий подход:
Основной метрикой измерения скорости является количество кадров в секунду (FPS) — сколько кадров деинтерлейсер способен обработать в секунду. Говоря о FPS, необходимо указывать разрешение всех кадров и характеристики оборудования, поскольку от этих двух факторов существенно зависит скорость конкретного метода деинтерлейсинга.
В этом тесте сравнивались 8 различных методов деинтерлейсинга синтетического видео. На видео присутствует движущаяся трехмерная кривая Лиссажу , что затрудняет работу современных методов деинтерлейсинга. Авторы использовали MSE и PSNR в качестве объективных показателей. Также они измеряют скорость обработки в FPS . Для некоторых методов возможно только визуальное сравнение, для других – только объективное. [5]
В этом тесте сравнивалось более 20 методов на 40 видеопоследовательностях. Общая длина последовательностей составляет 834 кадра. Его авторы заявляют, что главной особенностью этого теста является всестороннее сравнение методов с инструментами визуального сравнения, графиками производительности и настройкой параметров. Авторы использовали PSNR и SSIM в качестве объективных показателей. [7]
Автор VapourSynth TDeintMod утверждает, что это адаптивный деинтерлейсер двунаправленного движения. Метод NNEDI использует нейронную сеть для деинтерлейсинга видеопоследовательностей. Фильтр деинтерлейсинга FFmpeg Bob Weaver является частью известной платформы для обработки видео и аудио. Vapoursynth EEDI3 — это аббревиатура от «улучшенная интерполяция по краям 3». Авторы этого метода заявляют, что он работает путем поиска наилучшего неубывающего искажения между двумя строками в соответствии с функционалом стоимости. Авторы Real-Time Deep Video Deinterlacer используют Deep CNN для получения наилучшего качества выходного видео.
Деинтерлейсинг чересстрочного видеосигнала можно выполнять на различных этапах производственной цепочки телевидения.
Деинтерлейсинг необходим для чересстрочных архивных программ, когда формат вещания или формат мультимедиа является прогрессивным, как в вещании EDTV 576p или HDTV 720p50 или мобильном вещании DVB-H; Есть два способа добиться этого.
Когда формат вещания или формат мультимедиа чересстрочный, деинтерлейсинг в реальном времени должен выполняться с помощью встроенных схем в телеприставке, телевизоре, внешнем видеопроцессоре, проигрывателе DVD или DVR или плате ТВ-тюнера. Поскольку оборудование бытовой электроники обычно намного дешевле, имеет значительно меньшую вычислительную мощность и использует более простые алгоритмы по сравнению с профессиональным оборудованием деинтерлейсинга, качество деинтерлейсинга может сильно различаться, и типичные результаты часто бывают плохими даже на высокопроизводительном оборудовании. [ нужна цитата ]
Использование компьютера для воспроизведения и/или обработки потенциально обеспечивает более широкий выбор видеоплееров и/или программного обеспечения для редактирования, не ограничиваясь качеством, предлагаемым встроенным устройством бытовой электроники, поэтому, по крайней мере теоретически, возможно более высокое качество деинтерлейсинга – особенно если пользователь может предварительное преобразование чересстрочного видео в прогрессивную развертку перед воспроизведением, а также усовершенствованные и трудоемкие алгоритмы деинтерлейсинга (т. е. использование «производственного» метода).
Однако качество как бесплатного, так и коммерческого программного обеспечения потребительского уровня может не соответствовать уровню профессионального программного обеспечения и оборудования. Кроме того, большинство пользователей не обучены производству видео; это часто приводит к плохим результатам, поскольку многие люди мало что знают о деинтерлейсе и не знают, что частота кадров составляет половину частоты поля. Многие кодеки/плееры даже не выполняют деинтерлейсинг самостоятельно и полагаются на графическую карту и API-интерфейс ускорения видео для выполнения правильного деинтерлейсинга.
Европейский вещательный союз выступил против использования чересстрочного видео в производстве и вещании, рекомендуя 720p 50 кадров в секунду (кадров в секунду) в качестве текущего формата производства и работая с отраслью над внедрением 1080p 50 в качестве перспективного производственного стандарта, который обеспечивает более высокую вертикальную разрешение, лучшее качество при более низких битрейтах и более простое преобразование в другие форматы, такие как 720p50 и 1080i50. [14] [15] Основной аргумент заключается в том, что каким бы сложным ни был алгоритм деинтерлейсинга, артефакты в чересстрочном сигнале невозможно устранить, поскольку некоторая информация теряется между кадрами.
Ив Фаруджа, основатель Faroudja Labs и лауреат премии «Эмми» за достижения в области технологии деинтерлейсинга, заявил, что «переход от чересстрочной развертки к прогрессивной не работает», и посоветовал не использовать чересстрочный сигнал. [2] [16]