Видеокодек — это программное или аппаратное обеспечение , которое сжимает и распаковывает цифровое видео . В контексте сжатия видео кодек — это гибрид кодера и декодера , в то время как устройство, которое только сжимает, обычно называется кодером , а то, которое только распаковывает, — декодером .
Формат сжатых данных обычно соответствует стандартному формату кодирования видео . Сжатие обычно происходит с потерями , то есть в сжатом видео отсутствует некоторая информация, присутствующая в исходном видео. Следствием этого является то, что распакованное видео имеет более низкое качество, чем исходное, несжатое видео, поскольку недостаточно информации для точной реконструкции исходного видео.
Существуют сложные взаимосвязи между качеством видео , объемом данных, используемых для представления видео (определяемым скоростью передачи данных ), сложностью алгоритмов кодирования и декодирования, чувствительностью к потерям данных и ошибкам, простотой редактирования, произвольным доступом и сквозной задержкой ( латентностью ).
Исторически видео хранилось в виде аналогового сигнала на магнитной ленте . Примерно в то время, когда на рынке появился компакт-диск в качестве цифровой замены аналогового аудио, стало возможным также хранить и передавать видео в цифровой форме. Из-за большого объема памяти и пропускной способности, необходимых для записи и передачи необработанного видео, требовался метод сокращения объема данных, используемых для представления необработанного видео. С тех пор инженеры и математики разработали ряд решений для достижения этой цели, которые включают сжатие цифровых видеоданных.
В 1974 году Насир Ахмед , Т. Натараджан и К. Р. Рао представили сжатие с помощью дискретного косинусного преобразования (DCT) . [1] [2] [3] В конце 1980-х годов ряд компаний начали экспериментировать с DCT- сжатием с потерями для видеокодирования, что привело к разработке стандарта H.261 . [4] H.261 был первым практическим стандартом видеокодирования, [5] и был разработан рядом компаний, включая Hitachi , PictureTel , NTT , BT и Toshiba , среди прочих. [6] Начиная с H.261, сжатие DCT было принято всеми основными стандартами видеокодирования, которые последовали за ним. [4]
Самыми популярными стандартами кодирования видео, используемыми для кодеков, были стандарты MPEG . MPEG-1 был разработан Motion Picture Experts Group (MPEG) в 1991 году и был предназначен для сжатия видео с качеством VHS . В 1994 году ему на смену пришел MPEG-2 / H.262 , [5] который был разработан рядом компаний, в первую очередь Sony , Thomson и Mitsubishi Electric . [7] MPEG-2 стал стандартным видеоформатом для DVD и цифрового телевидения SD . [5] В 1999 году за ним последовал MPEG-4 / H.263 , который стал крупным скачком вперед в технологии сжатия видео. [5] Он был разработан рядом компаний, в первую очередь Mitsubishi Electric, Hitachi и Panasonic . [8]
Наиболее широко используемый формат кодирования видео, по состоянию на 2016 год, — H.264/MPEG-4 AVC . Он был разработан в 2003 году рядом организаций, в первую очередь Panasonic, Godo Kaisha IP Bridge и LG Electronics . [9] H.264 — основной стандарт кодирования видео для дисков Blu-ray , широко используемый потоковыми интернет-сервисами, такими как YouTube , Netflix , Vimeo и iTunes Store , веб-программным обеспечением, таким как Adobe Flash Player и Microsoft Silverlight , а также различными трансляциями HDTV по наземному и спутниковому телевидению.
На смену AVC пришел HEVC (H.265), разработанный в 2013 году. Он сильно запатентован, большинство патентов принадлежат Samsung Electronics , GE , NTT и JVC Kenwood . [10] [11] Внедрение HEVC было затруднено его сложной структурой лицензирования. На смену HEVC пришло Versatile Video Coding (VVC).
Существуют также открытые и бесплатные форматы кодирования видео VP8 , VP9 и AV1 , используемые YouTube, все из которых были разработаны при участии Google .
Видеокодеки используются в DVD-плеерах, интернет-видео , видео по запросу , цифровом кабеле , цифровом наземном телевидении , видеотелефонии и множестве других приложений. В частности, они широко используются в приложениях, которые записывают или передают видео, что может быть невыполнимо при больших объемах данных и полосе пропускания несжатого видео. Например, они используются в операционных для записи хирургических операций, в IP-камерах в системах безопасности, а также в дистанционно управляемых подводных аппаратах и беспилотных летательных аппаратах . Любой видеопоток или файл можно закодировать с использованием широкого спектра опций формата живого видео. Вот некоторые настройки кодировщика H.264, которые необходимо задать при потоковой передаче на видеоплеер HTML5. [12]
Видеокодеки стремятся представить в основном аналоговый набор данных в цифровом формате. Из-за конструкции аналоговых видеосигналов, которые представляют яркость (luma) и цветовую информацию (chrominance, chroma) отдельно, общим первым шагом в сжатии изображений при разработке кодеков является представление и сохранение изображения в цветовом пространстве YCbCr . Преобразование в YCbCr обеспечивает два преимущества: во-первых, оно улучшает сжимаемость, обеспечивая декорреляцию цветовых сигналов; и, во-вторых, оно отделяет сигнал яркости, который перцептивно гораздо важнее, от сигнала цветности, который перцептивно менее важен и который может быть представлен в более низком разрешении с использованием цветовой субдискретизации для достижения более эффективного сжатия данных. Обычно соотношения информации, хранящейся в этих различных каналах, представляются следующим образом Y:Cb:Cr. Различные кодеки используют различные соотношения цветовой субдискретизации в соответствии с их потребностями в сжатии. Схемы сжатия видео для Web и DVD используют шаблон выборки цвета 4:2:1, а стандарт DV использует коэффициенты выборки 4:1:1. Профессиональные видеокодеки, разработанные для работы на гораздо более высоких скоростях передачи данных и для записи большего количества цветовой информации для пост-производственной обработки, записывают в коэффициентах 4:2:2 и 4:4:4. Примерами таких кодеков являются кодеки Panasonic DVCPRO50 и DVCPROHD (4:2:2), Sony HDCAM-SR (4:4:4), Panasonic HDD5 (4:2:2), Apple Prores HQ 422 (4:2:2). [13]
Также стоит отметить, что видеокодеки могут работать и в пространстве RGB. Эти кодеки, как правило, не сэмплируют красный, зеленый и синий каналы в разных соотношениях, поскольку для этого меньше перцептивной мотивации — может быть недосэмплирован только синий канал.
Некоторое количество пространственной и временной понижающей дискретизации также может использоваться для снижения скорости необработанных данных перед основным процессом кодирования. Наиболее популярным преобразованием кодирования является 8x8 DCT. Кодеки, которые используют вейвлет - преобразование, также выходят на рынок, особенно в рабочих процессах камеры, которые включают работу с форматированием изображений RAW в последовательностях движения. Этот процесс включает представление видеоизображения в виде набора макроблоков . Для получения дополнительной информации об этом критическом аспекте проектирования видеокодека см. B-кадры . [14]
Выходные данные преобразования сначала квантуются , затем к квантованным значениям применяется энтропийное кодирование . При использовании DCT коэффициенты обычно сканируются с использованием зигзагообразного порядка сканирования, а энтропийное кодирование обычно объединяет ряд последовательных квантованных коэффициентов с нулевым значением со значением следующего ненулевого квантованного коэффициента в один символ, а также имеет специальные способы указания того, когда все оставшиеся квантованные значения коэффициентов равны нулю. Метод энтропийного кодирования обычно использует таблицы кодирования переменной длины . Некоторые кодировщики сжимают видео в многошаговом процессе, называемом n-проходным кодированием (например, 2-проходным), которое выполняет более медленное, но потенциально более качественное сжатие.
Процесс декодирования состоит из выполнения, насколько это возможно, инверсии каждого этапа процесса кодирования. [15] Единственным этапом, который не может быть точно инвертирован, является этап квантования. На нем выполняется наилучшее приближение инверсии. Эту часть процесса часто называют обратным квантованием или деквантованием , хотя квантование по своей сути является необратимым процессом.
Конструкции видеокодеков обычно стандартизированы или в конечном итоге становятся стандартизированными, т. е. точно указаны в опубликованном документе. Однако для обеспечения взаимодействия требуется стандартизация только процесса декодирования. Процесс кодирования обычно вообще не указан в стандарте, и разработчики вольны проектировать свой кодер так, как они хотят, при условии, что видео может быть декодировано указанным образом. По этой причине качество видео, полученного путем декодирования результатов разных кодеров, использующих один и тот же стандарт видеокодека, может существенно различаться от одной реализации кодера к другой.
Различные форматы сжатия видео могут быть реализованы на ПК и в потребительском электронном оборудовании. Таким образом, возможно, что несколько кодеков будут доступны в одном и том же продукте, что снижает необходимость выбора одного доминирующего формата сжатия видео для достижения совместимости .
Стандартные форматы сжатия видео могут поддерживаться несколькими реализациями кодера и декодера из нескольких источников. Например, видео, закодированное стандартным кодеком MPEG-4 Part 2 , таким как Xvid, может быть декодировано с использованием любого другого стандартного кодека MPEG-4 Part 2, такого как FFmpeg MPEG-4 или DivX Pro Codec, поскольку все они используют один и тот же видеоформат.
Кодеки имеют свои достоинства и недостатки. Часто публикуются сравнения . Компромисс между мощностью сжатия, скоростью и точностью (включая артефакты ) обычно считается наиболее важным показателем технических достоинств.
Онлайн-видеоматериалы кодируются различными кодеками, и это привело к появлению пакетов кодеков — предварительно собранного набора часто используемых кодеков, объединенного с установщиком, доступным в виде пакета программного обеспечения для ПК, например, K-Lite Codec Pack , Perian и Combined Community Codec Pack .