Высокоэффективное кодирование видео ( HEVC ), также известное как H.265 и MPEG-H Part 2 , — это стандарт сжатия видео , разработанный в рамках проекта MPEG-H в качестве преемника широко используемого расширенного кодирования видео (AVC, H. 264 или MPEG-4, часть 10). По сравнению с AVC, HEVC обеспечивает на 25–50 % лучшее сжатие данных при том же уровне качества видео или существенно улучшенное качество видео при той же скорости передачи данных . Он поддерживает разрешения до 8192×4320, включая 8K UHD , и в отличие от преимущественно 8-битного AVC, профиль Main 10 с более высокой точностью HEVC включен практически во все поддерживающее оборудование.
В то время как AVC использует целочисленное дискретное косинусное преобразование (DCT) с размерами блоков 4×4 и 8×8, HEVC использует как целочисленное DCT, так и дискретное синусоидальное преобразование (DST) с различными размерами блоков от 4×4 до 32×32. Высокоэффективный формат изображения (HEIF) основан на HEVC. [2]
Во многих отношениях HEVC является расширением концепции H.264/MPEG-4 AVC. Оба работают путем сравнения различных частей кадра видео для поиска избыточных областей как внутри одного кадра, так и между последовательными кадрами. Эти избыточные области затем заменяются кратким описанием вместо исходных пикселей. Основные изменения для HEVC включают расширение областей сравнения шаблонов и разностного кодирования с 16×16 пикселей до размеров до 64×64, улучшенную сегментацию блоков с переменным размером , улучшенное «внутреннее» предсказание в пределах одного и того же изображения, улучшенное движение. векторное предсказание и объединение областей движения, улучшенная фильтрация компенсации движения и дополнительный этап фильтрации, называемый адаптивной к выборке фильтрацией смещения. Эффективное использование этих улучшений требует гораздо больших возможностей обработки сигналов для сжатия видео, но оказывает меньшее влияние на объем вычислений, необходимых для распаковки.
HEVC был стандартизирован Объединенной совместной группой по кодированию видео (JCT-VC), результатом сотрудничества между ISO / IEC MPEG и 16-й исследовательской группой ITU-T VCEG . Группа ISO/IEC называет его MPEG-H Part 2, а ITU-T — H.265. Первая версия стандарта HEVC была ратифицирована в январе 2013 года и опубликована в июне 2013 года. Вторая версия с многовидовыми расширениями (MV-HEVC), расширениями диапазона (RExt) и расширениями масштабируемости (SHVC) была завершена и утверждена в 2014 году. и опубликовано в начале 2015 года. Расширения для 3D-видео (3D-HEVC) были завершены в начале 2015 года, а расширения для кодирования содержимого экрана (SCC) были завершены в начале 2016 года и опубликованы в начале 2017 года, охватывая видео, содержащее визуализированную графику, текст или анимация, а также видеосцены, снятые камерой (или вместо них). В октябре 2017 года этот стандарт был признан премией Primetime Emmy Engineering Award как оказавший существенное влияние на технологии телевидения. [3] [4] [5] [6] [7]
HEVC содержит технологии, защищенные патентами , принадлежащими организациям, участвовавшим в JCT-VC. Для реализации устройства или программного приложения, использующего HEVC, может потребоваться лицензия от владельцев патентов HEVC. ISO/IEC и ITU требуют, чтобы компании, принадлежащие их организациям, предлагали свои патенты на разумных и недискриминационных условиях лицензирования (RAND). Патентные лицензии можно получить непосредственно у каждого патентообладателя или через органы по лицензированию патентов, такие как MPEG LA , Access Advance и Velos Media.
Совокупные лицензионные сборы, предлагаемые в настоящее время всеми органами по патентному лицензированию, выше, чем для AVC. Лицензионные сборы являются одной из основных причин низкого уровня внедрения HEVC в сети, и именно поэтому некоторые крупнейшие технологические компании ( Amazon , AMD , Apple , ARM , Cisco , Google , Intel , Microsoft , Mozilla , Netflix , Nvidia и подробнее) присоединились к Альянсу открытых медиа , [8] который 28 марта 2018 года завершил разработку бесплатного альтернативного формата видеокодирования AV1 . [9]
Формат HEVC был совместно разработан более чем дюжиной организаций по всему миру. Наибольший активный патентный вклад в развитие формата HEVC поступил от пяти организаций: Samsung Electronics (4249 патентов), General Electric (1127 патентов), [10] M&K Holdings (907 патентов), NTT (878 патентов) и JVC . Кенвуд (628 патентов). [11] В число других держателей патентов входят Fujitsu , Apple , Canon , Колумбийский университет , KAIST , Университет Квангун , Массачусетский технологический институт , Университет Сунгюнгван , Funai , Hikvision , KBS , KT и NEC . [12]
В 2004 году Группа экспертов по кодированию видео ITU-T (VCEG) начала масштабное исследование технологических достижений, которые могли бы позволить создать новый стандарт сжатия видео (или существенные улучшения стандарта H.264 /MPEG-4 AVC, ориентированные на сжатие). ). [13] В октябре 2004 года были рассмотрены различные методы потенциального улучшения стандарта H.264/MPEG-4 AVC. В январе 2005 года на следующем заседании VCEG VCEG начала определять определенные темы как «ключевые технические области» (KTA) для дальнейшего изучения. Для оценки таких предложений была создана кодовая база программного обеспечения, называемая кодовой базой KTA. [14] Программное обеспечение KTA было основано на эталонном программном обеспечении Joint Model (JM), разработанном совместной видеогруппой MPEG и VCEG для H.264/MPEG-4 AVC. Дополнительные предложенные технологии были интегрированы в программное обеспечение KTA и протестированы в ходе экспериментов в течение следующих четырех лет. [15] [13] [16] [17]
Были рассмотрены два подхода к стандартизации технологии улучшенного сжатия: либо создание нового стандарта, либо создание расширений H.264/MPEG-4 AVC. Проект имел предварительные названия H.265 и H.NGVC (кодирование видео следующего поколения) и был основной частью работы VCEG, пока в 2010 году не превратился в совместный проект HEVC с MPEG . 20]
Предварительными требованиями для NGVC были возможность снижения скорости передачи данных на 50 % при том же субъективном качестве изображения по сравнению с высоким профилем H.264/MPEG-4 AVC, а также вычислительная сложность в диапазоне от 1/2 до 3 раз выше, чем у NGVC. Высокий профиль. [20] NGVC сможет обеспечить снижение скорости передачи данных на 25 % и снижение сложности на 50 % при том же воспринимаемом качестве видео, что и профиль High, или обеспечить большее снижение скорости передачи данных при несколько более высокой сложности. [20] [21]
Группа экспертов по движущимся изображениям ISO / IEC (MPEG) начала аналогичный проект в 2007 году, предварительно названный « Высокопроизводительное кодирование видео» . [22] [23] Соглашение о снижении скорости передачи данных на 50% было принято в качестве цели проекта к июлю 2007 года. [22] Ранние оценки были выполнены с модификациями эталонного программного кодера KTA, разработанного VCEG. [13] К июлю 2009 года результаты экспериментов показали среднее снижение битов примерно на 20% по сравнению с AVC High Profile; Эти результаты побудили MPEG начать работу по стандартизации в сотрудничестве с VCEG. [23]
MPEG и VCEG создали совместную совместную группу по кодированию видео ( JCT-VC ) для разработки стандарта HEVC. [13] [24] [25] [26]
Официальный совместный конкурс предложений по технологии сжатия видео был объявлен в январе 2010 года VCEG и MPEG, и предложения были оценены на первом заседании совместной группы сотрудничества MPEG и VCEG по видеокодированию (JCT-VC), которое состоялось в апреле. 2010 г. Всего было подано 27 полных предложений. [18] [27] Оценки показали, что некоторые предложения могут достичь того же визуального качества, что и AVC, только при половине скорости передачи данных во многих тестовых случаях за счет увеличения вычислительной сложности в 2–10 раз, а некоторые предложения достигли хороших результатов. субъективное качество и скорость передачи данных при меньшей вычислительной сложности, чем эталонные высокопрофильные кодировки AVC. На этой встрече для совместного проекта было принято название « Высокоэффективное видеокодирование» (HEVC). [13] [18] Начиная с этой встречи, JCT-VC объединил функции некоторых из лучших предложений в единую кодовую базу программного обеспечения и «Рассматриваемую тестовую модель», а также провел дальнейшие эксперименты для оценки различных предложенных функций. [13] [28] Первый рабочий проект спецификации HEVC был подготовлен на третьем заседании JCT-VC в октябре 2010 года. Многие изменения в инструментах кодирования и конфигурации HEVC были внесены на более поздних заседаниях JCT-VC. [13]
25 января 2013 года ITU объявил, что HEVC получил одобрение (согласие) первого этапа в альтернативном процессе утверждения ITU-T (AAP) . [29] [30] [31] В тот же день MPEG объявил, что HEVC был повышен до статуса окончательного проекта международного стандарта (FDIS) в процессе стандартизации MPEG . [32] [33]
13 апреля 2013 г. HEVC/H.265 был утвержден в качестве стандарта ITU-T. [34] [35] [36] Стандарт был официально опубликован ITU-T 7 июня 2013 г. и ISO/IEC 25 ноября 2013 г. [24] [17]
11 июля 2014 года MPEG объявил, что вторая редакция HEVC будет содержать три недавно завершенных расширения: многовидовые расширения (MV-HEVC), расширения диапазона (RExt) и расширения масштабируемости (SHVC). [37]
29 октября 2014 г. HEVC/H.265 версии 2 был утвержден в качестве стандарта ITU-T. [38] [39] [40] Затем он был официально опубликован 12 января 2015 года. [24]
29 апреля 2015 года HEVC/H.265 версии 3 был утвержден в качестве стандарта ITU-T. [41] [42] [43]
3 июня 2016 года версия 4 HEVC/H.265 была одобрена ITU-T и не была одобрена во время голосования в октябре 2016 года. [44] [45]
22 декабря 2016 года HEVC/H.265 версии 4 был утвержден в качестве стандарта ITU-T. [46] [47]
29 сентября 2014 г. MPEG LA объявила о своей лицензии HEVC, которая охватывает основные патенты 23 компаний. [48] Первые 100 000 «устройств» (включая реализации программного обеспечения) не требуют лицензионных отчислений, а после этого плата составляет 0,20 доллара США за устройство до годового лимита в 25 миллионов долларов США. [49] Это значительно дороже, чем плата за AVC, которая составляла 0,10 доллара США за устройство, с тем же отказом в размере 100 000 и годовым лимитом в 6,5 миллиона долларов США. MPEG LA не взимает никакой платы за сам контент, что они пытались сделать при первоначальном лицензировании AVC, но впоследствии отказались от нее, когда производители контента отказались платить. [50] Лицензия была расширена за счет включения профилей версии 2 стандарта HEVC. [51]
Когда были объявлены условия MPEG LA, комментаторы отметили, что ряд известных обладателей патентов не входили в группу. Среди них были AT&T , Microsoft , Nokia и Motorola . В то время предполагалось, что эти компании сформируют свой собственный пул лицензий, чтобы конкурировать с пулом MPEG LA или дополнить его. О такой группе было официально объявлено 26 марта 2015 года как HEVC Advance. [52] Условия, охватывающие 500 основных патентов, были объявлены 22 июля 2015 г., при этом ставки зависят от страны продажи, типа устройства, профиля HEVC, расширений HEVC и дополнительных функций HEVC. В отличие от условий MPEG LA, HEVC Advance вновь ввела лицензионные сборы за контент, закодированный с помощью HEVC, посредством платы за распределение доходов. [53]
Первоначальная лицензия HEVC Advance имела максимальную ставку роялти в размере 2,60 долларов США за устройство для стран региона 1 и ставку роялти за контент в размере 0,5% от дохода, полученного от видеоуслуг HEVC. Страны региона 1, в которых действует лицензия HEVC Advance, включают США, Канаду, Европейский Союз, Японию, Южную Корею, Австралию, Новую Зеландию и другие. Страны Региона 2 — это страны, не включенные в список стран Региона 1. Лицензия HEVC Advance имела максимальную ставку роялти в размере 1,30 доллара США за устройство для стран Региона 2. В отличие от MPEG LA, здесь не было годового ограничения. Помимо этого, HEVC Advance также взимает роялти в размере 0,5% от дохода, полученного от видеосервисов, кодирующих контент в HEVC. [53]
Когда о них было объявлено, отраслевые обозреватели вызвали резкую реакцию по поводу «необоснованных и жадных» сборов за устройства, которые примерно в семь раз превышали сборы MPEG LA. В сумме для устройства потребуются лицензии стоимостью 2,80 доллара, что в двадцать восемь раз дороже, чем AVC, а также лицензионные сборы за контент. Это привело к призывам «владельцев контента объединиться и согласиться не лицензировать HEVC Advance». [54] Другие утверждали, что тарифы могут заставить компании перейти на конкурирующие стандарты, такие как Daala и VP9 . [55]
18 декабря 2015 г. HEVC Advance объявила об изменении ставок роялти. Изменения включают снижение максимальной ставки роялти для стран Региона 1 до 2,03 доллара США за устройство, установление годового лимита роялти и отмену роялти за контент, который является бесплатным для конечных пользователей. Ежегодный лимит роялти для компании составляет 40 миллионов долларов США за устройства, 5 миллионов долларов США за контент и 2 миллиона долларов США за дополнительные функции. [56]
3 февраля 2016 года компания Technicolor SA объявила о выходе из патентного пула HEVC Advance [57] и будет напрямую лицензировать свои патенты HEVC. [58] HEVC Advance ранее перечислял 12 патентов Technicolor. [59] Technicolor объявили, что воссоединились 22 октября 2019 г. [60]
22 ноября 2016 года HEVC Advance объявила о крупной инициативе, пересмотрев свою политику, позволяющую распространять программные реализации HEVC непосредственно на потребительские мобильные устройства и персональные компьютеры без лицензионных отчислений и без необходимости получения патентной лицензии. [61]
31 марта 2017 года Velos Media объявила о своей лицензии HEVC, которая охватывает основные патенты Ericsson, Panasonic, Qualcomm Incorporated, Sharp и Sony. [62]
По состоянию на апрель 2019 года [обновлять]список патентов MPEG LA HEVC составляет 164 страницы. [63] [64]
Следующие организации в настоящее время обладают наиболее активными патентами в патентных пулах HEVC, перечисленных MPEG LA и HEVC Advance:
Версии стандарта HEVC/H.265, использующие даты утверждения ITU-T. [24]
29 февраля 2012 года на выставке Mobile World Congress 2012 компания Qualcomm продемонстрировала декодер HEVC, работающий на планшете Android, с двухъядерным процессором Qualcomm Snapdragon S4 , работающим на частоте 1,5 ГГц, продемонстрировав версии H.264/MPEG-4 AVC и HEVC. одного и того же видеоконтента, воспроизводимого рядом. Сообщается, что в этой демонстрации HEVC продемонстрировал снижение скорости передачи данных почти на 50% по сравнению с H.264/MPEG-4 AVC. [70]
11 февраля 2013 года исследователи из Массачусетского технологического института продемонстрировали первый в мире опубликованный декодер HEVC ASIC на Международной конференции по твердотельным схемам (ISSCC) 2013. [71] Их чип был способен декодировать видеопоток 3840×2160p со скоростью 30 кадров в секунду в реальном времени. время, потребляя менее 0,1 Вт мощности. [72] [73]
3 апреля 2013 года Ateme объявила о доступности первой реализации программного проигрывателя HEVC с открытым исходным кодом на основе декодера OpenHEVC и видеоплеера GPAC , которые лицензируются в соответствии с LGPL . Декодер OpenHEVC поддерживает основной профиль HEVC и может декодировать видео 1080p со скоростью 30 кадров в секунду, используя одноядерный процессор. [74] Живой транскодер, поддерживающий HEVC и используемый в сочетании с видеоплеером GPAC, был показан на стенде ATEME на выставке NAB Show в апреле 2013 года. [74] [75]
23 июля 2013 года MulticoreWare объявила и предоставила доступ к исходному коду библиотеки кодировщиков x265 HEVC под лицензией GPL v2 . [76] [77]
8 августа 2013 года компания Nippon Telegraph and Telephone объявила о выпуске своего программного кодировщика HEVC-1000 SDK, который поддерживает профиль Main 10, разрешение до 7680×4320 и частоту кадров до 120 кадров в секунду. [78]
14 ноября 2013 г. разработчики DivX опубликовали информацию о производительности декодирования HEVC с использованием процессора Intel i7 с частотой 3,5 ГГц, 4 ядрами и 8 потоками. [79] Декодер DivX 10.1 Beta обеспечивал скорость 210,9 кадров в секунду при разрешении 720p, 101,5 кадров в секунду при разрешении 1080p и 29,6 кадров в секунду при разрешении 4K. [79]
18 декабря 2013 года ViXS Systems объявила о поставках своего XCode (не путать с Apple Xcode IDE для MacOS) 6400 SoC, который был первым SoC, поддерживающим профиль Main 10 HEVC. [80]
5 апреля 2014 г. на выставке NAB компании eBrisk Video, Inc. и Altera Corporation продемонстрировали кодер HEVC Main10 с ускорением FPGA, который кодировал видео 4Kp60/10-бит в реальном времени с использованием двухпроцессорного процессора Xeon E5-2697-v2. Платформа. [81] [82]
13 августа 2014 года компания Ittiam Systems объявила о выпуске кодека H.265/HEVC третьего поколения с поддержкой 12-битного формата 4:2:2. [83]
5 сентября 2014 года Ассоциация дисков Blu-ray объявила, что спецификация дисков Blu-ray 4K будет поддерживать видео 4K в кодировке HEVC со скоростью 60 кадров в секунду, Rec . Цветовое пространство 2020 , широкий динамический диапазон ( PQ и HLG ) и 10-битная глубина цвета . [84] [85] Диски Blu-ray 4K имеют скорость передачи данных не менее 50 Мбит/с и емкость диска до 100 ГБ. [84] [85] Диски Blu-ray 4K и проигрыватели стали доступны для покупки в 2015 или 2016 году. [84] [85]
9 сентября 2014 года Apple анонсировала iPhone 6 и iPhone 6 Plus , которые поддерживают HEVC/H.265 для FaceTime по сотовой связи. [86]
18 сентября 2014 года Nvidia выпустила GeForce GTX 980 (GM204) и GTX 970 (GM204), в состав которых входит Nvidia NVENC , первый в мире аппаратный кодировщик HEVC в дискретной видеокарте. [87]
31 октября 2014 года Microsoft подтвердила, что Windows 10 будет поддерживать HEVC « из коробки» , согласно заявлению Габриэля Аула, руководителя группы данных и фундаментальных исследований Microsoft Operating Systems Group. [88] [89] В Windows 10 Техническая предварительная сборка 9860 добавлена поддержка на уровне платформы для HEVC и Matroska . [90] [91]
3 ноября 2014 года был выпущен Android Lollipop со стандартной поддержкой HEVC с использованием программного обеспечения Ittiam Systems . [92]
5 января 2015 года ViXS Systems анонсировала XCode 6800, который является первой SoC, поддерживающей профиль Main 12 HEVC. [93]
5 января 2015 года Nvidia официально анонсировала SoC Tegra X1 с полным аппаратным декодированием HEVC с фиксированными функциями. [94] [95]
22 января 2015 года Nvidia выпустила GeForce GTX 960 (GM206), которая включает в себя первый в мире аппаратный декодер HEVC Main/Main10 с фиксированными функциями в дискретной видеокарте. [96]
23 февраля 2015 года компания Advanced Micro Devices (AMD) объявила, что их ASIC UVD , который можно найти в APU Carrizo , станет первым процессором на базе x86, имеющим аппаратный декодер HEVC. [97]
27 февраля 2015 г. был выпущен медиаплеер VLC версии 2.2.0 с надежной поддержкой воспроизведения HEVC. Соответствующие версии для Android и iOS также поддерживают воспроизведение HEVC.
31 марта 2015 года VITEC анонсировала MGW Ace, который стал первым полностью аппаратным портативным кодером HEVC, обеспечивающим мобильное кодирование HEVC. [98]
5 августа 2015 года Intel выпустила продукты Skylake с полностью фиксированными функциями основного/8-битного декодирования/кодирования и гибридного/частичного основного 10/10-битного декодирования.
9 сентября 2015 года Apple анонсировала чип Apple A9 , впервые использованный в iPhone 6S , свой первый процессор с аппаратным декодером HEVC, поддерживающим Main 8 и 10. Эта функция не будет разблокирована до выпуска iOS 11 в 2017 году. [99 ]
11 апреля 2016 г. было объявлено о полной поддержке HEVC (H.265) в новейшей версии MythTV (0.28). [100]
30 августа 2016 года Intel официально анонсировала продукты процессоров Core 7-го поколения ( Kaby Lake ) с полной фиксированной поддержкой аппаратного декодирования HEVC Main10. [101]
7 сентября 2016 года Apple анонсировала чип Apple A10 , впервые использованный в iPhone 7 , который включал аппаратный кодер HEVC, поддерживающий Main 8 и 10. Эта функция не будет разблокирована до выпуска iOS 11 в 2017 году. [99]
25 октября 2016 года Nvidia выпустила GeForce GTX 1050Ti (GP107) и GeForce GTX 1050 (GP107), которые включают в себя полностью фиксированный аппаратный кодировщик HEVC Main10/Main12.
5 июня 2017 года Apple объявила о поддержке HEVC H.265 в macOS High Sierra , iOS 11 , tvOS , [102] HTTP Live Streaming [103] и Safari . [104] [105]
25 июня 2017 года Microsoft выпустила бесплатное расширение приложения HEVC для Windows 10 , позволяющее некоторым устройствам Windows 10 с оборудованием декодирования HEVC воспроизводить видео в формате HEVC внутри любого приложения. [106]
19 сентября 2017 года Apple выпустила iOS 11 и tvOS 11 с поддержкой кодирования и декодирования HEVC. [107] [102]
25 сентября 2017 года Apple выпустила macOS High Sierra с поддержкой кодирования и декодирования HEVC.
28 сентября 2017 года GoPro выпустила экшн-камеру Hero6 Black с кодированием видео 4K60P HEVC. [108]
17 октября 2017 года Microsoft удалила поддержку декодирования HEVC из Windows 10 с помощью обновления Fall Creators Update версии 1709, сделав HEVC доступным вместо этого в виде отдельной платной загрузки из Microsoft Store. [109]
2 ноября 2017 года Nvidia выпустила GeForce GTX 1070 Ti (GP104), которая включает в себя полностью фиксированный аппаратный декодер HEVC Main10/Main12.
20 сентября 2018 года Nvidia выпустила GeForce RTX 2080 (TU104), которая включает в себя полностью фиксированный аппаратный декодер HEVC Main 4:4:4 12.
25 октября 2022 года Chrome выпустил версию 107, которая начинает поддерживать аппаратное декодирование HEVC для всех платформ «из коробки», если оборудование поддерживается.
HEVC реализован в следующих веб-браузерах:
По данным Can I Use, в июне 2023 года примерно 88,31% браузеров, используемых на настольных и мобильных системах, могли воспроизводить видео HEVC на веб-страницах HTML5. [114]
Большинство стандартов кодирования видео разработаны в первую очередь для достижения максимальной эффективности кодирования. Эффективность кодирования — это способность кодировать видео с минимально возможной скоростью передачи данных, сохраняя при этом определенный уровень качества видео. Существует два стандартных способа измерения эффективности кодирования стандарта видеокодирования: использовать объективный показатель, такой как пиковое соотношение сигнал/шум (PSNR), или использовать субъективную оценку качества видео. Субъективная оценка качества видео считается наиболее важным способом измерения стандарта кодирования видео, поскольку люди воспринимают качество видео субъективно. [118]
HEVC выигрывает от использования блоков дерева кодирования (CTU) большего размера. Это было показано в тестах PSNR с кодером HM-8.0 HEVC, где он был вынужден использовать постепенно меньшие размеры CTU. Для всех тестовых последовательностей по сравнению с размером CTU 64×64 было показано, что скорость передачи данных HEVC увеличилась на 2,2% при принудительном использовании размера CTU 32×32 и увеличилась на 11,0% при принудительном использовании размера 16×. Размер 16 ГТЕ. В тестовых последовательностях класса A, где разрешение видео составляло 2560×1600, по сравнению с размером CTU 64×64, было показано, что скорость передачи данных HEVC увеличилась на 5,7% при принудительном использовании размера CTU 32×32. и увеличился на 28,2% при использовании CTU размером 16×16. Тесты показали, что большие размеры CTU повышают эффективность кодирования, а также сокращают время декодирования. [118]
Основной профиль HEVC (MP) сравнивался по эффективности кодирования с H.264/MPEG-4 AVC High Profile (HP), MPEG-4 Advanced Simple Profile (ASP), H.263 High Latency Profile (HLP) и H. .262/MPEG-2 Основной профиль (MP). Кодирование видео было выполнено для развлекательных приложений, и для девяти тестовых видеопоследовательностей было создано двенадцать различных битрейтов с использованием кодера HM-8.0 HEVC. Из девяти тестовых последовательностей видео пять имели разрешение HD, а четыре — разрешение WVGA (800×480). Снижение скорости передачи данных для HEVC было определено на основе PSNR, при этом HEVC имел снижение скорости передачи данных на 35,4% по сравнению с H.264/MPEG-4 AVC HP, на 63,7% по сравнению с MPEG-4 ASP, на 65,1% по сравнению с H.263 HLP. и 70,8% по сравнению с H.262/MPEG-2 MP. [118]
HEVC MP также сравнивался с H.264/MPEG-4 AVC HP по субъективному качеству видео. Кодирование видео было выполнено для развлекательных приложений, и для девяти тестовых видеопоследовательностей были созданы четыре различных битрейта с использованием кодера HM-5.0 HEVC. Субъективная оценка была проведена раньше, чем сравнение PSNR, поэтому использовалась более ранняя версия кодера HEVC, которая имела немного более низкую производительность. Снижение скорости передачи данных определялось на основе субъективной оценки с использованием средних значений оценок. Общее субъективное снижение битрейта для HEVC MP по сравнению с H.264/MPEG-4 AVC HP составило 49,3%. [118]
Федеральная политехническая школа Лозанны (EPFL) провела исследование для оценки субъективного качества видео HEVC при разрешениях выше, чем HDTV. Исследование проводилось с тремя видео с разрешением 3840×1744 при 24 кадрах в секунду, 3840×2048 при 30 кадрах в секунду и 3840×2160 при 30 кадрах в секунду. В пятисекундных видеороликах были показаны люди на улице, движение транспорта и сцена из компьютерного анимационного фильма «Синтел» с открытым исходным кодом . Видеопоследовательности были закодированы с пятью различными скоростями передачи данных с использованием кодера HM-6.1.1 HEVC и кодера JM-18.3 H.264/MPEG-4 AVC. Субъективное снижение скорости передачи данных определялось на основе субъективной оценки с использованием средних значений оценок. Исследование сравнило HEVC MP с H.264/MPEG-4 AVC HP и показало, что для HEVC MP среднее снижение битрейта на основе PSNR составило 44,4%, тогда как среднее снижение битрейта на основе субъективного качества видео составило 66,5%. [119] [120] [121] [122]
В сравнении производительности HEVC, опубликованном в апреле 2013 года, HEVC MP и основной профиль 10 (M10P) сравнивались с H.264/MPEG-4 AVC HP и профилем High 10 (H10P) с использованием видеопоследовательностей 3840×2160. Видеопоследовательности кодировались с помощью кодера HM-10.0 HEVC и кодера JM-18.4 H.264/MPEG-4 AVC. Среднее снижение скорости передачи данных на основе PSNR составило 45 % для межкадрового видео.
В сравнении видеокодеров, опубликованном в декабре 2013 года, кодер HM-10.0 HEVC сравнивался с кодером x264 (версия r2334) и кодером VP9 (версия v1.2.0-3088-ga81bd12). Для сравнения использовался метод измерения скорости передачи данных Бьёнтегора-Дельта (BD-BR), в котором отрицательные значения показывают, насколько ниже снижается скорость передачи данных, а положительные значения показывают, насколько скорость передачи данных увеличивается для того же PSNR. В сравнении, кодер HM-10.0 HEVC имел самую высокую эффективность кодирования, и в среднем для получения такого же объективного качества кодеру x264 требовалось увеличить битрейт на 66,4%, а кодеру VP9 нужно было увеличить битрейт. на 79,4%. [123]
В ходе субъективного сравнения производительности видео, опубликованного в мае 2014 года, JCT-VC сравнил основной профиль HEVC с профилем H.264/MPEG-4 AVC High. В сравнении использовались средние значения оценок общественного мнения, оно было проведено BBC и Университетом Западной Шотландии . Видеопоследовательности кодировались с помощью кодера HM-12.1 HEVC и кодера JM-18.5 H.264/MPEG-4 AVC. В сравнении использовался диапазон разрешений, а среднее снижение скорости передачи данных для HEVC составило 59%. Среднее снижение скорости передачи данных для HEVC составило 52% для 480p, 56% для 720p, 62% для 1080p и 64% для 4K UHD. [124]
В ходе субъективного сравнения видеокодеков, опубликованного EPFL в августе 2014 года, кодер HM-15.0 HEVC сравнивался с кодером VP9 1.2.0–5183 и кодером JM-18.8 H.264/MPEG-4 AVC. Четыре последовательности с разрешением 4K были закодированы с пятью различными скоростями передачи данных, при этом кодеры были настроены на использование внутреннего периода в одну секунду. В сравнении, кодер HM-15.0 HEVC имел наибольшую эффективность кодирования и в среднем при том же субъективном качестве битрейт можно было снизить на 49,4% по сравнению с кодером VP9 1.2.0–5183, и его можно было снизить. на 52,6% по сравнению с кодером JM-18.8 H.264/MPEG-4 AVC. [125] [126] [127]
В августе 2016 года Netflix опубликовал результаты крупномасштабного исследования, сравнивающего ведущий кодировщик HEVC с открытым исходным кодом, x265 , с ведущим кодером AVC с открытым исходным кодом, x264 и эталонным кодером VP9 , libvpx. [128] Используя свой усовершенствованный инструмент измерения качества видео Video Multimethod Assessment Fusion (VMAF), Netflix обнаружил, что x265 обеспечивает идентичное качество при скорости передачи данных в диапазоне от 35,4% до 53,3% ниже, чем x264, и от 17,8% до 21,8% ниже, чем VP9. [129]
HEVC был разработан для существенного повышения эффективности кодирования по сравнению с H.264/MPEG-4 AVC HP, т.е. для снижения требований к скорости передачи данных вдвое при сопоставимом качестве изображения за счет увеличения вычислительной сложности. [13] HEVC был разработан с целью обеспечить степень сжатия видеоконтента до 1000:1. [130] В зависимости от требований приложения, кодеры HEVC могут выбирать между вычислительной сложностью, степенью сжатия, устойчивостью к ошибкам и временем задержки кодирования. [13] Двумя ключевыми особенностями, в которых HEVC был улучшен по сравнению с H.264/MPEG-4 AVC, были поддержка видео более высокого разрешения и улучшенные методы параллельной обработки. [13]
HEVC предназначен для HDTV-дисплеев нового поколения и систем захвата контента, которые поддерживают частоту кадров с прогрессивной разверткой и разрешение дисплея от QVGA (320×240) до 4320p (7680×4320), а также улучшенное качество изображения с точки зрения уровня шума и цветопередачи . пробелы и динамический диапазон . [21] [131] [132] [133]
Уровень кодирования видео HEVC использует тот же «гибридный» подход, который используется во всех современных видеостандартах, начиная с H.261 , поскольку он использует предсказание между/внутри изображения и кодирование 2D-преобразования. [13] Кодер HEVC сначала разделяет изображение на области блочной формы для первого изображения или первого изображения точки произвольного доступа, которая использует внутрикадровое предсказание. [13] Внутрикадровое предсказание – это когда предсказание блоков в изображении основано только на информации в этом изображении. [13] Для всех остальных изображений используется межкадровое предсказание, при котором информация предсказания используется из других изображений. [13] После завершения методов прогнозирования и прохождения изображения через контурные фильтры окончательное представление изображения сохраняется в буфере декодированного изображения. [13] Изображения, хранящиеся в буфере декодированных изображений, могут использоваться для предсказания других изображений. [13]
HEVC был разработан с идеей, что будет использоваться видео с прогрессивной разверткой , и не было добавлено никаких инструментов кодирования специально для чересстрочного видео . [13] Специальные инструменты чересстрочного кодирования, такие как MBAFF и PAFF, не поддерживаются в HEVC. [134] Вместо этого HEVC отправляет метаданные , которые сообщают, как было отправлено чересстрочное видео. [13] Чересстрочное видео можно отправлять либо путем кодирования каждого кадра как отдельного изображения, либо путем кодирования каждого поля как отдельного изображения. [13] Для чересстрочного видео HEVC может переключаться между кодированием кадров и кодированием полей с использованием адаптивного поля кадра последовательности (SAFF), что позволяет изменять режим кодирования для каждой видеопоследовательности. [135] Это позволяет отправлять чересстрочное видео с помощью HEVC без необходимости добавления специальных процессов чересстрочного декодирования в декодеры HEVC. [13]
Стандарт HEVC поддерживает такие цветовые пространства , как обычный фильм, NTSC , PAL , Rec. 601 , Рек. 709 , Рек. 2020 , Рек. 2100 , SMPTE 170M, SMPTE 240M, sRGB , sYCC , xvYCC , XYZ и внешние цветовые пространства. [24] HEVC поддерживает представления кодирования цвета, такие как RGB , YCbCr и YCoCg . [24]
HEVC заменяет макроблоки размером 16×16 пикселей , которые использовались в предыдущих стандартах, на единицы дерева кодирования (CTU), которые могут использовать более крупные блочные структуры, содержащие до 64×64 выборок, и могут лучше разбивать изображение на структуры переменного размера. [13] [136] HEVC первоначально делит изображение на CTU, которые могут иметь размер 64×64, 32×32 или 16×16, при этом больший размер блока пикселей обычно увеличивает эффективность кодирования. [13]
HEVC определяет четыре размера единиц преобразования (TU) 4×4, 8×8, 16×16 и 32×32 для кодирования остатка предсказания. [13] CTB может быть рекурсивно разделен на 4 или более TU. [13] TU используют целочисленные базисные функции, основанные на дискретном косинусном преобразовании (DCT). [13] [2] Кроме того, блоки преобразования яркости 4×4, которые принадлежат области внутреннего кодирования, преобразуются с использованием целочисленного преобразования, которое получается из дискретного синусоидального преобразования (DST). [13] Это обеспечивает снижение скорости передачи данных на 1%, но было ограничено блоками преобразования яркости 4×4 из-за незначительных преимуществ для других случаев преобразования. [13] Цветность использует те же размеры TU, что и яркость, поэтому для цветности нет преобразования 2×2. [13]
HEVC использует контекстно-адаптивный алгоритм двоичного арифметического кодирования (CABAC), который по своей сути аналогичен CABAC в H.264/MPEG-4 AVC. [13] CABAC — единственный метод энтропийного кодирования, разрешенный в HEVC, тогда как в H.264/MPEG-4 AVC разрешены два метода энтропийного кодирования. [13] CABAC и энтропийное кодирование коэффициентов преобразования в HEVC были разработаны для более высокой пропускной способности, чем H.264/MPEG-4 AVC, [137] при сохранении более высокой эффективности сжатия для блоков преобразования большего размера по сравнению с простыми расширениями. [138] Например, количество элементов контекстного кодирования было уменьшено в 8 раз, а режим обхода CABAC был улучшен с точки зрения его конструкции для увеличения пропускной способности. [13] [137] [139] Еще одним улучшением HEVC является то, что зависимости между закодированными данными были изменены для дальнейшего увеличения пропускной способности. [13] [137] Моделирование контекста в HEVC также было улучшено, так что CABAC может лучше выбирать контекст, который повышает эффективность по сравнению с H.264/MPEG-4 AVC. [13]
HEVC определяет 33 направленных режима для внутреннего предсказания по сравнению с 8 направленными режимами для внутреннего предсказания, указанными в H.264/MPEG-4 AVC. [13] HEVC также определяет режимы внутреннего предсказания постоянного тока и режимы планарного предсказания. [13] Режим внутреннего предсказания постоянного тока генерирует среднее значение путем усреднения эталонных выборок и может использоваться для плоских поверхностей. [13] Режим планарного прогнозирования в HEVC поддерживает все размеры блоков, определенные в HEVC, тогда как режим планарного прогнозирования в H.264/MPEG-4 AVC ограничен размером блока 16×16 пикселей. [13] Режимы внутреннего предсказания используют данные из соседних блоков предсказания, которые были ранее декодированы из одного и того же изображения. [13]
Для интерполяции позиций дробных выборок яркости HEVC использует отдельное применение одномерной интерполяции половинной выборки с 8-отводным фильтром или интерполяции четверти выборки с 7-отводным фильтром, в то время как, для сравнения, H.264/MPEG-4 AVC использует двухэтапный процесс, который сначала выводит значения в позициях полувыборки с использованием разделимой одномерной 6-точечной интерполяции с последующим целочисленным округлением, а затем применяет линейную интерполяцию между значениями в соседних позициях полувыборки для генерации значений в позициях четверти выборки. [13] HEVC имеет повышенную точность благодаря более длинному фильтру интерполяции и устранению промежуточной ошибки округления. [13] Для видео 4:2:0 образцы цветности интерполируются с помощью разделяемой одномерной 4-кратной фильтрации для получения точности до восьмой выборки, в то время как для сравнения H.264/MPEG-4 AVC использует только 2-кратную билинейную фильтрацию . фильтр (также с точностью до восьмой выборки). [13]
Как и в H.264/MPEG-4 AVC, взвешенное прогнозирование в HEVC может использоваться либо с однопрогнозированием (при котором используется одно значение прогнозирования), либо с двупрогнозированием (при котором значения прогнозирования из двух блоков прогнозирования объединяются). . [13]
HEVC определяет 16-битный диапазон со знаком как для горизонтальных, так и для вертикальных векторов движения (MV). [24] [140] [141] [142] Это было добавлено в HEVC на встрече HEVC в июле 2012 года с переменными mvLX. [24] [140] [141] [142] Горизонтальные/вертикальные MV HEVC имеют диапазон от -32768 до 32767, что, учитывая точность в четверть пикселя, используемую HEVC, позволяет использовать диапазон MV от -8192 до 8191,75 выборок яркости. [24] [140] [141] [142] Это сравнимо с H.264/MPEG-4 AVC, который допускает горизонтальный диапазон MV от -2048 до 2047,75 выборок яркости и вертикальный диапазон MV от -512 до 511,75 выборок яркости. [141]
HEVC допускает два режима MV: расширенное прогнозирование вектора движения (AMVP) и режим слияния. [13] AMVP использует данные из опорного изображения, а также может использовать данные из соседних блоков предсказания. [13] Режим слияния позволяет наследовать MV от соседних блоков прогнозирования. [13] Режим слияния в HEVC аналогичен режимам «пропущенного» и «прямого» вывода движения в H.264/MPEG-4 AVC, но с двумя улучшениями. [13] Первое улучшение заключается в том, что HEVC использует индексную информацию для выбора одного из нескольких доступных кандидатов. [13] Второе улучшение заключается в том, что HEVC использует информацию из списка опорных изображений и индекса опорных изображений. [13]
HEVC определяет два контурных фильтра, которые применяются последовательно: сначала применяется фильтр деблокирования (DBF), а затем фильтр адаптивного смещения выборки (SAO). [13] Оба контурных фильтра применяются в цикле межкадрового предсказания, т.е. отфильтрованное изображение сохраняется в буфере декодированного изображения (DPB) в качестве эталона для межкадрового предсказания. [13]
DBF аналогичен тому, который используется в H.264/MPEG-4 AVC, но имеет более простую конструкцию и лучшую поддержку параллельной обработки. [13] В HEVC DBF применяется только к сетке выборки 8×8, тогда как в H.264/MPEG-4 AVC DBF применяется к сетке выборки 4×4. [13] DBF использует сетку выборки 8×8, поскольку она не вызывает заметного ухудшения качества и значительно улучшает параллельную обработку, поскольку DBF больше не вызывает каскадных взаимодействий с другими операциями. [13] Еще одно изменение заключается в том, что HEVC допускает только три уровня DBF от 0 до 2. [13] HEVC также требует, чтобы DBF сначала применял горизонтальную фильтрацию для вертикальных краев к изображению, и только после этого он применял вертикальную фильтрацию для горизонтальных краев. к картинке. [13] Это позволяет использовать несколько параллельных потоков для DBF. [13]
Фильтр SAO применяется после DBF и предназначен для лучшего восстановления амплитуд исходного сигнала путем применения смещений, хранящихся в справочной таблице в битовом потоке. [13] [143] В зависимости от CTB фильтр SAO можно отключить или применить в одном из двух режимов: режим смещения фронта или режим смещения полосы. [13] [143] Режим смещения края работает путем сравнения значения выборки с двумя из восьми соседей, используя одну из четырех диаграмм направленного градиента. [13] [143] На основании сравнения с этими двумя соседями выборка классифицируется по одной из пяти категорий: минимальная, максимальная, граница с выборкой, имеющей более низкое значение, граница с выборкой, имеющей более высокое значение, или монотонный. [13] [143] Для каждой из первых четырех категорий применяется смещение. [13] [143] В режиме смещения полосы применяется смещение, основанное на амплитуде одной выборки. [13] [143] Выборка классифицируется по ее амплитуде в одну из 32 полос ( элементов гистограммы ). [13] [143] Смещения указаны для четырех последовательных из 32 полос, поскольку на плоских участках, склонных к появлению артефактов в виде полос, амплитуды выборок имеют тенденцию группироваться в небольшом диапазоне. [13] [143] Фильтр SAO был разработан для повышения качества изображения, уменьшения артефактов полос и помех . [13] [143]
Расширения диапазона в MPEG — это дополнительные профили, уровни и методы, которые удовлетворяют потребности, выходящие за рамки потребительского воспроизведения видео: [24]
В этих новых профилях появились расширенные функции кодирования, многие из которых поддерживают эффективное кодирование экрана или высокоскоростную обработку:
HEVC версии 2 добавляет несколько сообщений дополнительной информации о расширении (SEI):
Дополнительные параметры инструмента кодирования были добавлены в проект расширений кодирования содержимого экрана (SCC) за март 2016 г.: [147]
Версия стандарта ITU-T, в которую добавлены расширения SCC (утверждена в декабре 2016 года и опубликована в марте 2017 года), добавлена поддержка функции передачи гибридной логарифмической гаммы (HLG) и цветовой матрицы ICtCp . [65] Это позволяет четвертой версии HEVC поддерживать обе функции передачи HDR, определенные в Рек. 2100 . [65]
Четвертая версия HEVC добавляет несколько сообщений дополнительной информации расширения (SEI), которые включают в себя:
Версия 1 стандарта HEVC определяет три профиля: Main , Main 10 и Main Still Picture . [24] Версия 2 HEVC добавляет 21 профиль расширения диапазона, два профиля масштабируемых расширений и один профиль с несколькими представлениями. [24] HEVC также содержит положения для дополнительных профилей. [24] Расширения, добавленные к HEVC, включают увеличенную разрядность , выборку цветности 4:2:2/4:4:4 , многовидовое видеокодирование (MVC) и масштабируемое видеокодирование (SVC). [13] [150] Расширения диапазона HEVC, масштабируемые расширения HEVC и многопросмотровые расширения HEVC были завершены в июле 2014 года. [151] [152] [153] В июле 2014 года был выпущен черновой вариант второй версии HEVC. [151] Расширения кодирования содержимого экрана (SCC) находились в стадии разработки для видео содержимого экрана, которое содержит текст и графику, окончательная дата выпуска проекта ожидается в 2015 году. [154] [155]
Профиль — это определенный набор инструментов кодирования, который можно использовать для создания битового потока, соответствующего этому профилю. [13] Кодер профиля может выбирать, какие инструменты кодирования использовать, при условии, что он генерирует соответствующий поток битов, в то время как декодер профиля должен поддерживать все инструменты кодирования, которые могут использоваться в этом профиле. [13]
Основной профиль допускает битовую глубину 8 бит на семпл с сэмплированием цветности 4:2:0, который является наиболее распространенным типом видео, используемым в потребительских устройствах. [13] [24] [152]
Профиль Main 10 ( Main10) был добавлен на совещании HEVC в октябре 2012 года на основе предложения JCTVC-K0109, в котором предлагалось добавить 10-битный профиль в HEVC для потребительских приложений. В предложении говорилось, что это позволит улучшить качество видео и поддержать Rec. 2020 , которое стало широко использоваться в системах UHDTV и обеспечивает более широкий динамический диапазон и точность цветопередачи, избегая артефактов полосатости. Предложение поддержали различные компании, в том числе Ateme , BBC , BSkyB , Cisco , DirecTV , Ericsson , Motorola Mobility , NGCodec, NHK , RAI , ST, SVT , Thomson Video Networks , Technicolor и ViXS Systems . [156] Профиль Main 10 допускает разрядность от 8 до 10 бит на выборку с дискретизацией цветности 4:2:0. Декодеры HEVC, соответствующие профилю Main 10, должны быть способны декодировать потоки битов, созданные с помощью следующих профилей: Main и Main 10. [24] Более высокая разрядность позволяет использовать большее количество цветов. 8 бит на образец позволяют получить 256 оттенков основного цвета (всего 16,78 миллиона цветов), а 10 бит на образец позволяют получить 1024 оттенка основного цвета (всего 1,07 миллиарда цветов). Более высокая разрядность обеспечивает более плавный переход цвета, что решает проблему, известную как цветовые полосы . [157] [158]
Профиль Main 10 позволяет улучшить качество видео, поскольку он может поддерживать видео с более высокой битовой глубиной, чем то, что поддерживается основным профилем. [156] Кроме того, в профиле «Основной 10» 8-битное видео может быть закодировано с более высокой разрядностью в 10 бит, что позволяет повысить эффективность кодирования по сравнению с основным профилем. [159] [160] [161]
В компании Ericsson заявили, что профиль Main 10 принесет потребительскому телевидению преимущества 10 бит на выборку видео. Они также заявили, что для более высоких разрешений нет штрафа за скорость передачи данных при кодировании видео со скоростью 10 бит на выборку. [157] Компания Imagination Technologies заявила, что 10-битное видео на выборку позволит использовать большее цветовое пространство и требуется для стандарта Rec. Цветовое пространство 2020 года , которое будет использоваться UHDTV. Они также сказали, что Rec. Цветовое пространство 2020 года будет способствовать широкому распространению 10-битного видео. [158] [162]
В сравнении производительности на основе PSNR, опубликованном в апреле 2013 года, профиль Main 10 сравнивался с профилем Main с использованием набора 10-битных видеопоследовательностей 3840 × 2160. 10-битные видеопоследовательности были преобразованы в 8 бит для профиля Main и остались на уровне 10 бит для профиля Main 10. Эталонный PSNR был основан на исходных 10-битных видеопоследовательностях. При сравнении производительности профиль Main 10 обеспечил снижение скорости передачи данных для межкадрового видеокодирования на 5% по сравнению с профилем Main. Сравнение производительности показывает, что для тестируемых видеопоследовательностей профиль Main 10 превосходил профиль Main. [163]
Профиль «Основное неподвижное изображение» ( MainStillPicture) позволяет кодировать одно неподвижное изображение с теми же ограничениями, что и основной профиль. В качестве подмножества основного профиля профиль основного неподвижного изображения допускает битовую глубину 8 бит на семпл с семплированием цветности 4:2:0. [13] [24] [152] В апреле 2012 года было проведено объективное сравнение производительности, в ходе которого HEVC снизил среднюю скорость передачи данных для изображений на 56% по сравнению с JPEG . [165] Сравнение производительности сжатия неподвижных изображений на основе PSNR было проведено в мае 2012 года с использованием кодера HEVC HM 6.0 и эталонных программных кодеров для других стандартов. Для неподвижных изображений HEVC снизил среднюю скорость передачи данных на 15,8% по сравнению с H.264/MPEG-4 AVC, на 22,6% по сравнению с JPEG 2000 , на 30,0% по сравнению с JPEG XR , на 31,0% по сравнению с WebP и на 43,0% по сравнению с JPEG. [166]
Сравнение производительности сжатия неподвижных изображений было проведено в январе 2013 года с использованием кодировщика HEVC HM 8.0rc2, Kakadu версии 6.0 для JPEG 2000 и IJG версии 6b для JPEG. При сравнении производительности использовался PSNR для объективной оценки и значения среднего балла мнения (MOS) для субъективной оценки. При субъективной оценке использовалась та же методология тестирования и изображения, что и комитет JPEG при оценке JPEG XR. Для изображений с цветовой выборкой 4:2:0 среднее снижение скорости передачи данных для HEVC по сравнению с JPEG 2000 составило 20,26% для PSNR и 30,96% для MOS, тогда как по сравнению с JPEG оно составило 61,63% для PSNR и 43,10% для MOS. [164]
Сравнение производительности HEVC для сжатия неподвижных изображений на основе PSNR было проведено компанией Nokia в апреле 2013 года . HEVC имеет большее улучшение производительности для изображений с более высоким разрешением, чем для изображений с более низким разрешением, и большее улучшение производительности для более низких скоростей передачи данных, чем для более высоких скоростей передачи данных. Для сжатия с потерями для получения того же PSNR, что и у HEVC, потребовалось в среднем в 1,4 раза больше битов для JPEG 2000, в 1,6 раза больше битов для JPEG-XR и в 2,3 раза больше битов для JPEG. [167]
Исследование эффективности сжатия HEVC, JPEG, JPEG XR и WebP было проведено в октябре 2013 года компанией Mozilla . Исследование показало, что HEVC значительно лучше сжимает, чем другие протестированные форматы изображений. В исследовании использовались четыре различных метода сравнения качества изображения: Y-SSIM, RGB-SSIM, IW-SSIM и PSNR-HVS-M. [168] [169]
Версия 2 HEVC добавляет 21 профиль расширения диапазона, два профиля масштабируемых расширений и один профиль с несколькими представлениями: монохромный , монохромный 12 , монохромный 16 , основной 12 , основной 4:2:2 10 , основной 4:2:2 12 , основной. 4:4:4 , Основной 4:4:4 10 , Основной 4:4:4 12 , Монохромный 12 Внутри , Монохромный 16 Внутри , Основной 12 Внутри , Основной 4:2:2 10 Внутри , Основной 4:2:2 12 Внутренний , Основной 4:4:4 Внутренний , Основной 4:4: 4 10 Внутренний , Основной 4:4:4 12 Внутренний , Основной 4:4:4 16 Внутренний , Основной 4:4:4 Фото , Основной 4:4 :4 16 Неподвижное изображение , Высокая пропускная способность 4:4:4 16 Внутренний , Масштабируемый главный , Масштабируемый главный 10 и Многоэкранный главный . [24] [170] Все профили расширения межкадрового диапазона имеют внутренний профиль. [24]
HbrFactor12 раз выше, чем другие профили HEVC, что позволяет ему иметь максимальную скорость передачи данных в 12 раз выше, чем у основного профиля 4:4:4 16 Intra. [24] [171] Профиль High Throughput 4:4:4 16 Intra предназначен для создания высококачественного профессионального контента, и декодеры для этого профиля не требуются для поддержки других профилей. [171]В версии 3 HEVC добавлен один 3D-профиль: 3D Main . В проект расширений кодирования содержимого экрана за февраль 2016 года добавлены семь профилей расширений кодирования содержимого экрана, три профиля расширений с высокой пропускной способностью и четыре профиля масштабируемых расширений: Screen-Extended Main , Screen-Extended Main 10 , Screen-Extended Main 4:4:4. , Основной экран с расширением 4:4:4 10 , Расширенный экран с высокой пропускной способностью 4:4:4 , Расширенный экран с высокой пропускной способностью 4:4:4 10 , Расширенный экран с высокой пропускной способностью 4:4:4 14 , Высокая пропускная способность 4 :4:4 , Высокая пропускная способность 4:4:4 10 , Высокая пропускная способность 4:4:4 14 , Масштабируемый монохромный , Масштабируемый монохромный 12 , Масштабируемый монохромный 16 и Масштабируемый основной 4:4:4 . [24] [147]
Стандарт HEVC определяет два уровня: основной и высокий, а также тринадцать уровней. Уровень — это набор ограничений для битового потока. Для уровней ниже уровня 4 разрешен только основной уровень. Основной уровень является более низким уровнем, чем Высокий уровень. Эти уровни были созданы для работы с приложениями, которые различаются максимальной скоростью передачи данных. Уровень Main был разработан для большинства приложений, а уровень High — для очень ресурсоемких приложений. Декодер, соответствующий данному ярусу/уровню, должен быть способен декодировать все потоки битов, которые закодированы для этого яруса/уровня и для всех нижних ярусов/уровней. [13] [24]
Ранее декодированные изображения сохраняются в буфере декодированных изображений (DPB) и используются кодировщиками HEVC для формирования прогнозов для последующих изображений. Максимальное количество изображений, которые можно сохранить в DPB, называемое емкостью DPB, равно 6 (включая текущее изображение) для всех уровней HEVC при работе с максимальным размером изображения, поддерживаемым этим уровнем. Емкость DPB (в единицах изображений) увеличивается с 6 до 8, 12 или 16 по мере уменьшения размера изображения по сравнению с максимальным размером изображения, поддерживаемым уровнем. Кодер выбирает, какие конкретные изображения сохраняются в DPB, по каждому изображению, поэтому кодер имеет возможность определять для себя лучший способ использования емкости DPB при кодировании видеоконтента. [24]
MPEG опубликовал поправку, которая добавила поддержку HEVC к транспортному потоку MPEG , используемому ATSC , DVB и Blu-ray Disc ; MPEG решил не обновлять программный поток MPEG , используемый DVD-Video . [172] [173] MPEG также добавил поддержку HEVC к базовому формату медиафайлов ISO . [174] [175] HEVC также поддерживается стандартом транспортировки мультимедиа MPEG . [172] [176] Поддержка HEVC была добавлена в Matroska , начиная с выпуска MKVToolNix v6.8.0 после объединения патча от DivX. [177] [178] В Инженерную рабочую группу Интернета был представлен проект документа , в котором описан метод добавления поддержки HEVC в транспортный протокол реального времени . [179]
Используя внутрикадровое кодирование HEVC, программист Фабрис Беллард предложил формат кодирования неподвижных изображений под названием Better Portable Graphics (BPG) . [180] По сути, это оболочка для изображений, закодированных с использованием профиля HEVC Main 4:4:4 16 Still Picture с длиной до 14 бит на выборку, хотя он использует сокращенный синтаксис заголовка и добавляет явную поддержку профилей Exif , ICC и Метаданные XMP . [180] [181]
Условия лицензии и сборы за патенты HEVC по сравнению с основными конкурентами:
Как и в случае с его предшественником AVC, дистрибьюторы программного обеспечения, реализующие HEVC в своих продуктах, должны платить за каждую распространяемую копию. [i] Хотя эта модель лицензирования приемлема для платного программного обеспечения, она является препятствием для большинства бесплатных программ с открытым исходным кодом , которые должны распространяться свободно. По мнению компании MulticoreWare , разработчика x265 , предоставление бесплатных программных кодеров и декодеров отвечает интересам ускорения внедрения HEVC. [188] [192] [193] HEVC Advance сделал исключение, которое конкретно освобождает от лицензионных отчислений только программные реализации (как декодеры, так и кодеры), если они не связаны с аппаратным обеспечением. [194] Однако освобожденное программное обеспечение не освобождается от лицензионных обязательств других держателей патентов (например, членов пула MPEG LA).
Хотя препятствия на пути к свободному программному обеспечению не вызывают беспокойства, например, в сетях телевизионного вещания, эта проблема в сочетании с перспективой будущей коллективной привязки к формату заставляет несколько организаций, таких как Mozilla (см. OpenH264 ) и Европейский фонд свободного программного обеспечения [195], ] с осторожностью относится к форматам, требующим лицензионных отчислений для использования в Интернете. Конкурирующие форматы, предназначенные для использования в Интернете (VP9 и AV1), призваны избежать этих проблем, поскольку они не требуют лицензионных отчислений (при условии, что третьи стороны не предъявляют претензий на патентные права).
^i : Независимо от того, как программное обеспечение лицензируется авторами программного обеспечения (см. Лицензирование программного обеспечения ), если то, что оно делает, запатентовано, его использование остается связанным правами держателей патентов, если только использование патентов не было разрешено лицензией.
В октябре 2015 года MPEG и VCEG сформировали Объединенную группу по исследованию видео (JVET) [196] для оценки доступных технологий сжатия и изучения требований к стандарту сжатия видео следующего поколения. Новый алгоритм должен иметь на 30–50% лучшую степень сжатия при том же качестве восприятия, с поддержкой сжатия без потерь и субъективно без потерь. Он также должен поддерживать YCbCr 4:4:4, 4:2:2 и 4:2:0 с 10–16 битами на компонент, широкую цветовую гамму BT.2100 и высокий динамический диапазон (HDR) более 16 ступеней (с пиковая яркость 1000, 4000 и 10000 нит), вспомогательные каналы (для глубины, прозрачности и т. д.), переменная и дробная частота кадров от 0 до 120 Гц, масштабируемое кодирование видео для временного (частота кадров), пространственного (разрешение), SNR , различия в цветовой гамме и динамическом диапазоне, кодирование стерео/мультивида, панорамные форматы и кодирование неподвижных изображений. Ожидается, что сложность кодирования будет в 10 раз выше, чем у HEVC. JVET опубликовал окончательный «Призыв к подаче предложений» в октябре 2017 года, а первый рабочий проект стандарта универсального видеокодирования (VVC) был выпущен в апреле 2018 года. [197] [198] Стандарт VVC был окончательно доработан 6 июля 2020 года . [ 199]
{{cite web}}: CS1 maint: multiple names: authors list (link){{cite web}}: CS1 maint: multiple names: authors list (link)Поскольку они этого не сделали, многие продюсеры предполагают, что пул будет взимать гонорары за контент.
Ряд крупных компаний, обладающих патентами HEVC, еще не присоединились ни к одному из патентных пулов. (…) Чтобы ускорить внедрение HEVC, я предлагаю, чтобы лицензиары патентов HEVC согласились со следующими принципами: · Программное декодирование на потребительских устройствах должно быть бесплатным. · Кодирование программного обеспечения на потребительских устройствах должно быть бесплатным. · Распространение контента должно быть бесплатным.
Преобразования идентичны H.265/HEVC (Cisco IPR).
