High Efficiency Video Coding ( HEVC ), также известный как H.265 и MPEG-H Part 2 , является стандартом сжатия видео, разработанным как часть проекта MPEG-H в качестве преемника широко используемого Advanced Video Coding (AVC, H.264 или MPEG-4 Part 10). По сравнению с AVC, HEVC предлагает от 25% до 50% лучшее сжатие данных при том же уровне качества видео или существенно улучшенное качество видео при той же скорости передачи данных . Он поддерживает разрешения до 8192×4320, включая 8K UHD , и в отличие от изначально 8-битного AVC, более точный профиль Main 10 HEVC был включен почти во все поддерживающее оборудование.
В то время как AVC использует целочисленное дискретное косинусное преобразование (DCT) с размерами блоков 4×4 и 8×8, HEVC использует как целочисленное DCT, так и дискретное синусное преобразование (DST) с различными размерами блоков от 4×4 до 32×32. Формат изображения высокой эффективности (HEIF) основан на HEVC. [2]
В большинстве случаев HEVC является расширением концепций H.264/MPEG-4 AVC. Оба работают путем сравнения различных частей кадра видео для поиска областей, которые являются избыточными, как внутри одного кадра, так и между последовательными кадрами. Эти избыточные области затем заменяются кратким описанием вместо исходных пикселей. Основные изменения для HEVC включают расширение областей сравнения шаблонов и кодирования различий с 16×16 пикселей до размеров до 64×64, улучшенную сегментацию с переменным размером блока , улучшенное «внутреннее» предсказание в пределах одного изображения, улучшенное предсказание вектора движения и слияние областей движения, улучшенную фильтрацию компенсации движения и дополнительный шаг фильтрации, называемый фильтрацией смещения с адаптивной выборкой. Эффективное использование этих улучшений требует гораздо больших возможностей обработки сигнала для сжатия видео, но оказывает меньшее влияние на объем вычислений, необходимых для декомпрессии.
HEVC был стандартизирован Объединенной рабочей группой по видеокодированию (JCT-VC), совместным проектом ISO / IEC MPEG и Исследовательской группы 16 VCEG ITU-T . Группа ISO/IEC называет его MPEG-H Часть 2, а ITU-T — H.265. Первая версия стандарта HEVC была ратифицирована в январе 2013 года и опубликована в июне 2013 года. Вторая версия с расширениями multiview (MV-HEVC), range extensions (RExt) и scalability extensions (SHVC) была завершена и одобрена в 2014 году и опубликована в начале 2015 года. Расширения для 3D-видео (3D-HEVC) были завершены в начале 2015 года, а расширения для кодирования экранного контента (SCC) были завершены в начале 2016 года и опубликованы в начале 2017 года, охватывая видео, содержащее визуализированную графику, текст или анимацию, а также (или вместо них) видеосцены, снятые камерой. В октябре 2017 года стандарт был признан инженерной премией Primetime Emmy как оказавший существенное влияние на технологию телевидения. [3] [4] [5] [6] [7]
HEVC содержит технологии, защищенные патентами, принадлежащими организациям, участвовавшим в JCT-VC. Реализация устройства или программного приложения, использующего HEVC, может потребовать лицензии от владельцев патентов HEVC. ISO/IEC и ITU требуют, чтобы компании, входящие в их организации, предлагали свои патенты на разумных и недискриминационных условиях лицензирования (RAND). Патентные лицензии можно получить напрямую у каждого владельца патента или через органы лицензирования патентов, такие как MPEG LA , Access Advance и Velos Media.
Объединенные лицензионные сборы, предлагаемые в настоящее время всеми органами лицензирования патентов, выше, чем для AVC. Лицензионные сборы являются одной из главных причин низкого уровня внедрения HEVC в Интернете и причиной того, что некоторые из крупнейших технологических компаний ( Amazon , AMD , Apple , ARM , Cisco , Google , Intel , Microsoft , Mozilla , Netflix , Nvidia и другие) присоединились к Alliance for Open Media , [8] который 28 марта 2018 года завершил разработку альтернативного формата видеокодирования AV1, не требующего уплаты роялти. [9]
Формат HEVC был совместно разработан более чем дюжиной организаций по всему миру. Большинство активных патентных вкладов в разработку формата HEVC поступило от пяти организаций: Samsung Electronics (4249 патентов), General Electric (1127 патентов), [10] M&K Holdings (907 патентов), NTT (878 патентов) и JVC Kenwood (628 патентов). [11] Другие держатели патентов включают Fujitsu , Apple , Canon , Columbia University , KAIST , Kwangwoon University , MIT , Sungkyunkwan University , Funai , Hikvision , KBS , KT и NEC . [12]
В 2004 году Группа экспертов по кодированию видео ITU-T (VCEG) начала крупное исследование технологических достижений, которые могли бы позволить создать новый стандарт сжатия видео (или существенные улучшения, ориентированные на сжатие, стандарта H.264/MPEG-4 AVC ). [13] В октябре 2004 года были рассмотрены различные методы потенциального улучшения стандарта H.264/MPEG-4 AVC. В январе 2005 года на следующем заседании VCEG VCEG начала обозначать определенные темы как «Ключевые технические области» (KTA) для дальнейшего исследования. Для оценки таких предложений была создана программная кодовая база, называемая кодовой базой KTA. [14] Программное обеспечение KTA было основано на эталонном программном обеспечении Joint Model (JM), которое было разработано совместной видеогруппой MPEG и VCEG для H.264/MPEG-4 AVC. Дополнительные предложенные технологии были интегрированы в программное обеспечение KTA и протестированы в экспериментальных оценках в течение следующих четырех лет. [15] [13] [16] [17]
Рассматривались два подхода к стандартизации улучшенной технологии сжатия: либо создание нового стандарта, либо создание расширений H.264/MPEG-4 AVC. Проект имел предварительные названия H.265 и H.NGVC (Next-generation Video Coding) и был основной частью работы VCEG, пока не превратился в совместный проект HEVC с MPEG в 2010 году. [18] [19] [20]
Предварительные требования к NGVC включали возможность снижения скорости передачи данных на 50% при том же субъективном качестве изображения по сравнению с профилем H.264/MPEG-4 AVC High и вычислительную сложность в диапазоне от 1/2 до 3 раз по сравнению с профилем High. [20] NGVC мог бы обеспечить снижение скорости передачи данных на 25% вместе с 50% снижением сложности при том же воспринимаемом качестве видео, что и профиль High, или обеспечить большее снижение скорости передачи данных при несколько более высокой сложности. [20] [21]
Группа экспертов по движущимся изображениям ISO / IEC (MPEG) начала аналогичный проект в 2007 году, предварительно названный « Высокопроизводительное кодирование видео» . [22] [23] Соглашение о снижении скорости передачи данных на 50% было решено в качестве цели проекта к июлю 2007 года. [22] Ранние оценки были выполнены с модификациями эталонного программного кодера KTA, разработанного VCEG. [13] К июлю 2009 года экспериментальные результаты показали среднее снижение скорости передачи данных примерно на 20% по сравнению с AVC High Profile; эти результаты побудили MPEG начать свои усилия по стандартизации в сотрудничестве с VCEG. [23]
MPEG и VCEG создали Совместную группу по кодированию видео ( JCT-VC ) для разработки стандарта HEVC. [13] [24] [25] [26]
В январе 2010 года VCEG и MPEG выпустили официальный совместный призыв к предложениям по технологии сжатия видео, и предложения были оценены на первом заседании совместной рабочей группы MPEG и VCEG по кодированию видео (JCT-VC), которое состоялось в апреле 2010 года. Всего было подано 27 полных предложений. [18] [27] Оценки показали, что некоторые предложения могут достичь того же визуального качества, что и AVC, всего лишь при половине скорости передачи данных во многих тестовых случаях, за счет увеличения вычислительной сложности в 2–10 раз, а некоторые предложения достигли хороших субъективных результатов по качеству и скорости передачи данных при более низкой вычислительной сложности, чем эталонные кодировки AVC High Profile. На этом заседании для совместного проекта было принято название High Efficiency Video Coding (HEVC). [13] [18] Начиная с этого заседания, JCT-VC объединила функции некоторых лучших предложений в единую программную кодовую базу и «Тестовую модель на рассмотрении», а также провела дополнительные эксперименты для оценки различных предлагаемых функций. [13] [28] Первый рабочий проект спецификации HEVC был представлен на третьей встрече JCT-VC в октябре 2010 года. На последующих встречах JCT-VC было внесено множество изменений в инструменты кодирования и конфигурацию HEVC. [13]
25 января 2013 года ITU объявил, что HEVC получил одобрение (согласие) первого этапа в Альтернативном процессе одобрения ITU-T (AAP) . [29] [30] [31] В тот же день MPEG объявил, что HEVC получил статус Окончательного проекта международного стандарта (FDIS) в процессе стандартизации MPEG . [32] [33]
13 апреля 2013 года HEVC/H.265 был утвержден в качестве стандарта ITU-T. [34] [35] [36] Стандарт был официально опубликован ITU-T 7 июня 2013 года и ISO/IEC 25 ноября 2013 года. [24] [17]
11 июля 2014 года MPEG объявила, что вторая редакция HEVC будет содержать три недавно завершенных расширения: расширения многовидового представления (MV-HEVC), расширения диапазона (RExt) и расширения масштабируемости (SHVC). [37]
29 октября 2014 года HEVC/H.265 версии 2 был одобрен в качестве стандарта ITU-T. [38] [39] [40] Затем он был официально опубликован 12 января 2015 года. [24]
29 апреля 2015 года HEVC/H.265 версии 3 был утвержден в качестве стандарта ITU-T. [41] [42] [43]
3 июня 2016 года версия 4 HEVC/H.265 была одобрена в ITU-T, но не была одобрена во время голосования в октябре 2016 года. [44] [45]
22 декабря 2016 года HEVC/H.265 версии 4 был одобрен в качестве стандарта ITU-T. [46] [47]
29 сентября 2014 года MPEG LA объявила о своей лицензии HEVC, которая охватывает основные патенты 23 компаний. [48] Первые 100 000 «устройств» (включая программные реализации) являются бесплатными, а после этого плата составляет 0,20 доллара за устройство до годового лимита в 25 миллионов долларов. [49] Это значительно дороже, чем сборы за AVC, которые составляли 0,10 доллара за устройство, с тем же отказом в 100 000 и годовым лимитом в 6,5 миллионов долларов. MPEG LA не взимает никакой платы за сам контент, что они пытались сделать при первоначальном лицензировании AVC, но впоследствии отказались от этого, когда производители контента отказались платить. [50] Лицензия была расширена и теперь включает профили в версии 2 стандарта HEVC. [51]
Когда были объявлены условия MPEG LA, комментаторы отметили, что ряд известных владельцев патентов не входили в группу. Среди них были AT&T , Microsoft , Nokia и Motorola . В то время предполагалось, что эти компании сформируют свой собственный пул лицензирования, чтобы конкурировать с пулом MPEG LA или пополнить его. Такая группа была официально объявлена 26 марта 2015 года как HEVC Advance. [52] Условия, охватывающие 500 основных патентов, были объявлены 22 июля 2015 года со ставками, которые зависят от страны продажи, типа устройства, профиля HEVC, расширений HEVC и дополнительных функций HEVC. В отличие от условий MPEG LA, HEVC Advance вновь ввел лицензионные сборы за контент, закодированный с помощью HEVC, через сбор за распределение доходов. [53]
Первоначальная лицензия HEVC Advance имела максимальную ставку роялти в размере 2,60 долл. США за устройство для стран Региона 1 и ставку роялти за контент в размере 0,5% от дохода, полученного от видеосервисов HEVC. Страны Региона 1 в лицензии HEVC Advance включают США, Канаду, Европейский союз, Японию, Южную Корею, Австралию, Новую Зеландию и другие. Страны Региона 2 — это страны, не указанные в списке стран Региона 1. Лицензия HEVC Advance имела максимальную ставку роялти в размере 1,30 долл. США за устройство для стран Региона 2. В отличие от MPEG LA, не было годового лимита. Вдобавок к этому, HEVC Advance также взимала ставку роялти в размере 0,5% от дохода, полученного от видеосервисов, кодирующих контент в HEVC. [53]
Когда они были объявлены, наблюдатели отрасли отреагировали на это с большим недовольством по поводу «необоснованных и жадных» сборов за устройства, которые были примерно в семь раз больше сборов MPEG LA. В совокупности устройство потребовало бы лицензий стоимостью 2,80 доллара, что в двадцать восемь раз дороже, чем AVC, а также лицензионных сборов за контент. Это привело к призывам к «владельцам контента [объединиться] и согласиться не лицензировать HEVC Advance». [54] Другие утверждали, что ставки могут заставить компании перейти на конкурирующие стандарты, такие как Daala и VP9 . [55]
18 декабря 2015 года HEVC Advance объявила об изменениях в ставках роялти. Изменения включают снижение максимальной ставки роялти для стран Региона 1 до 2,03 долл. США за устройство, создание годовых лимитов роялти и отмену роялти за контент, который является бесплатным для конечных пользователей. Годовой лимит роялти для компании составляет 40 млн долл. США для устройств, 5 млн долл. США для контента и 2 млн долл. США для дополнительных функций. [56]
3 февраля 2016 года Technicolor SA объявила о выходе из патентного пула HEVC Advance [57] и о том, что будет напрямую лицензировать свои патенты HEVC. [58] Ранее HEVC Advance перечислила 12 патентов Technicolor. [59] Technicolor объявила о своем повторном присоединении 22 октября 2019 года. [60]
22 ноября 2016 года HEVC Advance объявила о крупной инициативе, пересмотрев свою политику, чтобы разрешить распространение программных реализаций HEVC напрямую на потребительские мобильные устройства и персональные компьютеры без уплаты роялти и без необходимости получения патентной лицензии. [61]
31 марта 2017 года компания Velos Media объявила о своей лицензии HEVC, которая охватывает основные патенты Ericsson, Panasonic, Qualcomm Incorporated, Sharp и Sony. [62]
По состоянию на апрель 2019 года [обновлять]список патентов MPEG LA HEVC составляет 164 страницы. [63] [64]
В настоящее время наиболее активными патентами в патентных пулах HEVC, перечисленных MPEG LA и HEVC Advance , владеют следующие организации :
Версии стандарта HEVC/H.265 с использованием дат утверждения ITU-T. [24]
29 февраля 2012 года на Mobile World Congress 2012 компания Qualcomm продемонстрировала декодер HEVC, работающий на планшете Android с двухъядерным процессором Qualcomm Snapdragon S4, работающим на частоте 1,5 ГГц, показав версии H.264/MPEG-4 AVC и HEVC одного и того же видеоконтента, воспроизводимые бок о бок. Сообщается, что в этой демонстрации HEVC показал почти 50%-ное снижение скорости передачи данных по сравнению с H.264/MPEG-4 AVC. [73]
11 февраля 2013 года исследователи из Массачусетского технологического института продемонстрировали первый в мире опубликованный декодер HEVC ASIC на Международной конференции по твердотельным схемам (ISSCC) 2013 года. [74] Их чип был способен декодировать видеопоток 3840×2160p со скоростью 30 кадров в секунду в реальном времени, потребляя менее 0,1 Вт мощности. [75] [76]
3 апреля 2013 года компания Ateme объявила о доступности первой реализации программного проигрывателя HEVC с открытым исходным кодом на основе декодера OpenHEVC и видеоплеера GPAC , которые оба лицензированы по лицензии LGPL . Декодер OpenHEVC поддерживает основной профиль HEVC и может декодировать видео 1080p при 30 кадрах в секунду с использованием одноядерного процессора. [77] Живой транскодер, поддерживающий HEVC и используемый в сочетании с видеоплеером GPAC, был показан на стенде ATEME на выставке NAB в апреле 2013 года. [77] [78]
23 июля 2013 года компания MulticoreWare объявила о выпуске исходного кода библиотеки кодировщика x265 HEVC под лицензией GPL v2 . [79] [80]
8 августа 2013 года Nippon Telegraph and Telephone объявили о выпуске своего программного кодера HEVC-1000 SDK, который поддерживает профиль Main 10, разрешение до 7680×4320 и частоту кадров до 120 кадров в секунду. [81]
14 ноября 2013 года разработчики DivX опубликовали информацию о производительности декодирования HEVC с использованием процессора Intel i7 с тактовой частотой 3,5 ГГц с 4 ядрами и 8 потоками. [82] Декодер DivX 10.1 Beta был способен на 210,9 кадров в секунду при разрешении 720p, 101,5 кадров в секунду при разрешении 1080p и 29,6 кадров в секунду при разрешении 4K. [82]
18 декабря 2013 года компания ViXS Systems объявила о поставках своей SoC XCode (не путать с Xcode IDE от Apple для MacOS) 6400, которая стала первой SoC, поддерживающей профиль Main 10 HEVC. [83]
5 апреля 2014 года на выставке NAB компании eBrisk Video, Inc. и Altera Corporation продемонстрировали кодер HEVC Main10 с ускорением на базе FPGA, который кодировал видео 4Kp60/10-бит в реальном времени, используя платформу с двумя процессорами Xeon E5-2697-v2. [84] [85]
13 августа 2014 года компания Ittiam Systems объявила о выпуске третьего поколения кодека H.265/HEVC с поддержкой 12-битной кодировки 4:2:2. [86]
5 сентября 2014 года Ассоциация Blu-ray Disc объявила, что спецификация 4K Blu-ray Disc будет поддерживать кодированное HEVC 4K-видео со скоростью 60 кадров в секунду, цветовое пространство Rec. 2020 , расширенный динамический диапазон ( PQ и HLG ) и глубину цвета 10 бит . [87] [88] Диски 4K Blu-ray имеют скорость передачи данных не менее 50 Мбит/с и емкость диска до 100 ГБ. [87] [88] Диски 4K Blu-ray и проигрыватели стали доступны для покупки в 2015 или 2016 году. [87] [88]
9 сентября 2014 года Apple анонсировала iPhone 6 и iPhone 6 Plus , которые поддерживают HEVC/H.265 для FaceTime по сотовой связи. [89]
18 сентября 2014 года компания Nvidia выпустила GeForce GTX 980 (GM204) и GTX 970 (GM204), в состав которых входит Nvidia NVENC — первый в мире аппаратный кодировщик HEVC в дискретной видеокарте. [90]
31 октября 2014 года Microsoft подтвердила, что Windows 10 будет поддерживать HEVC «из коробки» , согласно заявлению Габриэля Аула, руководителя группы данных и фундаментальных исследований Microsoft Operating Systems Group. [91] [92] В Windows 10 Technical Preview Build 9860 добавлена поддержка HEVC и Matroska на уровне платформы . [93] [94]
3 ноября 2014 года был выпущен Android Lollipop с встроенной поддержкой HEVC с использованием программного обеспечения Ittiam Systems . [95]
5 января 2015 года компания ViXS Systems анонсировала XCode 6800, которая стала первой SoC, поддерживающей профиль Main 12 HEVC. [96]
5 января 2015 года компания Nvidia официально анонсировала SoC Tegra X1 с полным набором фиксированных функций аппаратного декодирования HEVC. [97] [98]
22 января 2015 года компания Nvidia выпустила GeForce GTX 960 (GM206), которая включает в себя первый в мире полнофункциональный аппаратный декодер HEVC Main/Main10 в дискретной видеокарте. [99]
23 февраля 2015 года компания Advanced Micro Devices (AMD) объявила, что их UVD ASIC, которая будет установлена в APU Carrizo , станет первым процессором на базе x86 с аппаратным декодером HEVC. [100]
27 февраля 2015 года был выпущен VLC media player версии 2.2.0 с надежной поддержкой воспроизведения HEVC. Соответствующие версии на Android и iOS также способны воспроизводить HEVC.
31 марта 2015 года компания VITEC анонсировала MGW Ace, который стал первым полностью аппаратным портативным кодировщиком HEVC, обеспечивающим мобильное кодирование HEVC. [101]
5 августа 2015 года компания Intel выпустила продукты Skylake с полной фиксированной функцией Main/8-битного декодирования/кодирования и гибридным/частичным Main10/10-битным декодированием.
9 сентября 2015 года Apple анонсировала чип Apple A9 , впервые использованный в iPhone 6S , свой первый процессор с аппаратным декодером HEVC, поддерживающий Main 8 и 10. Эта функция не будет разблокирована до выпуска iOS 11 в 2017 году. [102]
11 апреля 2016 года была анонсирована полная поддержка HEVC (H.265) в новейшей версии MythTV (0.28). [103]
30 августа 2016 года компания Intel официально анонсировала процессоры Core 7-го поколения ( Kaby Lake ) с полной поддержкой аппаратного декодирования HEVC Main10. [104]
7 сентября 2016 года Apple анонсировала чип Apple A10 , впервые использованный в iPhone 7 , который включал аппаратный кодер HEVC, поддерживающий Main 8 и 10. Эта функция не будет разблокирована до выпуска iOS 11 в 2017 году. [102]
25 октября 2016 года компания Nvidia выпустила GeForce GTX 1050Ti (GP107) и GeForce GTX 1050 (GP107), которые включают в себя полнофункциональный аппаратный кодер HEVC Main10/Main12.
5 июня 2017 года Apple объявила о поддержке HEVC H.265 в macOS High Sierra , iOS 11 , tvOS , [105] HTTP Live Streaming [106] и Safari . [107] [108]
25 июня 2017 года Microsoft выпустила бесплатное расширение приложения HEVC для Windows 10 , позволяющее некоторым устройствам Windows 10 с аппаратным обеспечением для декодирования HEVC воспроизводить видео с использованием формата HEVC внутри любого приложения. [109]
19 сентября 2017 года Apple выпустила iOS 11 и tvOS 11 с поддержкой кодирования и декодирования HEVC. [110] [105]
25 сентября 2017 года Apple выпустила macOS High Sierra с поддержкой кодирования и декодирования HEVC.
28 сентября 2017 года компания GoPro выпустила экшн-камеру Hero6 Black с кодировкой видео 4K60P HEVC. [111]
17 октября 2017 года Microsoft удалила поддержку декодирования HEVC из Windows 10 с выпуском обновления версии 1709 Fall Creators Update, сделав HEVC доступным вместо этого в виде отдельной платной загрузки из Microsoft Store. [112]
2 ноября 2017 года компания Nvidia выпустила видеокарту GeForce GTX 1070 Ti (GP104), которая включает в себя полнофункциональный аппаратный декодер HEVC Main10/Main12.
20 сентября 2018 года компания Nvidia выпустила видеокарту GeForce RTX 2080 (TU104), которая включает в себя полнофункциональный аппаратный декодер HEVC Main 4:4:4 12.
25 октября 2022 года Chrome выпустил версию 107, которая начинает поддерживать аппаратное декодирование HEVC для всех платформ «из коробки», если поддерживается оборудование.
HEVC реализован в следующих веб-браузерах:
По данным Can I Use, в июне 2023 года около 88,31% браузеров, используемых на настольных компьютерах и мобильных устройствах, могли воспроизводить видео HEVC на веб-страницах HTML5. [117]
Большинство стандартов кодирования видео разработаны в первую очередь для достижения наивысшей эффективности кодирования. Эффективность кодирования — это способность кодировать видео с минимально возможной скоростью передачи данных при сохранении определенного уровня качества видео. Существует два стандартных способа измерения эффективности кодирования стандарта кодирования видео: использование объективной метрики, такой как пиковое отношение сигнал/шум (PSNR), или использование субъективной оценки качества видео. Субъективная оценка качества видео считается наиболее важным способом измерения стандарта кодирования видео, поскольку люди воспринимают качество видео субъективно. [121]
HEVC выигрывает от использования больших размеров единиц кодирования дерева (CTU). Это было показано в тестах PSNR с кодером HM-8.0 HEVC, где он был вынужден использовать постепенно меньшие размеры CTU. Для всех тестовых последовательностей, по сравнению с размером CTU 64×64, было показано, что битрейт HEVC увеличился на 2,2% при принудительном использовании размера CTU 32×32 и увеличился на 11,0% при принудительном использовании размера CTU 16×16. В тестовых последовательностях класса A, где разрешение видео было 2560×1600, по сравнению с размером CTU 64×64 было показано, что битрейт HEVC увеличился на 5,7% при принудительном использовании размера CTU 32×32 и увеличился на 28,2% при принудительном использовании размера CTU 16×16. Тесты показали, что большие размеры CTU повышают эффективность кодирования, а также сокращают время декодирования. [121]
HEVC Main Profile (MP) сравнивался по эффективности кодирования с H.264/MPEG-4 AVC High Profile (HP), MPEG-4 Advanced Simple Profile (ASP), H.263 High Latency Profile (HLP) и H.262/MPEG-2 Main Profile (MP). Видеокодирование выполнялось для развлекательных приложений, и для девяти тестовых видеопоследовательностей было создано двенадцать различных битрейтов с использованием кодера HEVC HM-8.0. Из девяти тестовых видеопоследовательностей пять были с разрешением HD, а четыре — с разрешением WVGA (800×480). Снижение скорости передачи данных для HEVC было определено на основе PSNR, при этом HEVC имел снижение скорости передачи данных на 35,4% по сравнению с H.264/MPEG-4 AVC HP, на 63,7% по сравнению с MPEG-4 ASP, на 65,1% по сравнению с H.263 HLP и на 70,8% по сравнению с H.262/MPEG-2 MP. [121]
HEVC MP также сравнивался с H.264/MPEG-4 AVC HP по субъективному качеству видео. Видеокодирование выполнялось для развлекательных приложений, и для девяти тестовых видеопоследовательностей было сделано четыре разных битрейта с использованием кодера HM-5.0 HEVC. Субъективная оценка проводилась раньше, чем сравнение PSNR, поэтому использовалась более ранняя версия кодера HEVC, которая имела немного более низкую производительность. Снижение битрейта определялось на основе субъективной оценки с использованием средних значений оценок мнений . Общее субъективное снижение битрейта для HEVC MP по сравнению с H.264/MPEG-4 AVC HP составило 49,3%. [121]
École Polytechnique Fédérale de Lausanne (EPFL) провела исследование для оценки субъективного качества видео HEVC при разрешениях выше HDTV. Исследование было проведено с тремя видеороликами с разрешениями 3840×1744 при 24 кадрах в секунду, 3840×2048 при 30 кадрах в секунду и 3840×2160 при 30 кадрах в секунду. Пятисекундные видеопоследовательности показывали людей на улице, движение транспорта и сцену из открытого компьютерного анимационного фильма Sintel . Видеопоследовательности были закодированы с пятью различными битрейтами с использованием кодера HM-6.1.1 HEVC и кодера JM-18.3 H.264/MPEG-4 AVC. Субъективное снижение битрейта определялось на основе субъективной оценки с использованием средних значений оценок мнений. Исследование сравнило HEVC MP с H.264/MPEG-4 AVC HP и показало, что для HEVC MP среднее снижение битрейта на основе PSNR составило 44,4%, тогда как среднее снижение битрейта на основе субъективного качества видео составило 66,5%. [122] [123] [124] [125]
В сравнении производительности HEVC, опубликованном в апреле 2013 года, HEVC MP и Main 10 Profile (M10P) сравнивались с H.264/MPEG-4 AVC HP и High 10 Profile (H10P) с использованием видеопоследовательностей 3840×2160. Видеопоследовательности были закодированы с использованием кодера HM-10.0 HEVC и кодера JM-18.4 H.264/MPEG-4 AVC. Среднее снижение битрейта на основе PSNR составило 45% для межкадрового видео.
В сравнении видеокодеров, выпущенном в декабре 2013 года, кодер HM-10.0 HEVC сравнивался с кодером x264 (версия r2334) и кодером VP9 (версия v1.2.0-3088-ga81bd12). В сравнении использовался метод измерения битрейта Бьёнтегаарда-Дельта (BD-BR), в котором отрицательные значения говорят о том, насколько ниже снижена битрейт, а положительные значения говорят о том, насколько увеличена битрейт для того же PSNR. В сравнении кодер HM-10.0 HEVC имел самую высокую эффективность кодирования и, в среднем, для получения того же объективного качества кодеру x264 требовалось увеличить битрейт на 66,4%, в то время как кодеру VP9 требовалось увеличить битрейт на 79,4%. [126]
В субъективном сравнении производительности видео, опубликованном в мае 2014 года, JCT-VC сравнил профиль HEVC Main с профилем H.264/MPEG-4 AVC High. Сравнение использовало средние значения оценок мнений и было проведено BBC и Университетом Западной Шотландии . Видеопоследовательности были закодированы с использованием кодера HM-12.1 HEVC и кодера JM-18.5 H.264/MPEG-4 AVC. Сравнение использовало ряд разрешений, и среднее снижение скорости передачи данных для HEVC составило 59%. Среднее снижение скорости передачи данных для HEVC составило 52% для 480p, 56% для 720p, 62% для 1080p и 64% для 4K UHD. [127]
В субъективном сравнении видеокодеков, выпущенном в августе 2014 года EPFL, кодер HM-15.0 HEVC сравнивался с кодером VP9 1.2.0–5183 и кодером JM-18.8 H.264/MPEG-4 AVC. Четыре последовательности разрешений 4K были закодированы с пятью различными скоростями передачи данных, при этом кодеры были настроены на использование интрапериода в одну секунду. В сравнении кодер HM-15.0 HEVC имел самую высокую эффективность кодирования и, в среднем, для того же субъективного качества скорость передачи данных могла быть снижена на 49,4% по сравнению с кодером VP9 1.2.0–5183, и она могла быть снижена на 52,6% по сравнению с кодером JM-18.8 H.264/MPEG-4 AVC. [128] [129] [130]
В августе 2016 года Netflix опубликовал результаты масштабного исследования, сравнивающего ведущий кодер HEVC с открытым исходным кодом x265 с ведущим кодером AVC с открытым исходным кодом x264 и эталонным кодером VP9 libvpx. [131] Используя свой передовой инструмент измерения качества видео Video Multimethod Assessment Fusion (VMAF), Netflix обнаружил, что x265 обеспечивает одинаковое качество при скорости передачи данных на 35,4–53,3 % ниже, чем x264, и на 17,8–21,8 % ниже, чем VP9. [132]
HEVC был разработан для существенного повышения эффективности кодирования по сравнению с H.264/MPEG-4 AVC HP, т. е. для снижения требований к битрейту вдвое при сопоставимом качестве изображения за счет увеличения вычислительной сложности. [13] HEVC был разработан с целью обеспечения коэффициента сжатия данных видеоконтента до 1000:1. [133] В зависимости от требований приложения кодеры HEVC могут выбирать между вычислительной сложностью, скоростью сжатия, устойчивостью к ошибкам и временем задержки кодирования. [13] Две из ключевых функций, в которых HEVC был улучшен по сравнению с H.264/MPEG-4 AVC, — это поддержка видео с более высоким разрешением и улучшенные методы параллельной обработки. [13]
HEVC нацелен на HDTV-дисплеи и системы захвата контента следующего поколения, которые характеризуются прогрессивной частотой кадров и разрешением дисплея от QVGA (320×240) до 4320p (7680×4320), а также улучшенным качеством изображения с точки зрения уровня шума , цветового пространства и динамического диапазона . [21] [134] [135] [136]
Уровень кодирования видео HEVC использует тот же «гибридный» подход, который используется во всех современных видеостандартах, начиная с H.261 , в том смысле, что он использует меж-/внутрикадровое предсказание и кодирование с 2D-преобразованием. [13] Кодер HEVC сначала разбивает изображение на области в форме блоков для первого изображения или первого изображения произвольной точки доступа, которое использует внутрикадровое предсказание. [13] Внутрикадровое предсказание — это когда предсказание блоков в изображении основано только на информации в этом изображении. [13] Для всех других изображений используется межкадровое предсказание, в котором информация о предсказании используется из других изображений. [13] После того, как методы предсказания завершены и изображение проходит через циклические фильтры, окончательное представление изображения сохраняется в буфере декодированного изображения. [13] Изображения, сохраненные в буфере декодированного изображения, могут использоваться для предсказания других изображений. [13]
HEVC был разработан с идеей использования видео с прогрессивной разверткой , и для чересстрочного видео не было добавлено никаких инструментов кодирования . [13] Специфические для чересстрочного видео инструменты кодирования, такие как MBAFF и PAFF, не поддерживаются в HEVC. [137] Вместо этого HEVC отправляет метаданные , которые сообщают, как было отправлено чересстрочное видео. [13] Чересстрочное видео может быть отправлено либо путем кодирования каждого кадра как отдельного изображения, либо путем кодирования каждого поля как отдельного изображения. [13] Для чересстрочного видео HEVC может переключаться между кодированием кадров и кодированием полей с помощью Sequence Adaptive Frame Field (SAFF), что позволяет изменять режим кодирования для каждой видеопоследовательности. [138] Это позволяет отправлять чересстрочное видео с HEVC без необходимости добавления специальных процессов чересстрочного декодирования в декодеры HEVC. [13]
Стандарт HEVC поддерживает цветовые пространства , такие как generic film, NTSC , PAL , Rec. 601 , Rec. 709 , Rec. 2020 , Rec. 2100 , SMPTE 170M, SMPTE 240M, sRGB , sYCC , xvYCC , XYZ и внешние цветовые пространства. [24] HEVC поддерживает представления кодирования цвета, такие как RGB , YCbCr и YCoCg . [24]
HEVC заменяет макроблоки размером 16×16 пикселей , которые использовались в предыдущих стандартах, на блоки кодирования дерева (CTU), которые могут использовать более крупные блочные структуры размером до 64×64 сэмплов и могут лучше разбивать изображение на структуры переменного размера. [13] [139] HEVC изначально делит изображение на CTU, которые могут быть размером 64×64, 32×32 или 16×16, причем больший размер пиксельного блока обычно повышает эффективность кодирования. [13]
HEVC определяет четыре единицы преобразования (TU) размером 4×4, 8×8, 16×16 и 32×32 для кодирования остатка предсказания. [13] CTB может быть рекурсивно разделен на 4 или более TU. [13] TU используют целочисленные базисные функции на основе дискретного косинусного преобразования (DCT). [13] [2] Кроме того, блоки преобразования яркости 4×4, принадлежащие к внутрикодированной области, преобразуются с использованием целочисленного преобразования, которое выводится из дискретного синусного преобразования (DST). [13] Это обеспечивает снижение скорости передачи данных на 1%, но было ограничено блоками преобразования яркости 4×4 из-за незначительных преимуществ для других случаев преобразования. [13] Цветность использует те же размеры TU, что и яркость, поэтому для цветности нет преобразования 2×2. [13]
HEVC использует алгоритм контекстно-адаптивного двоичного арифметического кодирования (CABAC), который в основе своей похож на CABAC в H.264/MPEG-4 AVC. [13] CABAC — единственный метод энтропийного кодирования, разрешенный в HEVC, в то время как H.264/MPEG-4 AVC разрешает два метода энтропийного кодирования. [13] CABAC и энтропийное кодирование коэффициентов преобразования в HEVC были разработаны для более высокой пропускной способности, чем H.264/MPEG-4 AVC, [140] при сохранении более высокой эффективности сжатия для больших размеров блоков преобразования по сравнению с простыми расширениями. [141] Например, количество контекстно-кодированных бинов было уменьшено в 8 раз, а режим обхода CABAC был улучшен с точки зрения его конструкции для увеличения пропускной способности. [13] [140] [142] Еще одно улучшение HEVC заключается в том, что зависимости между закодированными данными были изменены для дальнейшего увеличения пропускной способности. [13] [140] Моделирование контекста в HEVC также было улучшено, так что CABAC может лучше выбирать контекст, который повышает эффективность по сравнению с H.264/MPEG-4 AVC. [13]
HEVC определяет 33 направленных режима для внутрикадрового предсказания по сравнению с 8 направленными режимами для внутрикадрового предсказания, указанными в H.264/MPEG-4 AVC. [13] HEVC также определяет внутрикадровое предсказание DC и режимы плоскостного предсказания. [13] Режим внутрикадрового предсказания DC генерирует среднее значение путем усреднения эталонных образцов и может использоваться для плоских поверхностей. [13] Режим плоскостного предсказания в HEVC поддерживает все размеры блоков, определенные в HEVC, в то время как режим плоскостного предсказания в H.264/MPEG-4 AVC ограничен размером блока 16×16 пикселей. [13] Режимы внутрикадрового предсказания используют данные из соседних блоков предсказания, которые были ранее декодированы из того же изображения. [13]
Для интерполяции позиций дробных выборок яркости HEVC использует разделяемое применение одномерной интерполяции полувыборки с 8-отводным фильтром или интерполяции четверти выборки с 7-отводным фильтром, в то время как, для сравнения, H.264/MPEG-4 AVC использует двухэтапный процесс, который сначала выводит значения в позициях полувыборки с использованием разделяемой одномерной 6-отводной интерполяции, за которой следует целочисленное округление, а затем применяет линейную интерполяцию между значениями в соседних позициях полувыборки для генерации значений в позициях четверти выборки. [13] HEVC имеет улучшенную точность благодаря более длинному фильтру интерполяции и устранению промежуточной ошибки округления. [13] Для видео 4:2:0 цветовые выборки интерполируются с разделяемой одномерной 4-точечной фильтрацией для получения точности до одной восьмой выборки, тогда как для сравнения H.264/MPEG-4 AVC использует только 2-точечный билинейный фильтр (также с точностью до одной восьмой выборки). [13]
Как и в H.264/MPEG-4 AVC, взвешенное предсказание в HEVC может использоваться либо с унипредсказанием (при котором используется одно значение предсказания), либо с бипредсказанием (при котором значения предсказания из двух блоков предсказания объединяются). [13]
HEVC определяет знаковый 16-битный диапазон как для горизонтальных, так и для вертикальных векторов движения (MV). [24] [143] [144] [145] Это было добавлено в HEVC на встрече HEVC в июле 2012 года с переменными mvLX. [24] [143] [144] [145] Горизонтальные/вертикальные MV HEVC имеют диапазон от −32768 до 32767, что, учитывая точность в четверть пикселя, используемую HEVC, допускает диапазон MV от −8192 до 8191,75 выборок яркости. [24] [143] [144] [145] Это сопоставимо с H.264/MPEG-4 AVC, который допускает горизонтальный диапазон MV от −2048 до 2047,75 отсчетов яркости и вертикальный диапазон MV от −512 до 511,75 отсчетов яркости. [144]
HEVC допускает два режима MV, которые являются Advanced Motion Vector Prediction (AMVP) и режимом слияния. [13] AMVP использует данные из опорного изображения, а также может использовать данные из соседних блоков предсказания. [13] Режим слияния позволяет наследовать MV из соседних блоков предсказания. [13] Режим слияния в HEVC похож на режимы «пропущенного» и «прямого» вывода движения в H.264/MPEG-4 AVC, но с двумя улучшениями. [13] Первое улучшение заключается в том, что HEVC использует информацию об индексе для выбора одного из нескольких доступных кандидатов. [13] Второе улучшение заключается в том, что HEVC использует информацию из списка опорных изображений и индекса опорных изображений. [13]
HEVC определяет два контурных фильтра, которые применяются последовательно, причем сначала применяется фильтр деблокирования (DBF), а затем фильтр адаптивного смещения выборки (SAO). [13] Оба контурных фильтра применяются в цикле межкадрового предсказания, т. е. отфильтрованное изображение сохраняется в буфере декодированного изображения (DPB) в качестве эталона для межкадрового предсказания. [13]
DBF похож на тот, который используется в H.264/MPEG-4 AVC, но имеет более простую конструкцию и лучшую поддержку параллельной обработки. [13] В HEVC DBF применяется только к сетке выборок 8×8, тогда как в H.264/MPEG-4 AVC DBF применяется к сетке выборок 4×4. [13] DBF использует сетку выборок 8×8, поскольку она не вызывает заметного ухудшения и значительно улучшает параллельную обработку, поскольку DBF больше не вызывает каскадных взаимодействий с другими операциями. [13] Другое изменение заключается в том, что HEVC допускает только три уровня DBF от 0 до 2. [13] HEVC также требует, чтобы DBF сначала применял горизонтальную фильтрацию для вертикальных краев изображения и только после этого применял вертикальную фильтрацию для горизонтальных краев изображения. [13] Это позволяет использовать несколько параллельных потоков для DBF. [13]
Фильтр SAO применяется после DBF и предназначен для обеспечения лучшей реконструкции амплитуд исходного сигнала путем применения смещений, сохраненных в таблице поиска в потоке битов. [13] [146] В соответствии с CTB фильтр SAO может быть отключен или применен в одном из двух режимов: режим смещения края или режим смещения полосы. [13] [146] Режим смещения края работает путем сравнения значения образца с двумя из восьми его соседей с использованием одного из четырех направленных градиентных шаблонов. [13] [146] На основе сравнения с этими двумя соседями образец классифицируется по одной из пяти категорий: минимум, максимум, край с образцом, имеющим меньшее значение, край с образцом, имеющим большее значение, или монотонный. [13] [146] Для каждой из первых четырех категорий применяется смещение. [13] [146] Режим смещения полосы применяет смещение, основанное на амплитуде одного образца. [13] [146] Образец классифицируется по своей амплитуде в одну из 32 полос ( ячеек гистограммы ). [13] [146] Смещения указываются для четырех последовательных из 32 полос, поскольку в плоских областях, которые склонны к артефактам полос, амплитуды образцов имеют тенденцию группироваться в небольшом диапазоне. [13] [146] Фильтр SAO был разработан для повышения качества изображения, уменьшения артефактов полос и уменьшения артефактов звона . [13] [146]
Расширения диапазона в MPEG — это дополнительные профили, уровни и методы, которые поддерживают потребности, выходящие за рамки потребительского воспроизведения видео: [24]
В этих новых профилях реализованы улучшенные функции кодирования, многие из которых поддерживают эффективное экранное кодирование или высокоскоростную обработку:
В версию 2 HEVC добавлено несколько сообщений с дополнительной информацией об улучшении (SEI):
Дополнительные параметры инструмента кодирования были добавлены в проект расширений кодирования содержимого экрана (SCC) от марта 2016 года: [150]
Версия стандарта ITU-T, которая добавила расширения SCC (утвержденная в декабре 2016 года и опубликованная в марте 2017 года), добавила поддержку функции передачи гибридного логарифмического гамма-излучения (HLG) и цветовой матрицы ICtCp . [65] Это позволяет четвертой версии HEVC поддерживать обе функции передачи HDR, определенные в Rec. 2100. [ 65]
Четвертая версия HEVC добавляет несколько сообщений с дополнительной информацией об улучшении качества (SEI), в том числе:
Версия 1 стандарта HEVC определяет три профиля: Main , Main 10 и Main Still Picture . [24] Версия 2 HEVC добавляет 21 профиль расширения диапазона, два профиля масштабируемых расширений и один профиль многовидового просмотра. [24] HEVC также содержит положения для дополнительных профилей. [24] Расширения, которые были добавлены в HEVC, включают увеличенную битовую глубину , 4:2:2/4:4:4 выборку цветности , Multiview Video Coding (MVC) и Scalable Video Coding (SVC). [13] [153] Расширения диапазона HEVC, масштабируемые расширения HEVC и расширения многовидового просмотра HEVC были завершены в июле 2014 года. [154] [155] [156] В июле 2014 года был выпущен проект второй версии HEVC. [154] Расширения кодирования экранного контента (SCC) находились в стадии разработки для видеоконтента экрана, который содержит текст и графику, с ожидаемой датой выпуска окончательного проекта в 2015 году. [157] [158]
Профиль — это определенный набор инструментов кодирования, которые можно использовать для создания потока битов, соответствующего этому профилю. [13] Кодер для профиля может выбирать, какие инструменты кодирования использовать, если он генерирует соответствующий поток битов, в то время как декодер для профиля должен поддерживать все инструменты кодирования, которые можно использовать в этом профиле. [13]
Основной профиль допускает глубину цвета 8 бит на сэмпл с дискретизацией цветности 4:2:0, что является наиболее распространенным типом видео, используемым в потребительских устройствах. [13] [24] [155]
Профиль Main 10 ( Main10) был добавлен на встрече HEVC в октябре 2012 года на основе предложения JCTVC-K0109, в котором предлагалось добавить 10-битный профиль в HEVC для потребительских приложений. В предложении говорилось, что это должно было обеспечить улучшенное качество видео и поддержку цветового пространства Rec. 2020 , которое стало широко использоваться в системах UHDTV, а также обеспечить более высокий динамический диапазон и точность цветопередачи, избегая артефактов полос. Предложение поддержали различные компании, в том числе Ateme , BBC , BSkyB , Cisco , DirecTV , Ericsson , Motorola Mobility , NGCodec, NHK , RAI , ST, SVT , Thomson Video Networks , Technicolor и ViXS Systems . [159] Профиль Main 10 допускает битовую глубину от 8 до 10 бит на образец с дискретизацией цветности 4:2:0. Декодеры HEVC, соответствующие профилю Main 10, должны быть способны декодировать потоки битов, созданные с использованием следующих профилей: Main и Main 10. [24] Более высокая битовая глубина допускает большее количество цветов. 8 бит на выборку допускают 256 оттенков на основной цвет (всего 16,78 миллионов цветов), тогда как 10 бит на выборку допускают 1024 оттенка на основной цвет (всего 1,07 миллиарда цветов). Более высокая битовая глубина допускает более плавный переход цвета, что решает проблему, известную как цветовое полосатость . [160] [161]
Профиль Main 10 позволяет улучшить качество видео, поскольку он может поддерживать видео с более высокой битовой глубиной, чем та, что поддерживается профилем Main. [159] Кроме того, в профиле Main 10 8-битное видео может быть закодировано с более высокой битовой глубиной в 10 бит, что позволяет повысить эффективность кодирования по сравнению с профилем Main. [162] [163] [164]
Ericsson заявила, что профиль Main 10 принесет преимущества 10 бит на выборку видео для потребительского телевидения. Они также заявили, что для более высоких разрешений нет штрафа за скорость передачи данных при кодировании видео с 10 бит на выборку. [160] Imagination Technologies заявила, что 10 бит на выборку видео позволит использовать более крупные цветовые пространства и требуется для цветового пространства Rec. 2020 , которое будет использоваться UHDTV. Они также заявили, что цветовое пространство Rec. 2020 будет способствовать широкому принятию видео с 10 бит на выборку. [161] [165]
В сравнении производительности на основе PSNR, выпущенном в апреле 2013 года, профиль Main 10 сравнивался с профилем Main с использованием набора 3840×2160 10-битных видеопоследовательностей. 10-битные видеопоследовательности были преобразованы в 8 бит для профиля Main и оставались на уровне 10 бит для профиля Main 10. Эталонный PSNR был основан на исходных 10-битных видеопоследовательностях. В сравнении производительности профиль Main 10 обеспечивал снижение скорости передачи данных на 5% для межкадрового видеокодирования по сравнению с профилем Main. Сравнение производительности показывает, что для протестированных видеопоследовательностей профиль Main 10 превзошел профиль Main. [166]
Профиль Main Still Picture ( MainStillPicture) позволяет кодировать одно неподвижное изображение с теми же ограничениями, что и профиль Main. Как подмножество профиля Main, профиль Main Still Picture допускает битовую глубину 8 бит на образец с дискретизацией цветности 4:2:0. [13] [24] [155] Объективное сравнение производительности было проведено в апреле 2012 года, в котором HEVC снизил среднюю скорость передачи данных для изображений на 56% по сравнению с JPEG . [168] Сравнение производительности на основе PSNR для сжатия неподвижных изображений было проведено в мае 2012 года с использованием кодера HEVC HM 6.0 и эталонных программных кодеров для других стандартов. Для неподвижных изображений HEVC снизил среднюю скорость передачи данных на 15,8% по сравнению с H.264/MPEG-4 AVC, на 22,6% по сравнению с JPEG 2000 , на 30,0% по сравнению с JPEG XR , на 31,0% по сравнению с WebP и на 43,0% по сравнению с JPEG. [169]
Сравнение производительности для сжатия неподвижных изображений было проведено в январе 2013 года с использованием кодера HEVC HM 8.0rc2, Kakadu версии 6.0 для JPEG 2000 и IJG версии 6b для JPEG. Сравнение производительности использовало PSNR для объективной оценки и средние значения оценки мнения (MOS) для субъективной оценки. Субъективная оценка использовала ту же методологию тестирования и изображения, что и те, которые использовались комитетом JPEG при оценке JPEG XR. Для изображений с выборкой цветности 4:2:0 среднее снижение скорости передачи данных для HEVC по сравнению с JPEG 2000 составило 20,26% для PSNR и 30,96% для MOS, в то время как по сравнению с JPEG оно составило 61,63% для PSNR и 43,10% для MOS. [167]
Сравнение производительности HEVC на основе PSNR для сжатия неподвижных изображений было проведено в апреле 2013 года компанией Nokia . HEVC имеет большее улучшение производительности для изображений с более высоким разрешением, чем для изображений с более низким разрешением, и большее улучшение производительности для более низких скоростей передачи данных, чем для более высоких скоростей передачи данных. Для сжатия с потерями , чтобы получить тот же PSNR, что и HEVC, потребовалось в среднем в 1,4 раза больше бит с JPEG 2000, в 1,6 раза больше бит с JPEG-XR и в 2,3 раза больше бит с JPEG. [170]
Исследование эффективности сжатия HEVC, JPEG, JPEG XR и WebP было проведено в октябре 2013 года компанией Mozilla . Исследование показало, что HEVC значительно лучше сжимает, чем другие протестированные форматы изображений. В исследовании использовались четыре различных метода сравнения качества изображений: Y-SSIM, RGB-SSIM, IW-SSIM и PSNR-HVS-M. [171] [172]
Версия 2 HEVC добавляет 21 профиль расширения диапазона, два профиля масштабируемых расширений и один профиль многовидового просмотра: Monochrome , Monochrome 12 , Monochrome 16 , Main 12 , Main 4:2:2 10 , Main 4:2:2 12 , Main 4:4:4 , Main 4:4:4 10 , Main 4:4:4 12 , Monochrome 12 Intra , Monochrome 16 Intra , Main 12 Intra , Main 4:2:2 10 Intra , Main 4:2:2 12 Intra , Main 4:4:4 Intra , Main 4:4:4 10 Intra , Main 4:4 :4 12 Intra , Main 4:4:4 16 Intra , Main 4:4:4 Still Picture , Main 4:4:4 16 Still Picture , High Throughput 4:4:4 16 Intra , Scalable Main , Scalable Main 10 и Multiview Main . [24] [173] Все профили расширения диапазона между кадрами имеют профиль Intra. [24]
HbrFactor12 раз большую скорость передачи данных, чем другие профили HEVC, что позволяет ему иметь максимальную скорость передачи данных в 12 раз большую, чем профиль Main 4:4:4 16 Intra. [24] [174] Профиль High Throughput 4:4:4 16 Intra предназначен для создания профессионального контента высокого уровня, и декодеры для этого профиля не обязаны поддерживать другие профили. [174]Версия 3 HEVC добавила один 3D-профиль: 3D Main . В черновик расширений кодирования экранного содержимого от февраля 2016 года добавлено семь профилей расширений кодирования экранного содержимого, три профиля расширений высокой пропускной способности и четыре профиля масштабируемых расширений: Screen-Extended Main , Screen-Extended Main 10 , Screen-Extended Main 4:4:4 , Screen-Extended Main 4:4:4 10 , Screen-Extended High Throughput 4 :4:4 , Screen-Extended High Throughput 4: 4:4 10 , Screen-Extended High Throughput 4:4:4 14 , High Throughput 4:4:4 , High Throughput 4:4:4 10 , High Throughput 4:4:4 14 , Scalable Monochrome , Scalable Monochrome 12 , Scalable Monochrome 16 и Scalable Main 4:4:4 . [24] [150]
Стандарт HEVC определяет два уровня, Main и High, и тринадцать уровней. Уровень — это набор ограничений для потока битов. Для уровней ниже уровня 4 разрешен только уровень Main. Уровень Main — это более низкий уровень, чем уровень High. Уровни были созданы для работы с приложениями, которые различаются по максимальной скорости передачи битов. Уровень Main был разработан для большинства приложений, в то время как уровень High был разработан для очень требовательных приложений. Декодер, соответствующий заданному уровню/уровне, должен иметь возможность декодировать все потоки битов, которые закодированы для этого уровня/уровня и для всех более низких уровней/уровней. [13] [24]
Ранее декодированные изображения сохраняются в буфере декодированных изображений (DPB) и используются кодерами HEVC для формирования прогнозов для последующих изображений. Максимальное количество изображений, которые могут быть сохранены в DPB, называемое емкостью DPB, составляет 6 (включая текущее изображение) для всех уровней HEVC при работе с максимальным размером изображения, поддерживаемым уровнем. Емкость DPB (в единицах изображений) увеличивается с 6 до 8, 12 или 16 по мере уменьшения размера изображения от максимального размера изображения, поддерживаемого уровнем. Кодер выбирает, какие конкретные изображения сохраняются в DPB, по принципу «картинка за картинкой», поэтому у кодера есть гибкость, чтобы определить для себя наилучший способ использования емкости DPB при кодировании видеоконтента. [24]
MPEG опубликовала поправку, которая добавила поддержку HEVC к транспортному потоку MPEG, используемому ATSC , DVB и Blu-ray Disc ; MPEG решила не обновлять программный поток MPEG, используемый DVD-Video . [175] [176] MPEG также добавила поддержку HEVC к базовому формату медиафайлов ISO . [177] [178] HEVC также поддерживается стандартом транспорта медиа MPEG . [175] [179] Поддержка HEVC была добавлена в Matroska , начиная с выпуска MKVToolNix v6.8.0 после объединения патча из DivX. [180] [181] Проект документа был представлен в Internet Engineering Task Force , в котором описывается метод добавления поддержки HEVC к протоколу Real-time Transport Protocol . [182]
Используя внутрикадровое кодирование HEVC, программист Фабрис Беллар предложил формат кодирования неподвижных изображений под названием Better Portable Graphics (BPG) . [183] По сути, это оболочка для изображений, кодированных с использованием профиля HEVC Main 4:4:4 16 Still Picture с разрядностью до 14 бит на сэмпл, хотя он использует сокращенный синтаксис заголовка и добавляет явную поддержку Exif , профилей ICC и метаданных XMP . [183] [184]
Условия лицензирования и сборы за патенты HEVC по сравнению с основными конкурентами:
Как и в случае с его предшественником AVC, дистрибьюторы программного обеспечения, которые внедряют HEVC в продукты, должны платить цену за распространяемую копию. [i] Хотя эта модель лицензирования управляема для платного программного обеспечения, она является препятствием для большинства свободного и открытого программного обеспечения , которое должно свободно распространяться. По мнению MulticoreWare , разработчика x265 , включение бесплатных программных кодеров и декодеров отвечает интересам ускорения принятия HEVC. [191] [195] [196] HEVC Advance сделал исключение, которое специально отказывается от роялти за программные реализации (как декодеры, так и кодеры), когда они не связаны с оборудованием. [197] Однако освобожденное программное обеспечение не свободно от лицензионных обязательств других владельцев патентов (например, членов пула MPEG LA).
Хотя препятствие для свободного программного обеспечения не вызывает беспокойства, например, в сетях телевизионного вещания, эта проблема, в сочетании с перспективой будущей коллективной привязки к формату, заставляет несколько организаций, таких как Mozilla (см. OpenH264 ) и Free Software Foundation Europe [198], с осторожностью относиться к форматам, предполагающим роялти, для использования в Интернете. Конкурирующие форматы, предназначенные для использования в Интернете (VP9 и AV1), призваны избегать этих проблем, будучи роялти-фри (при условии отсутствия претензий третьих лиц на патентные права).
^i : Независимо от того, каким образом программное обеспечение лицензируется у авторов программного обеспечения (см. лицензирование программного обеспечения ), если то, что оно делает, запатентовано, его использование остается связанным правами владельцев патента, если только использование патентов не было разрешено лицензией.
В октябре 2015 года MPEG и VCEG сформировали Joint Video Exploration Team (JVET) [199] для оценки доступных технологий сжатия и изучения требований к стандарту сжатия видео следующего поколения. Новый алгоритм должен иметь на 30–50% лучшую скорость сжатия при том же воспринимаемом качестве, с поддержкой сжатия без потерь и субъективно без потерь. Он также должен поддерживать YCbCr 4:4:4, 4:2:2 и 4:2:0 с 10-16 битами на компонент, широкую цветовую гамму BT.2100 и высокий динамический диапазон (HDR) более 16 ступеней (с пиковой яркостью 1000, 4000 и 10000 нит), вспомогательные каналы (для глубины, прозрачности и т. д.), переменную и дробную частоту кадров от 0 до 120 Гц, масштабируемое видеокодирование для временных (частота кадров), пространственных (разрешение), SNR, цветовой гаммы и различий динамического диапазона, стерео/мультивидовое кодирование, панорамные форматы и кодирование неподвижных изображений. Ожидается, что сложность кодирования в 10 раз выше, чем у HEVC. JVET опубликовала окончательный «Призыв к предложениям» в октябре 2017 года, а первый рабочий проект стандарта универсального видеокодирования (VVC) был выпущен в апреле 2018 года. [200] [201] Стандарт VVC был окончательно утвержден 6 июля 2020 года. [202]
{{cite web}}: CS1 maint: multiple names: authors list (link){{cite web}}: CS1 maint: multiple names: authors list (link)Поскольку этого не произошло, многие продюсеры предполагают, что пул будет взимать роялти за контент.
важных компаний с патентами HEVC еще не присоединились ни к одному из патентных пулов. (…) Для ускорения принятия HEVC я предлагаю лицензиарам патентов HEVC согласиться со следующими принципами: · Программное декодирование на потребительских устройствах должно быть бесплатным. · Программное кодирование на потребительских устройствах должно быть бесплатным. · Распространение контента должно быть бесплатным.
Преобразования идентичны H.265/HEVC (Cisco IPR)
