stringtranslate.com

Субдискретизация цветности

Широко используемые форматы цветовой субдискретизации

Подвыборка цветности — это практика кодирования изображений путем реализации меньшего разрешения для информации о цветности , чем для информации о яркости , используя преимущество более низкой остроты восприятия цветовых различий человеческой зрительной системой по сравнению с яркостью. [1]

Он используется во многих схемах кодирования видео и неподвижных изображений — как аналоговых, так и цифровых, — включая кодирование JPEG .

Обоснование

В полном размере это изображение показывает разницу между четырьмя схемами субдискретизации. Обратите внимание, насколько похожими выглядят цветные изображения. Нижняя строка показывает разрешение цветовой информации.

Цифровые сигналы часто сжимаются для уменьшения размера файла и экономии времени передачи. Поскольку зрительная система человека гораздо более чувствительна к изменениям яркости, чем к цвету, видеосистему можно оптимизировать, выделив большую полосу пропускания компоненту яркости (обычно обозначаемому Y'), чем компонентам цветового различия Cb и Cr . Например, в сжатых изображениях схема 4:2:2 Y'CbCr требует две трети полосы пропускания неподвыборочного "4:4:4" R'G'B' . [a] Это сокращение приводит к практически отсутствию визуальной разницы, воспринимаемой зрителем.

Как работает субдискретизация

Система зрения человека (HVS) обрабатывает цветовую информацию ( оттенок и красочность ) примерно с разрешением, равным трети яркости ( информация о светлоте/темноте изображения). Поэтому возможно производить выборку цветовой информации с более низким разрешением, сохраняя при этом хорошее качество изображения.

Это достигается путем кодирования данных изображения RGB в составное черно-белое изображение с разделенными данными цветовой разницы ( цветность ). Например , с помощью гамма-кодированные компоненты взвешиваются, а затем суммируются для создания компонента яркости . Компоненты цветовой разницы создаются путем вычитания двух взвешенных компонентов из третьего. Для ограничения разрешения можно использовать различные методы фильтрации .

Относительно гаммы и передаточных функций

Гамма-кодированную яркость не следует путать с линейной яркостью . Наличие гамма-кодирования обозначается символом штриха .

Электрооптические передаточные функции гамма-коррекции (EOTF) используются из-за нелинейной реакции человеческого зрения. Использование гаммы улучшает воспринимаемое отношение сигнал/шум в аналоговых системах и позволяет более эффективно кодировать данные в цифровых системах. Это кодирование использует больше уровней для более темных цветов, чем для более светлых, приспосабливаясь к чувствительности человеческого зрения. [2]

Системы и соотношения отбора проб

Схема подвыборки обычно выражается как трехчастное отношение J : a : b (например, 4:2:2) или четырехчастное, если присутствует альфа-канал (например, 4:2:2:4), которое описывает количество выборок яркости и цветности в концептуальной области шириной J пикселей и высотой 2 пикселя. Части следующие (в соответствующем порядке):

Эта нотация не действительна для всех комбинаций и имеет исключения, например, 4:1:0 (где высота области составляет не 2 пикселя, а 4 пикселя, поэтому, если используется 8 бит на компонент, носитель будет иметь 9 бит на пиксель) и 4:2:1.

Приведенные примеры отображения являются только теоретическими и иллюстративными. Также на диаграмме не указана какая-либо фильтрация цветности, которая должна применяться для избежания наложения спектров . Чтобы рассчитать требуемый коэффициент пропускной способности относительно 4:4:4 (или 4:4:4:4), нужно сложить все коэффициенты и разделить результат на 12 (или 16, если присутствует альфа).

Виды выборки и субвыборки

4:4:4

Каждый из трех компонентов Y'CbCr имеет одинаковую частоту дискретизации, поэтому нет субдискретизации цветности. Эта схема иногда используется в высококлассных сканерах пленки и кинематографическом постпроизводстве.

Вместо этого "4:4:4" может ошибочно относиться к цветовому пространству R'G'B' , которое неявно также не имеет никакой цветовой субдискретизации (за исключением JPEG, где R'G'B' может быть субдискретизирован). Такие форматы, как HDCAM SR, могут записывать 4:4:4 R'G'B' через двухканальный HD-SDI .

4:2:2

Два компонента цветности сэмплируются с частотой, равной половине горизонтальной частоты сэмплирования яркости: горизонтальное разрешение цветности уменьшается вдвое. Это уменьшает полосу пропускания несжатого видеосигнала на треть, что означает, что для 8 бит на компонент без альфы (24 бита на пиксель) достаточно всего 16 бит, как в NV16.

Многие высококачественные цифровые видеоформаты и интерфейсы используют эту схему:

4:1:1

При цветовой субдискретизации 4:1:1 горизонтальное цветовое разрешение сокращается на четверть, а полоса пропускания уменьшается вдвое по сравнению с отсутствием цветовой субдискретизации. Первоначально цветовая субдискретизация 4:1:1 формата DV не считалась вещательной и была приемлема только для низкоуровневых и потребительских приложений. [3] [4] Однако форматы на основе DV (некоторые из которых используют цветовую субдискретизацию 4:1:1) использовались профессионально в электронном сборе новостей и на серверах воспроизведения. DV также спорадически использовался в художественных фильмах и в цифровой кинематографии .

В системе 480i "NTSC", если яркость дискретизируется на частоте 13,5 МГц, это означает, что сигналы Cr и Cb будут дискретизироваться на частоте 3,375 МГц, что соответствует максимальной полосе пропускания Найквиста 1,6875 МГц, тогда как традиционный "высококлассный вещательный аналоговый кодер NTSC" будет иметь полосу пропускания Найквиста 1,5 МГц и 0,5 МГц для каналов I/Q . Однако в большинстве оборудования, особенно дешевых телевизорах и видеомагнитофонах VHS / Betamax , каналы цветности имеют полосу пропускания только 0,5 МГц для Cr и Cb (или эквивалентно для I/Q). Таким образом, система DV фактически обеспечивает превосходную цветовую полосу пропускания по сравнению с лучшими композитными аналоговыми спецификациями для NTSC, несмотря на то, что имеет только 1/4 полосы пропускания цветности "полного" цифрового сигнала.

Форматы, использующие цветовую субдискретизацию 4:1:1, включают:

4:2:0

В 4:2:0 горизонтальная выборка удваивается по сравнению с 4:1:1, но поскольку каналы Cb и Cr выбираются только на каждой альтернативной строке в этой схеме, вертикальное разрешение уменьшается вдвое. Таким образом, скорость передачи данных остается прежней. Это достаточно хорошо соответствует системе кодирования цвета PAL , поскольку она имеет только половину вертикального разрешения цветности NTSC . Это также очень хорошо соответствует системе кодирования цвета SECAM , поскольку, как и этот формат, 4:2:0 сохраняет и передает только один цветовой канал на строку (другой канал восстанавливается из предыдущей строки). Однако на самом деле было произведено мало оборудования, которое выводит аналоговый видеосигнал SECAM. В целом, на территориях SECAM необходимо использовать либо дисплей с поддержкой PAL, либо транскодер для преобразования сигнала PAL в SECAM для отображения.

Различные варианты конфигураций цветности 4:2:0 встречаются в:

Cb и Cr каждый субдискретизированы с коэффициентом 2 как по горизонтали, так и по вертикали. Большинство цифровых видеоформатов, соответствующих 576i "PAL", используют субдискретизацию цветности 4:2:0.

Позиции отбора проб

Существует четыре основных варианта схем 4:2:0, имеющих различное горизонтальное и вертикальное расположение выборки относительно «квадрата» 2×2 исходного входного размера. [15]

Чересстрочная и прогрессивная развертка

В чересстрочном материале субдискретизация цветности 4:2:0 может привести к артефактам движения, если она реализована так же, как и для прогрессивного материала. Выборки яркости извлекаются из отдельных временных интервалов, в то время как выборки цветности будут извлекаться из обоих временных интервалов. Именно эта разница может привести к артефактам движения. Стандарт MPEG-2 допускает альтернативную схему чересстрочной выборки, где 4:2:0 применяется к каждому полю (а не к обоим полям одновременно). Это решает проблему артефактов движения, снижает вертикальное разрешение цветности вдвое и может вносить артефакты в виде гребня в изображение.


Оригинал. На этом изображении показано одно поле. К движущемуся тексту применено некоторое размытие движения.


Прогрессивная выборка 4:2:0 применяется к движущемуся чересстрочному материалу. Цветность опережает и отстает от движущегося текста. На этом изображении показано одно поле.


4:2:0 чересстрочная выборка, примененная к движущемуся чересстрочному материалу. Это изображение показывает одно поле.

Однако в чересстрочной схеме 4:2:0 вертикальное разрешение цветности уменьшается примерно вдвое, поскольку цветностные выборки эффективно описывают область шириной 2 выборки и высотой 4 выборки вместо 2×2. Кроме того, пространственное смещение между обоими полями может привести к появлению гребнеобразных артефактов цветности.


Оригинальное неподвижное изображение.


Прогрессивная выборка 4:2:0, примененная к неподвижному изображению. Показаны оба поля.


4:2:0 чересстрочная развертка применена к неподвижному изображению. Показаны оба поля.

Если необходимо деинтерлейсировать чересстрочный материал, то гребнеобразные артефакты цветности (от чересстрочной выборки 4:2:0) можно удалить, размыв цветность по вертикали. [18]

4:1:0

Такое соотношение возможно, и некоторые кодеки его поддерживают, но оно не используется широко. Это соотношение использует половину вертикального и одну четвертую горизонтального цветового разрешения, имея только одну восьмую полосы пропускания максимального используемого цветового разрешения. Несжатое видео в этом формате с 8-битным квантованием использует 10 байт для каждого макропикселя (что составляет 4×2 пикселя) или 10 бит для каждого пикселя. Оно имеет эквивалентную полосу пропускания цветности сигнала PAL-I или PAL-M, декодированного декодером линии задержки, и все еще намного превосходит NTSC.

3:1:1

Используется Sony в своих рекордерах HDCAM High Definition (не HDCAM SR). В горизонтальном измерении яркость сэмплируется горизонтально с частотой дискретизации три четверти полной HD — 1440 сэмплов на строку вместо 1920. Цветность сэмплируется с частотой 480 сэмплов на строку, что составляет треть частоты дискретизации яркости. В вертикальном измерении как яркость, так и цветность сэмплируются с частотой дискретизации полной HD (1080 сэмплов по вертикали).

Различные показатели Cb и Cr

Ряд устаревших схем допускают различные коэффициенты субдискретизации в Cb и Cr, подобно тому, как разный объем полосы пропускания выделяется двум значениям цветности в вещательных системах, таких как CCIR System M. Эти схемы не выражаются в нотации J:a:b . Вместо этого они принимают нотацию Y:Cb:Cr , где каждая часть описывает величину разрешения для соответствующего компонента. Не указано, происходит ли снижение разрешения в горизонтальном или вертикальном направлении.

Артефакты

Обратите внимание на просвечивание по краям.

Цветовая субдискретизация страдает от двух основных типов артефактов, вызывая более заметную, чем предполагалось, деградацию в местах резкой смены цветов.

Ошибка яркости гаммы

Сигналы с гамма-коррекцией, такие как Y'CbCr, имеют проблему, когда ошибки цветности «просачиваются» в яркость. В этих сигналах низкая цветность фактически делает цвет менее ярким, чем цвет с эквивалентной яркостью. В результате, когда насыщенный цвет смешивается с ненасыщенным или дополнительным цветом, на границе происходит потеря яркости. Это можно увидеть в примере между пурпурным и зеленым. [20] Эта проблема сохраняется в HDR-видео, где гамма обобщается в передаточную функцию « EOTF ». Более крутая EOTF показывает более сильную потерю яркости. [21]

Некоторые предлагаемые исправления этой проблемы:

Rec. 2020 определяет «постоянную яркость» Yc'CbcCrc, которая рассчитывается из линейных компонентов RGB и затем кодируется гамма-коррекцией. Эта версия не страдает от потери яркости по замыслу. [25]

Отсечение гаммы

Другим артефактом, который может возникнуть при субдискретизации цветности, является то, что при реконструкции цветности могут возникнуть цвета, выходящие за пределы гаммы . Предположим, что изображение состоит из чередующихся 1-пиксельных красных и черных линий, а субдискретизация исключила цветность для черных пикселей. Цветность из красных пикселей будет реконструирована на черные пиксели, в результате чего новые пиксели будут иметь положительные значения красного и отрицательные значения зеленого и синего. Поскольку дисплеи не могут выводить отрицательный свет (отрицательного света не существует), эти отрицательные значения будут эффективно обрезаны, и результирующее значение яркости будет слишком высоким. Другие фильтры субдискретизации (особенно усредняющий «ящик») имеют похожую проблему, из которой сложнее сделать простой пример. Похожие артефакты возникают в менее искусственном примере градации вблизи довольно резкой границы красного и черного. [20]

Декодер может работать с цветами, выходящими за пределы цветового охвата, учитывая, сколько цветности может содержать заданное значение яркости, и распределять ее в промежуточном формате 4:4:4 соответственно, что Гленн Чан назвал «реконструкцией цветности в диапазоне». Метод «пропорции» по духу похож на средневзвешенное по яркости среднее значение Корнельского, в то время как метод «разлива» напоминает диффузию ошибок . [20] Улучшение реконструкции цветности остается активной областью исследований. [26]

Терминология

Термин Y'UV относится к аналоговой схеме кодирования ТВ (ITU-R Rec. BT.470), тогда как Y'CbCr относится к цифровой схеме кодирования. [2] Одно из различий между ними заключается в том, что масштабные коэффициенты компонентов цветности (U, V, Cb и Cr) различны. Однако термин YUV часто ошибочно используется для обозначения кодирования Y'CbCr. Следовательно, выражения типа "4:2:2 YUV" всегда относятся к 4:2:2 Y'CbCr, поскольку в аналоговом кодировании (таком как YUV) просто нет такого понятия, как 4:x:x. Форматы пикселей, используемые в Y'CbCr, также могут называться YUV, например yuv420p, yuvj420p и многие другие.

В том же ключе термин «яркость» и символ Y часто ошибочно используются для обозначения яркости, которая обозначается символом Y'. Яркость ( Y') видеотехники отличается от яркости (Y) науки о цвете (как определено CIE ). Яркость формируется как взвешенная сумма гамма-скорректированных (трехцветных) компонентов RGB. Яркость формируется как взвешенная сумма линейных (трехцветных) компонентов RGB. На практике символ CIE Y часто неправильно используется для обозначения яркости. В 1993 году SMPTE приняла Engineering Guideline EG 28, разъяснив два термина. Символ штриха ' используется для обозначения гамма-коррекции. [27]

Аналогично, цветность видеотехники отличается от цветности науки о цвете. Цветность видеотехники формируется из взвешенных трехцветных компонентов (скорректированных с помощью гамма-коррекции, OETF), а не линейных компонентов. В практике видеотехники термины цветность , цветность и насыщенность часто используются взаимозаменяемо для обозначения цветности, но это не является хорошей практикой, как гласит ITU-T Rec H.273. [28]

История

Цветовая субдискретизация была разработана в 1950-х годах Альдой Бедфордом для разработки цветного телевидения RCA , которое развилось в стандарт NTSC ; разделение яркости и цветности было разработано ранее, в 1938 году Жоржем Валенси . С помощью исследований [ каких? ] он показал, что человеческий глаз имеет высокое разрешение только для черного и белого, несколько меньшее для цветов «среднего диапазона», таких как желтый и зеленый, и гораздо меньшее для цветов на конце спектра, красных и синих. [ необходимо разъяснение ] Эти знания позволили RCA разработать систему, в которой они отбрасывали большую часть синего сигнала после того, как он поступает с камеры, сохраняя большую часть зеленого и только часть красного; это цветовая субдискретизация в цветовом пространстве YIQ и примерно аналогично субдискретизации 4:2:1, в том смысле, что она имеет уменьшающееся разрешение для яркости, желтого/зеленого и красного/синего.

Смотрите также

Примечания

  1. ^ Знаки штриха указывают на гамма-коррекцию или любую нелинейную ЭОПФ.

Ссылки

  1. ^ С. Винклер, Си Джей ван ден Бранден Ламбрехт и М. Кунт (2001). «Видение и видео: модели и приложения». В Кристиан Дж. ван ден Бранден Ламбрехт (ред.). Модели зрения и приложения для обработки изображений и видео . Спрингер. п. 209. ИСБН 978-0-7923-7422-0.{{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
  2. ^ ab Poynton, Charles. «YUV и яркость считаются вредными: призыв к точной терминологии в видео».
  3. ^ Дженнингс, Роджер; Бертель Шмитт (1997). "DV против Betacam SP". DV Central . Архивировано из оригинала 2008-07-02 . Получено 2008-08-29 .
  4. ^ Уилт, Адам Дж. (2006). "Форматы DV, DVCAM и DVCPRO". adamwilt.com . Получено 29-08-2008 .
  5. ^ Клинт ДеБоэр (2008-04-16). "HDMI Enhanced Black Levels, xvYCC и RGB". Audioholics . Получено 2013-06-02 .
  6. ^ "Цифровое цветовое кодирование" (PDF) . Telairity. Архивировано из оригинала (PDF) 2014-01-07 . Получено 2013-06-02 .
  7. ^ MSX Licensing Corporation (2022). "Режимы экрана YJK". Страница сборки MSX .
  8. ^ Нимиетц, Рикардо Канчо (2014). Проблемы цветовой модели YJK, реализованной в чипе VDP Yamaha V9958 (PDF) .
  9. ^ "VCFe Vortrag от 30 апреля 2016 г. - Домашний компьютер и консоль - Видеоархитектура как визуальная среда" . neil.franklin.ch . Проверено 13 ноября 2022 г.
  10. ^ IC Master. United Technical Publications. 2001.
  11. ^ Мартин Сесма, Серхио (3 октября 2016 г.). Информационная Arqueología: los ordenadores MSX en los inicios de la microinformática doméstica (Proyecto/Trabajo fin de carrera/grado thesis). Политехнический университет Валенсии.
  12. ^ Редазионе (20 октября 2008 г.). «MSX – Вари Коструттори-1983». CyberLudus.com (на итальянском языке) . Проверено 13 ноября 2022 г.
  13. ^ "V9958 MSX-VIDEO ТЕХНИЧЕСКИЕ ДАННЫЕ КНИГА" (PDF) . 1988.
  14. ^ Алекс, Вулмс (1995). «Schermen op MSX – De 2+ Schermen» (PDF) . Журнал MSX Computer & Club (72).
  15. ^ Poynton, Charles (2008). "Chroma Subsampling Notation" (PDF) . Poynton.com . Получено 2008-10-01 .
  16. ^ abcd enum AvChromaLocation, ffmpeg 3.1.
  17. ^ "y4minput.c - webm/libvpx - Git в Google". chromium.googlesource.com . Образцы цветности 420paldv расположены следующим образом:
  18. ^ Мансил, Дон; Стейси Спирс (2003). "DVD Player Benchmark – Chroma Upsampling Error". Секреты домашнего кинотеатра и высокой точности . Архивировано из оригинала 2008-06-06 . Получено 2008-08-29 .
  19. ^ "Поддержка декодирования изображений jpeg yuv442 и yuv421. · FFmpeg/FFmpeg@387d860". GitHub .
  20. ^ abc Chan, Glenn (май 2008 г.). «На пути к лучшей субдискретизации цветности: лауреат премии SMPTE Student Paper Award 2007». Журнал SMPTE Motion Imaging . 117 (4): 39–45. doi : 10.5594/J15100 .
  21. ^ ab Larbier, Pierre (октябрь 2015 г.). "Высокий динамический диапазон: проблемы сжатия". Ежегодная техническая конференция и выставка SMPTE 2015 : 1–15. doi : 10.5594/M001639. ISBN 978-1-61482-956-0.
  22. ^ "Гамма-корректная цветовая субдискретизация · Выпуск № 193 · mozilla/mozjpeg". GitHub .
  23. ^ "WebP: sharpyuv/sharpyuv.h | Fossies". fossies.org . Предполагается, что изображение будет увеличено с помощью билинейного фильтра. Если вместо этого использовать ближайшего соседа, увеличенное изображение может выглядеть хуже, чем при стандартной уменьшении частоты дискретизации.
  24. ^ Норкин, Андрей (27 сентября 2016 г.). Преобразование цветов HDR с различными метриками искажения (PDF) . SPIE Optical Engineering + Applications, 2016. стр. 99710E. doi :10.1117/12.2237040.
  25. ^ "BT.2020: Значения параметров для систем телевидения сверхвысокой четкости для производства и международного обмена программами". Международный союз электросвязи . 2014-07-17 . Получено 2014-08-31 .
  26. ^ Chung, Kuo-Liang; Liang, Yan-Cheng; Wang, Ching-Sheng (март 2019 г.). «Эффективный метод реконструкции цветности с учетом содержимого для изображений содержимого экрана». Труды IEEE по обработке изображений . 28 (3): 1108–1117. Bibcode : 2019ITIP...28.1108C. doi : 10.1109/TIP.2018.2875340. PMID  30307864. S2CID  52964340.
  27. ^ Аннотированный глоссарий основных терминов электронного производства. doi :10.5594/SMPTE.EG28.1993. ISBN 978-1-61482-022-2. Архивировано из оригинала 30 ноября 2017 г. luma: Чтобы избежать междисциплинарной путаницы, возникающей из-за двух различных определений яркости, было предложено, чтобы в видеодокументах использовалась luma для яркости, телевидения (т. е. сигнала яркости), а chroma для цветового телевидения (т. е. сигнала цветности)
  28. ^ "H.273: Кодовые точки, независимые от кодирования, для идентификации типа видеосигнала". www.itu.int . 2016. ПРИМЕЧАНИЕ. Термин «цветность» используется вместо термина «хроматичность», чтобы избежать подразумеваемого использования линейных характеристик передачи света, которые часто ассоциируются с термином «цветность». [...] ПРИМЕЧАНИЕ. Термин «яркость» используется вместо термина «яркость», чтобы избежать подразумеваемого использования линейных характеристик передачи света, которые часто ассоциируются с термином «яркость». Символ L иногда используется вместо символа Y, чтобы избежать путаницы с символом y, используемым для вертикального расположения.

Внешние ссылки