stringtranslate.com

Подвыборка цветности

Широко используемые форматы субдискретизации цветности

Подвыборка цветности — это практика кодирования изображений путем реализации меньшего разрешения для информации о цветности , чем для информации о яркости , с использованием преимущества более низкой остроты зрительной системы человека для определения цветовых различий, чем для яркости. [1]

Он используется во многих схемах кодирования видео и неподвижных изображений – как аналоговых, так и цифровых – в том числе в кодировании JPEG .

Обоснование

На этом изображении в полном размере показана разница между четырьмя схемами подвыборки. Обратите внимание, насколько похожи цветные изображения. Нижний ряд показывает разрешение цветовой информации.

Цифровые сигналы часто сжимаются, чтобы уменьшить размер файла и сэкономить время передачи. Поскольку зрительная система человека гораздо более чувствительна к изменениям яркости, чем к цвету, видеосистему можно оптимизировать, выделяя большую полосу пропускания компоненту яркости (обычно обозначаемому Y'), чем компонентам цветового различия Cb и Cr . Например, в сжатых изображениях схема 4:2:2 Y’CbCr требует две трети полосы пропускания без субдискретизации «4:4:4» R’G’B’ . [a] Такое уменьшение практически не приводит к визуальному различию, воспринимаемому зрителем.

Как работает субдискретизация

Система человеческого зрения (HVS) обрабатывает информацию о цвете, то есть оттенок и красочность , примерно на трети разрешения яркости , то есть информацию о светлости/темноте изображения. Таким образом, можно получить информацию о цвете с более низким разрешением, сохраняя при этом хорошее качество изображения.

Это достигается путем кодирования данных изображения RGB в составное черно-белое изображение с разделенными данными цветового различия ( цветностью ). Например , компоненты с гамма-кодированием взвешиваются, а затем суммируются для создания компонента яркости . Компоненты цветового различия создаются путем вычитания двух взвешенных компонентов из третьего. Для ограничения разрешения можно использовать различные методы фильтрации .

Что касается гаммы и передаточных функций

Яркость с гамма-кодированием не следует путать с линейной яркостью . Наличие гамма-кодирования обозначается штрихом . В очень ранних видеосистемах гамма-коррекция была необходима из-за нелинейного отклика электронно-лучевой трубки (ЭЛТ).

Хотя ЭЛТ больше не используются широко, гамма-кривые или электрооптические кривые передачи (EOTF) по-прежнему очень полезны из-за нелинейной реакции человеческого зрения. Использование гаммы улучшает воспринимаемое соотношение сигнал-шум в аналоговых системах и позволяет более эффективно кодировать данные в цифровых системах. В этом кодировании используется больше уровней для более темных цветов, чем для более светлых, что соответствует чувствительности человеческого зрения. [2]

Системы отбора проб и коэффициенты

Схема подвыборки обычно выражается соотношением трех частей J : a : b (например, 4:2:2) или четырьмя частями, если присутствует альфа-канал (например, 4:2:2:4), которые описывают количество образцы яркости и цветности в концептуальной области шириной J пикселей и высотой 2 пикселя. Части (в соответствующем порядке):

Это обозначение допустимо не для всех комбинаций и имеет исключения, например 4:1:0 (где высота области составляет не 2 пикселя, а 4 пикселя, поэтому, если используется 8 бит на компонент, медиа-файл будет иметь 9 бит на каждый компонент). пиксель) и 4:2:1.

Приведенные примеры картирования являются лишь теоретическими и иллюстративными. Также на диаграмме не указана какая-либо фильтрация цветности, которую следует применять во избежание псевдонимов . Чтобы рассчитать требуемый коэффициент пропускной способности относительно 4:4:4 (или 4:4:4:4), необходимо просуммировать все коэффициенты и разделить результат на 12 (или 16, если присутствует альфа).

Виды выборки и подвыборки

4:4:4

Каждый из трех компонентов Y'CbCr имеет одинаковую частоту дискретизации, поэтому субдискретизация цветности отсутствует. Эта схема иногда используется в высококачественных пленочных сканерах и при постобработке кинематографических изображений.

Вместо этого «4:4:4» может ошибочно относиться к цветовому пространству R'G'B' , которое неявно также не имеет какой-либо субдискретизации цветности (за исключением JPEG, R'G'B' может быть субдискретизированной). Такие форматы, как HDCAM SR, могут записывать 4:4:4 R’G’B’ через двухканальный HD-SDI .

4:2:2

Два компонента цветности дискретизируются с половиной частоты горизонтальной выборки яркости: разрешение цветности по горизонтали уменьшается вдвое. Это уменьшает полосу пропускания несжатого видеосигнала на треть, а значит для 8 бит на компонент без альфы (24 бита на пиксель) достаточно всего 16 бит, как в NV16.

Многие форматы и интерфейсы цифрового видео высокого класса используют эту схему:

4:1:1

При субдискретизации цветности 4:1:1 горизонтальное цветовое разрешение уменьшается вчетверо, а полоса пропускания уменьшается вдвое по сравнению с отсутствием субдискретизации цветности. Первоначально субдискретизация цветности 4:1:1 формата DV не считалась вещательным качеством и была приемлема только для недорогих и потребительских приложений. [3] [4] Однако форматы на основе DV (некоторые из которых используют субдискретизацию цветности 4:1:1) профессионально используются при сборе электронных новостей и на серверах воспроизведения. DV также время от времени используется в художественных фильмах и в цифровой кинематографии .

В системе 480i «NTSC», если яркость дискретизируется на частоте 13,5 МГц, это означает, что каждый из сигналов Cr и Cb будет дискретизироваться на частоте 3,375 МГц, что соответствует максимальной полосе пропускания Найквиста 1,6875 МГц, тогда как традиционные «высокочастотные» сигналы аналоговый кодер конечного вещания NTSC » будет иметь полосу Найквиста 1,5 МГц и 0,5 МГц для каналов I/Q . Однако в большинстве устройств, особенно в дешевых телевизорах и видеомагнитофонах VHS / Betamax , каналы цветности имеют полосу пропускания только 0,5 МГц как для Cr , так и для Cb (или, что эквивалентно, для I/Q). Таким образом, система DV фактически обеспечивает превосходную цветовую полосу пропускания по сравнению с лучшими композитными аналоговыми спецификациями для NTSC, несмотря на то, что она составляет лишь 1/4 полосы пропускания цветности «полного» цифрового сигнала.

Форматы, в которых используется субдискретизация цветности 4:1:1, включают:

4:2:0

В 4:2:0 горизонтальная дискретизация удваивается по сравнению с 4:1:1, но поскольку в этой схеме каналы Cb и Cr дискретизируются только на каждой чередующейся строке, вертикальное разрешение уменьшается вдвое. Таким образом, скорость передачи данных одинакова. Это достаточно хорошо согласуется с системой кодирования цвета PAL , поскольку ее разрешение цветности по вертикали составляет лишь половину от NTSC . Он также очень хорошо сочетается с системой кодирования цвета SECAM , поскольку, как и в этом формате, 4:2:0 сохраняет и передает только один цветовой канал в каждой строке (другой канал восстанавливается из предыдущей строки). Однако на самом деле было произведено мало оборудования, которое выводит аналоговый видеосигнал SECAM. Как правило, на территориях SECAM необходимо использовать либо дисплей с поддержкой PAL, либо транскодер для преобразования сигнала PAL в SECAM для отображения.

Различные варианты конфигураций цветности 4:2:0 можно найти в:

Cb и Cr подвергаются субвыборке с коэффициентом 2 как по горизонтали, так и по вертикали. Большинство цифровых видеоформатов, соответствующих 576i «PAL», используют субдискретизацию цветности 4:2:0.

Выборочные позиции

Существует четыре основных варианта схем 4:2:0, имеющих разное расположение выборки по горизонтали и вертикали относительно «квадрата» 2×2 исходного входного размера. [15]

Чересстрочный и прогрессивный

Для чересстрочного материала субдискретизация цветности 4:2:0 может привести к артефактам движения, если она реализована так же, как и для прогрессивного материала. Выборки яркости получаются из отдельных временных интервалов, тогда как выборки цветности будут получены из обоих временных интервалов. Именно эта разница может привести к артефактам движения. Стандарт MPEG-2 допускает альтернативную схему чересстрочной выборки, где 4:2:0 применяется к каждому полю (а не к обоим полям одновременно). Это решает проблему артефактов движения, уменьшает разрешение цветности по вертикали вдвое и может привести к появлению в изображении гребнеобразных артефактов.


Оригинал. На этом изображении показано одно поле. К движущемуся тексту применено размытие в движении.


Прогрессивная выборка 4:2:0 применяется к движущемуся чересстрочному материалу. Цветность ведет и следует за движущимся текстом. На этом изображении показано одно поле.


Чересстрочная выборка 4:2:0 применяется к движущемуся чересстрочному материалу. На этом изображении показано одно поле.

Однако в чересстрочной схеме 4:2:0 вертикальное разрешение цветности уменьшается примерно вдвое, поскольку образцы цветности эффективно описывают область шириной 2 образца и высотой 4 образца вместо 2×2. Кроме того, пространственное смещение между обоими полями может привести к появлению гребенчатых артефактов цветности.


Исходное неподвижное изображение.


Прогрессивная дискретизация 4:2:0 применяется к неподвижному изображению. Оба поля показаны.


Чересстрочная выборка 4:2:0 применяется к неподвижному изображению. Оба поля показаны.

Если чересстрочный материал необходимо деинтерлейсить, гребенчатые артефакты цветности (из чересстрочной выборки 4:2:0) можно удалить путем размытия цветности по вертикали. [18]

4:1:0

Такое соотношение возможно, и некоторые кодеки его поддерживают, но оно не получило широкого распространения. В этом соотношении используется половина разрешения цвета по вертикали и одна четверть разрешения цвета по горизонтали, при этом используется лишь одна восьмая полосы пропускания от максимального используемого разрешения цвета. Несжатое видео в этом формате с 8-битным квантованием использует 10 байт на каждый макропиксель (что составляет 4×2 пикселя) или 10 бит на каждый пиксель. Он имеет полосу цветности, эквивалентную сигналу PAL-I или PAL-M, декодированному с помощью декодера линии задержки, и при этом значительно превосходит NTSC.

3:1:1

Используется Sony в рекордерах HDCAM High Definition (не HDCAM SR). В горизонтальном измерении яркость дискретизируется по горизонтали с частотой три четверти частоты дискретизации Full HD — 1440 выборок на строку вместо 1920. Цветность дискретизируется с частотой 480 выборок на строку, что составляет треть частоты дискретизации яркости. В вертикальном измерении яркость и цветность дискретизируются с частотой дискретизации Full HD (1080 выборок по вертикали).

Различные ставки Cb и Cr

Ряд устаревших схем допускают разные коэффициенты субдискретизации в Cb и Cr, аналогично тому, как разная полоса пропускания выделяется для двух значений цветности в системах вещания, таких как CCIR System M. Эти схемы не выражаются в обозначениях J:a:b . Вместо этого они используют обозначение Y:Cb:Cr , где каждая часть описывает степень разрешения соответствующего компонента. Неизвестно, происходит ли уменьшение разрешения в горизонтальном или вертикальном направлении.

Артефакты

Обратите внимание на просветление возле границ.

Подвыборка цветности страдает от двух основных типов артефактов, приводящих к более заметному ухудшению, чем предполагалось, при резком изменении цветов.

Ошибка гамма-яркости

Сигналы с гамма-коррекцией, такие как Y'CbCr, имеют проблему, заключающуюся в том, что ошибки цветности «просачиваются» в яркость. В этих сигналах низкая цветность фактически делает цвет менее ярким, чем цвет с эквивалентной яркостью. В результате, когда насыщенный цвет смешивается с ненасыщенным или дополнительным цветом, на границе происходит потеря яркости. Это можно увидеть на примере пурпурного и зеленого. [20] Эта проблема сохраняется в HDR-видео, где гамма обобщается в передаточную функцию « EOTF ». Более крутая EOTF показывает более сильную потерю яркости. [21]

Некоторые предлагаемые исправления этой проблемы:

Рек. 2020 определяет «постоянную яркость» Yc'CbcCrc, которая рассчитывается на основе линейных компонентов RGB, а затем кодируется гамма-излучением. Эта версия не страдает от потери яркости по своей конструкции. [25]

Отсечение гаммы

Еще один артефакт, который может возникнуть при субдискретизации цветности, заключается в том, что при восстановлении цветности могут возникать цвета, выходящие за пределы гаммы . Предположим, что изображение состоит из чередующихся красных и черных линий размером 1 пиксель, а при субдискретизации не учитывается цветность черных пикселей. Цветность красных пикселей будет реконструирована в черных пикселях, в результате чего новые пиксели будут иметь положительные значения красного и отрицательные значения зеленого и синего. Поскольку дисплеи не могут выводить отрицательный свет (отрицательного света не существует), эти отрицательные значения будут фактически обрезаны, и результирующее значение яркости будет слишком высоким. Другие фильтры субдискретизации (особенно «ящик» усреднения) имеют аналогичную проблему, из которой сложнее сделать простой пример. Подобные артефакты возникают в менее искусственном примере градации вблизи довольно резкой границы красного/черного. [20]

Декодер может иметь дело с цветами, выходящими за пределы гаммы, учитывая, сколько цветности может содержать данное значение яркости, и соответственно распределять его в промежуточное значение 4: 4: 4, что Гленн Чен назвал «реконструкцией цветности в диапазоне». . Метод «пропорции» по духу подобен средневзвешенному по яркости Корнельскому, тогда как метод «разлива» напоминает диффузию ошибок . [20] Улучшение реконструкции цветности остается активной областью исследований. [26]

Терминология

Термин Y'UV относится к схеме аналогового ТВ-кодирования (Рекомендация МСЭ-R BT.470), а Y'CbCr относится к схеме цифрового кодирования. [2] Единственное различие между ними заключается в том, что масштабные коэффициенты компонентов цветности (U, V, Cb и Cr) различны. Однако термин YUV часто ошибочно используется для обозначения кодировки Y'CbCr. Следовательно, выражения типа «4:2:2 YUV» всегда относятся к 4:2:2 Y'CbCr, поскольку в аналоговом кодировании (например, YUV) просто не существует такой вещи, как 4:x:x. Форматы пикселей, используемые в Y'CbCr, также могут называться YUV, например yuv420p, yuvj420p и многие другие.

Аналогичным образом, термин «яркость» и символ Y часто ошибочно используются для обозначения яркости, которая обозначается символом Y'. Яркость (Y') видеотехники отличается от яркости (Y) науки о цвете (согласно определению CIE ). Яркость формируется как взвешенная сумма гамма-скорректированных (трехцветных) компонентов RGB. Яркость формируется как взвешенная сумма линейных (трехцветных) компонент RGB. На практике символ CIE Y часто неправильно используется для обозначения яркости. В 1993 году SMPTE приняла Техническое руководство EG 28, разъясняющее эти два термина. Символ штриха ' используется для обозначения гамма-коррекции. [27]

Точно так же цветность в видеотехнике отличается от цветности в науке о цвете. Цветность видеотехники формируется из взвешенных трехцветных компонентов (с гамма-коррекцией, OETF), а не из линейных компонентов. В практике видеоинженерии термины «цветность» , «цветность » и «насыщенность» часто используются как взаимозаменяемые для обозначения цветности, но, как сказано в Рекомендации ITU-T Rec H.273, это не является хорошей практикой. [28]

История

Поддискретизация цветности была разработана в 1950-х годах Альдой Бедфорд для разработки цветного телевидения компанией RCA , которое превратилось в стандарт NTSC ; Разделение яркости и цветности было разработано ранее, в 1938 году Жоржем Валенси . Благодаря исследованиям [ каким? ] он показал, что человеческий глаз имеет высокое разрешение только для черного и белого цветов, несколько меньшее для цветов «среднего диапазона», таких как желтый и зеленый, и гораздо меньшее для цветов на конце спектра, красного и синего. [ необходимы разъяснения ] знания позволили RCA разработать систему, в которой они отбрасывают большую часть синего сигнала после того, как он поступает от камеры, сохраняя большую часть зеленого и только часть красного; это субдискретизация цветности в цветовом пространстве YIQ , которая примерно аналогична субдискретизации 4:2:1, поскольку она имеет уменьшающееся разрешение для яркости, желтого/зеленого и красного/синего.

Смотрите также

Рекомендации

  1. ^ Знаки штрихов указывают на гамма-коррекцию или любую нелинейную EOTF.
  1. ^ С. Винклер, Си Джей ван ден Бранден Ламбрехт и М. Кунт (2001). «Видение и видео: модели и приложения». В Кристиан Дж. ван ден Бранден Ламбрехт (ред.). Модели зрения и приложения для обработки изображений и видео . Спрингер. п. 209. ИСБН 978-0-7923-7422-0.{{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
  2. ^ Аб Пойнтон, Чарльз. «YUV и яркость считаются вредными: просьба к точной терминологии в видео».
  3. ^ Дженнингс, Роджер; Бертель Шмитт (1997). «ДВ против Betacam SP». ДВ Центральный . Архивировано из оригинала 2 июля 2008 г. Проверено 29 августа 2008 г.
  4. ^ Уилт, Адам Дж. (2006). «Форматы DV, DVCAM и DVCPRO». adamwilt.com . Проверено 29 августа 2008 г.
  5. ^ Клинт ДеБоер (16 апреля 2008 г.). «Улучшенные уровни черного HDMI, xvYCC и RGB». Аудиоголики . Проверено 2 июня 2013 г.
  6. ^ «Цифровое цветовое кодирование» (PDF) . Телеаритность. Архивировано из оригинала (PDF) 7 января 2014 г. Проверено 2 июня 2013 г.
  7. ^ Корпорация лицензирования MSX (2022 г.). «Режимы экрана YJK». Страница сборки MSX .
  8. ^ Нимитц, Рикардо Канчо (2014). Проблемы с цветовой моделью YJK, реализованной в чипе Yamaha V9958 VDP (PDF) .
  9. ^ "VCFe Vortrag от 30 апреля 2016 г. - Домашний компьютер и консоль - Видеоархитектура как визуальная среда" . neil.franklin.ch . Проверено 13 ноября 2022 г.
  10. ^ ИК Мастер. Объединенные технические публикации. 2001.
  11. ^ Мартин Сесма, Серхио (3 октября 2016 г.). Информационная археология: los ordenadores MSX en los inicios de la microinformática doméstica (Proyecto/Trabajo fin de carrera/grado thesis). Политехнический университет Валенсии.
  12. ^ Редазионе (20 октября 2008 г.). «MSX – Вари Коструттори-1983». CyberLudus.com (на итальянском языке) . Проверено 13 ноября 2022 г.
  13. ^ "КНИГА ТЕХНИЧЕСКИХ ДАННЫХ V9958 MSX-ВИДЕО" (PDF) . 1988.
  14. ^ Алекс, Вулмс (1995). «Schermen op MSX – De 2+ Schermen» (PDF) . Журнал MSX Computer & Club (72).
  15. ^ Пойнтон, Чарльз (2008). «Обозначение субдискретизации цветности» (PDF) . Пойнтон.com . Проверено 1 октября 2008 г.
  16. ^ abcd enum AvChromaLocation, ffmpeg 3.1.
  17. ^ "y4minput.c - webm/libvpx - Git в Google" . chromium.googlesource.com . Образцы цветности 420paldv расположены следующим образом:
  18. ^ Мунсил, Дон; Стейси Спирс (2003). «Бенчмарк DVD-плеера — ошибка повышения разрешения цветности». Секреты домашнего кинотеатра и высокой четкости . Архивировано из оригинала 6 июня 2008 г. Проверено 29 августа 2008 г.
  19. ^ «Поддержка декодирования изображений jpeg yuv442 и yuv421. · FFmpeg/FFmpeg@387d860» . Гитхаб .
  20. ^ abc Чан, Гленн (май 2008 г.). «На пути к лучшей подвыборке цветности: лауреат премии SMPTE Student Paper Award 2007». Журнал SMPTE Motion Imaging . 117 (4): 39–45. дои : 10.5594/J15100 .
  21. ^ Аб Ларбье, Пьер (октябрь 2015 г.). «Расширенный динамический диапазон: проблемы сжатия». Ежегодная техническая конференция и выставка SMPTE 2015 : 1–15. дои : 10.5594/M001639. ISBN 978-1-61482-956-0.
  22. ^ «Гамма-корректная подвыборка цветности · Проблема № 193 · mozilla/mozjpeg» . Гитхаб .
  23. ^ "WebP: Sharpyuv/sharpyuv.h | Фосси" . fossies.org . Предполагается, что изображение будет подвергнуто повышению дискретизации с использованием билинейного фильтра. Если вместо этого используется ближайший сосед, изображение с повышенным разрешением может выглядеть хуже, чем при стандартном понижении разрешения.
  24. ↑ Норкин, Андрей (27 сентября 2016 г.). Преобразование цветов HDR с различными показателями искажения (PDF) . SPIE Оптическая инженерия + приложения, 2016. стр. 99710E. дои : 10.1117/12.2237040.
  25. ^ «BT.2020: Значения параметров для систем телевидения сверхвысокой четкости для производства и международного обмена программами» . Международный союз электросвязи . 17 июля 2014 г. Проверено 31 августа 2014 г.
  26. ^ Чунг, Го-Лян; Лян, Янь-Чэн; Ван, Чинг-Шэн (март 2019 г.). «Эффективный метод реконструкции цветности с учетом содержимого для изображений содержимого экрана». Транзакции IEEE при обработке изображений . 28 (3): 1108–1117. Бибкод : 2019ITIP...28.1108C. дои : 10.1109/TIP.2018.2875340. PMID  30307864. S2CID  52964340.
  27. ^ «EG 28:1993 - Инженерное руководство SMPTE - Аннотированный словарь основных терминов для электронного производства | Стандарт SMPTE | IEEE Xplore» . doi :10.5594/SMPTE.EG28.1993. яркость: Чтобы избежать междисциплинарной путаницы, возникающей из-за двух различных определений яркости, было предложено, чтобы в видеодокументах использовалась яркость для яркости, телевидения (т. е. сигнала яркости) и цветность для телевидения цветности (т. е. сигнала цветности).
  28. ^ «H.273: независимые от кодирования кодовые точки для идентификации типа видеосигнала» . www.itu.int . 2016. ПРИМЕЧАНИЕ. – Вместо термина цветность используется термин цветность, чтобы избежать использования линейных характеристик светопередачи, которые часто ассоциируются с термином цветность. [...] ПРИМЕЧАНИЕ. – Термин «яркость» используется вместо термина «яркость», чтобы избежать использования линейных характеристик светопередачи, которые часто ассоциируются с термином «яркость». Символ L иногда используется вместо символа Y, чтобы избежать путаницы с символом y, используемым для вертикального расположения.

Внешние ссылки