stringtranslate.com

Качество видео

Качество видео — это характеристика видео, прошедшего через систему передачи или обработки видео, которая описывает воспринимаемое ухудшение видео (обычно по сравнению с исходным видео). Системы обработки видео могут вносить некоторое количество искажений или артефактов в видеосигнал, которые негативно влияют на восприятие системы пользователем. Для многих заинтересованных сторон в производстве и распространении видео обеспечение качества видео является важной задачей.

Оценка качества видео выполняется для описания качества набора исследуемых видеопоследовательностей. Качество видео может быть оценено объективно (с помощью математических моделей ) или субъективно (путем опроса пользователей об их оценке). Кроме того, качество системы может быть определено в автономном режиме (т. е. в лабораторных условиях для разработки новых кодеков или услуг) или в процессе эксплуатации (для мониторинга и обеспечения определенного уровня качества).

От аналогового к цифровому видео

С тех пор, как была записана и передана первая в мире видеопоследовательность, было разработано множество систем обработки видео. Такие системы кодируют видеопотоки и передают их по различным типам сетей или каналов. В эпоху аналоговых видеосистем можно было оценить аспекты качества системы обработки видео, вычислив частотную характеристику системы с использованием тестовых сигналов (например, набора цветных полос и кругов).

Цифровые видеосистемы почти полностью заменили аналоговые, а методы оценки качества изменились. Производительность цифровой системы обработки и передачи видео может значительно различаться и зависит от многих факторов, включая характеристики входного видеосигнала (например, количество движения или пространственных деталей), настройки, используемые для кодирования и передачи, а также точность канала или производительность сети .

Объективное качество видео

Объективные модели качества видео — это математические модели , которые аппроксимируют результаты субъективной оценки качества , в которой наблюдателям предлагается оценить качество видео. [1] В этом контексте термин « модель» может относиться к простой статистической модели, в которой несколько независимых переменных (например, скорость потери пакетов в сети и параметры кодирования видео) сопоставляются с результатами, полученными в ходе субъективного теста оценки качества с использованием методов регрессии . Модель также может быть более сложным алгоритмом, реализованным в программном обеспечении или оборудовании .

Терминология

Термины «модель» и «метрика » часто используются взаимозаменяемо в этой области для обозначения описательной статистики , которая обеспечивает индикатор качества. Термин «объективный» относится к тому факту, что, в общем, качественные модели основаны на критериях, которые можно измерить объективно, то есть без человеческой интерпретации. Они могут быть автоматически оценены компьютерной программой . В отличие от группы наблюдателей-людей, объективная модель всегда должна детерминированно выводить один и тот же показатель качества для заданного набора входных параметров.

Объективные модели качества иногда также называют инструментальными (качественными) моделями , [2] [3] , чтобы подчеркнуть их применение в качестве измерительных инструментов. Некоторые авторы полагают, что термин «объективный» вводит в заблуждение, поскольку он «подразумевает, что инструментальные измерения несут объективность, что они делают только в тех случаях, когда их можно обобщить». [4]

Классификация объективных моделей качества видео

Классификация объективных моделей качества видео на модели с полным референсом, с ограниченным референсом и без референса.
Методы оценки качества изображений и видео без референсов.

Объективные модели можно классифицировать по объему доступной информации об исходном сигнале, полученном сигнале или по тому, присутствует ли сигнал вообще: [5]

Использование моделей качества изображения для оценки качества видео

Некоторые модели, которые используются для оценки качества видео (например, PSNR или SSIM ), являются просто моделями качества изображения , выход которых рассчитывается для каждого кадра видеопоследовательности. Обзор последних моделей качества изображения без ссылок также был дан в журнальной статье Шахида и др. [5]

Мера качества каждого кадра в видео (определенная моделью качества изображения) может затем записываться и объединяться с течением времени для оценки качества всей видеопоследовательности. Хотя этот метод прост в реализации, он не учитывает определенные виды ухудшений, которые развиваются со временем, такие как движущиеся артефакты, вызванные потерей пакетов и их сокрытием . Модель качества видео, которая учитывает временные аспекты ухудшения качества, например VQM или индекс MOVIE , может быть способна производить более точные прогнозы воспринимаемого человеком качества.

Артефакты качества видео

Оценка визуальных артефактов — хорошо известная методика оценки общего качества видео. Большинство этих артефактов — артефакты сжатия, вызванные сжатием с потерями. Некоторые атрибуты, обычно оцениваемые метриками на основе пикселей, включают:

Пространственный

Временной

Примеры показателей качества видео

В этом разделе приведены примеры показателей качества видео.

Обучение и оценка эффективности

Поскольку ожидается, что объективные модели качества видео будут предсказывать результаты, предоставляемые людьми-наблюдателями, они разрабатываются с помощью субъективных результатов тестирования . Во время разработки объективной модели ее параметры должны быть обучены таким образом, чтобы достичь наилучшей корреляции между объективно предсказанными значениями и субъективными оценками, часто доступными как средние оценки мнения (MOS).

Наиболее широко используемые субъективные тестовые материалы находятся в открытом доступе и включают неподвижные изображения, кинофильмы, потоковое видео, высокое разрешение, 3-D (стереоскопические) и специальные наборы данных, связанные с качеством изображения. [18] Эти так называемые базы данных создаются различными исследовательскими лабораториями по всему миру. Некоторые из них стали фактическими стандартами, включая несколько общедоступных баз данных субъективного качества изображения, созданных и поддерживаемых Лабораторией по обработке изображений и видео (LIVE), а также Базой данных изображений Тампере 2008 года. Коллекция баз данных может быть найдена в репозитории баз данных QUALINET. Библиотека цифрового видео потребителей (CDVL) размещает свободно доступные видеотестовые последовательности для разработки моделей.

Некоторые базы данных также предоставляют предварительно вычисленные метрические оценки, чтобы позволить другим сравнивать новые метрики с существующими. Примеры можно увидеть в таблице ниже

Теоретически модель можно обучить на наборе данных таким образом, чтобы она выдавала идеально совпадающие оценки на этом наборе данных. Однако такая модель будет переобучена и, следовательно, не будет хорошо работать на новых наборах данных. Поэтому рекомендуется проверять модели на новых данных и использовать полученную производительность как реальный индикатор точности прогнозирования модели.

Для измерения производительности модели часто используются такие метрики, как коэффициент линейной корреляции , коэффициент ранговой корреляции Спирмена и среднеквадратическая ошибка (RMSE). Другие метрики — коэффициент каппа и отношение выбросов . Рекомендация МСЭ-Т P.1401 дает обзор статистических процедур для оценки и сравнения объективных моделей.

Использование и применение объективных моделей

Объективные модели качества видео могут использоваться в различных областях применения. При разработке видеокодеков производительность кодека часто оценивается с точки зрения PSNR или SSIM. Для поставщиков услуг объективные модели могут использоваться для мониторинга системы. Например, поставщик IPTV может выбрать мониторинг качества своих услуг с помощью объективных моделей, а не спрашивать мнение пользователей или ждать жалоб клиентов на плохое качество видео. Немногие из этих стандартов нашли коммерческое применение, включая PEVQ и VQuad-HD . SSIM также является частью коммерчески доступного набора инструментов для обеспечения качества видео (SSIMWAVE). VMAF используется Netflix для настройки своих алгоритмов кодирования и потоковой передачи, а также для контроля качества всего потокового контента. [19] [20] Он также используется другими технологическими компаниями, такими как Bitmovin [21], и был интегрирован в программное обеспечение, такое как FFmpeg .

Объективная модель должна использоваться только в том контексте, для которого она была разработана. Например, модель, разработанная с использованием определенного видеокодека, не гарантирует точности для другого видеокодека. Аналогично, модель, обученная на тестах, проведенных на большом экране телевизора, не должна использоваться для оценки качества видео, просматриваемого на мобильном телефоне.

Другие подходы

При оценке качества видеокодека все упомянутые объективные методы могут потребовать повторных тестов после кодирования для определения параметров кодирования, которые удовлетворяют требуемому уровню визуального качества, что делает их трудоемкими, сложными и непрактичными для внедрения в реальных коммерческих приложениях. Продолжаются исследования по разработке новых объективных методов оценки, которые позволяют прогнозировать воспринимаемый уровень качества кодированного видео до фактического кодирования. [22]

Субъективное качество видео

Основная цель многоцелевых метрик качества видео — автоматическая оценка мнения среднего пользователя (зрителя) о качестве видео, обработанного системой. Процедуры субъективных измерений качества видео описаны в рекомендации ITU-R BT.500 и рекомендации ITU-T P.910. В таких тестах видеопоследовательности демонстрируются группе зрителей. Мнение зрителей регистрируется и усредняется в средний балл мнения для оценки качества каждой видеопоследовательности. Однако процедура тестирования может различаться в зависимости от того, какая система тестируется.

Инструменты для оценки качества видео

Смотрите также

Ссылки

  1. ^ «Объективные методы оценки качества видео для системы видеопомощи арбитрам (VAR)» (PDF) .
  2. ^ Raake, Alexander (2006). Качество речи VoIP: оценка и прогнозирование . Wiley InterScience (Онлайн-сервис). Чичестер, Англия: Wiley. ISBN 9780470030608. OCLC  85785040.
  3. ^ Мёллер, Себастьян (2000). Оценка и прогнозирование качества речи в телекоммуникациях . Бостон, Массачусетс: Springer US. ISBN 9781475731170. OCLC  851800613.
  4. ^ Рааке, Александр; Эггер, Себастьян (2014). Качество опыта . Серия T-Labs по телекоммуникационным услугам. Springer, Cham. стр. 11–33. doi :10.1007/978-3-319-02681-7_2. ISBN 9783319026800.
  5. ^ ab Шахид, Мухаммад; Россхольм, Андреас; Лёвстрём, Бенни; Цеперник, Ханс-Юрген (2014-08-14). «Оценка качества изображений и видео без ссылок: классификация и обзор последних подходов». Журнал EURASIP по обработке изображений и видео . 2014 : 40. doi : 10.1186/1687-5281-2014-40 . ISSN  1687-5281.
  6. ^ Барман, Набаджит; Резник, Юрий; Мартини, Мария Г. (2023). «Субъективный набор данных для многоэкранных приложений потоковой передачи видео». arXiv : 2305.03138 [cs.MM].
  7. ^ Ли, Сон-О; Юнг, Кванг-Су; Сим, Донг-Гю (2010). «Оценка объективного качества в реальном времени на основе параметров кодирования, извлеченных из битового потока H.264/AVC». Труды IEEE по потребительской электронике . 56 (2): 1071–1078. doi :10.1109/TCE.2010.5506041. S2CID  23190244.
  8. ^ Ван, Чжоу; Бовик, А.С.; Шейх, Х.Р.; Симончелли, Э.П. (2004-04-01). «Оценка качества изображения: от видимости ошибок до структурного сходства». Труды IEEE по обработке изображений . 13 (4): 600–612. Bibcode : 2004ITIP...13..600W. CiteSeerX 10.1.1.2.5689 . doi : 10.1109/TIP.2003.819861. ISSN  1057-7149. PMID  15376593. S2CID  207761262. 
  9. ^ Seshadrinathan, K.; Bovik, AC (2010-02-01). "Оценка пространственно-временного качества естественных видео с настройкой движения". IEEE Transactions on Image Processing . 19 (2): 335–350. Bibcode : 2010ITIP...19..335S. CiteSeerX 10.1.1.153.9018 . doi : 10.1109/TIP.2009.2034992. ISSN  1057-7149. PMID  19846374. S2CID  15356687. 
  10. ^ vmaf: Оценка качества восприятия видео на основе многометодного слияния, Netflix, Inc., 2017-07-14 , получено 2017-07-15
  11. ^ "Описание программного обеспечения Video Quality Metric (VQM) - ITS". its.ntia.gov . Получено 2023-07-12 .
  12. ^ Куртис, М.-А.; Кумарас, Х.; Либерал, Ф. (июль–август 2016 г.). «Оценка качества видео с уменьшенным количеством ссылок с использованием статического видеошаблона». Журнал электронной визуализации . 25 (4): 043011. Bibcode : 2016JEI....25d3011K. doi : 10.1117/1.jei.25.4.043011 .
  13. ^ Soundararajan, R.; Bovik, AC (2013-04-04). «Оценка качества видео с помощью редуцированного эталонного пространственно-временного энтропийного дифференцирования». Труды IEEE по схемам и системам для видеотехнологий . 23 (4): 684–694. doi :10.1109/tcsvt.2012.2214933. S2CID  206661510.
  14. ^ abc Raake, Alexander; Borer, Silvio; Satti, Shahid M.; Gustafsson, Jorgen; Rao, Rakesh Rao Ramachandra; Medagli, Stefano; List, Peter; Goring, Steve; Lindero, David; Robitza, Werner; Heikkila, Gunnar; Broom, Simon; Schmidmer, Christian; Feiten, Bernhard; Wustenhagen, Ulf (2020). "Многомодельный стандарт для оценки качества видео на основе битового потока, пикселей и гибридной оценки качества видео UHD/4K: ITU-T P.1204". IEEE Access . 8 : 193020–193049. doi : 10.1109/ACCESS.2020.3032080 . ISSN  2169-3536. S2CID  226293635.
  15. ^ Миттал, А.; Соундарараджан, Р.; Бовик, А.С. (март 2013 г.). «Создание «полностью слепого» анализатора качества изображения». IEEE Signal Processing Letters . 20 (3): 209–212. Bibcode : 2013ISPL...20..209M. doi : 10.1109/lsp.2012.2227726. S2CID  16892725.
  16. ^ Миттал, А.; Мурти, АК; Бовик, А.К. (2011-11-09). «Слепой/безреферентный оценщик пространственного качества изображения». Протокол конференции 2011 г. Сорок пятой Асиломарской конференции по сигналам, системам и компьютерам (ASILOMAR) . стр. 723–727. doi :10.1109/acssc.2011.6190099. ISBN 978-1-4673-0323-1. S2CID  16388844.
  17. ^ Saad, MA; Bovik, AC; Charrier, C. (март 2014 г.). «Слепое прогнозирование естественного качества видео». IEEE Transactions on Image Processing . 23 (3): 1352–1365. Bibcode : 2014ITIP...23.1352S. CiteSeerX 10.1.1.646.9045 . doi : 10.1109/tip.2014.2299154. ISSN  1057-7149. PMID  24723532. S2CID  14314450. 
  18. ^ Лю, Цунг-Юнг; Линь, Ю-Чи; Линь, Вайси; Куо, С.-С. Джей (2013). «Оценка визуального качества: последние разработки, приложения кодирования и будущие тенденции». Труды APSIPA по обработке сигналов и информации . 2. doi : 10.1017/atsip.2013.5 . hdl : 10356/106287 . ISSN  2048-7703.
  19. ^ Блог, Netflix Technology (2016-06-06). "На пути к практической метрике качества воспринимаемого видео". Netflix TechBlog . Получено 2017-10-08 .
  20. ^ Блог, Netflix Technology (2018-10-26). "VMAF: Путешествие продолжается". Medium . Получено 2019-10-23 .
  21. ^ "Адаптация по сценам: выход за рамки битрейта". Bitmovin . 2018-01-05 . Получено 2019-10-23 .
  22. ^ Koumaras, H.; Kourtis, A.; Martakos, D.; Lauterjung, J. (2007-09-01). "Количественная оценка PQoS на основе быстрой оценки уровня пространственной и временной активности". Multimedia Tools and Applications . 34 (3): 355–374. doi :10.1007/s11042-007-0111-1. ISSN  1380-7501. S2CID  14136479.

Дальнейшее чтение