Средний балл мнения

Мера качества стимула или системы

Средний балл мнения (MOS) — это мера, используемая в области качества опыта и телекоммуникационной инженерии , представляющая общее качество стимула или системы. Это среднее арифметическое по всем индивидуальным «значениям по предопределенной шкале, которые субъект присваивает своему мнению о производительности качества системы». ^[1] Такие рейтинги обычно собираются в субъективном тесте оценки качества , но их также можно оценить алгоритмически.

MOS — это широко используемая мера для оценки качества видео, аудио и аудиовизуальных материалов, но не ограничивающаяся этими модальностями. МСЭ-Т определил несколько способов обозначения MOS в Рекомендации МСЭ-Т P.800.1 в зависимости от того, была ли получена оценка в результате аудиовизуальных, разговорных, аудирования, разговора или видеотестов качества.

Шкалы оценок и математическое определение

MOS выражается как одно рациональное число, обычно в диапазоне от 1 до 5, где 1 — это самое низкое воспринимаемое качество, а 5 — самое высокое воспринимаемое качество. Возможны и другие диапазоны MOS в зависимости от шкалы оценок , которая использовалась в базовом тесте. Очень часто используется шкала оценок абсолютной категории , которая сопоставляет оценки от «плохо» до «отлично» с числами от 1 до 5, как показано в таблице ниже.

Другие стандартизированные шкалы оценки качества существуют в Рекомендациях МСЭ-Т (таких как МСЭ-Т P.800 или МСЭ-Т P.910). Например, можно использовать непрерывную шкалу в диапазоне от 1 до 100. Какая шкала используется, зависит от цели теста. В определенных контекстах нет статистически значимых различий между оценками для одних и тех же стимулов, когда они получены с использованием разных шкал. ^[2]

MOS рассчитывается как среднее арифметическое отдельных оценок, полученных людьми для данного стимула в субъективном тесте оценки качества . Таким образом:

${\displaystyle MOS={\frac {\sum _{n=1}^{N}{R_{n}}}{N}}}$

Где находятся индивидуальные оценки данного стимула по субъектам? ${\displaystyle R}$ ${\displaystyle N}$

Свойства MOS

MOS подвержен определенным математическим свойствам и предубеждениям. В целом, продолжаются дебаты о полезности MOS для количественной оценки качества опыта в одном скалярном значении. ^[3]

Когда MOS приобретается с использованием категориальных рейтинговых шкал, он основан на — подобно шкалам Лайкерта — порядковой шкале . В этом случае ранжирование элементов шкалы известно, но их интервал — нет. Поэтому математически неверно вычислять среднее значение по отдельным рейтингам для получения центральной тенденции; вместо этого следует использовать медиану. ^[4] Однако на практике и в определении MOS считается приемлемым вычислять среднее арифметическое.

Было показано, что для категориальных рейтинговых шкал (таких как ACR) отдельные элементы не воспринимаются субъектами равноудаленными. Например, может быть больший «разрыв» между Good и Fair , чем между Good и Excellent . Воспринимаемое расстояние также может зависеть от языка, на который переведена шкала. ^[5] Однако существуют исследования, которые не смогли доказать значительного влияния перевода шкалы на полученные результаты. ^[6]

Несколько других предубеждений присутствуют в том, как обычно приобретаются оценки MOS. ^[7] В дополнение к вышеупомянутым проблемам со шкалами, которые воспринимаются нелинейно, существует так называемое «предубеждение выравнивания диапазона»: в ходе субъективного эксперимента субъекты склонны давать оценки, которые охватывают всю шкалу оценок. Это делает невозможным сравнение двух разных субъективных тестов, если диапазон представленного качества отличается. Другими словами, MOS никогда не является абсолютной мерой качества, а только относительно теста, в котором он был приобретен.

По указанным выше причинам – и из-за нескольких других контекстуальных факторов, влияющих на воспринимаемое качество в субъективном тесте – значение MOS должно сообщаться только в том случае, если контекст, в котором были собраны значения, известен и также сообщен. Поэтому значения MOS, собранные из разных контекстов и тестовых дизайнов, не следует сравнивать напрямую. Рекомендация МСЭ-Т P.800.2 предписывает, как следует сообщать значения MOS. В частности, в P.800.2 говорится:

Не имеет смысла напрямую сравнивать значения MOS, полученные в ходе отдельных экспериментов, если только эти эксперименты не были специально разработаны для сравнения, и даже в этом случае данные должны быть статистически проанализированы, чтобы гарантировать, что такое сравнение является обоснованным.

MOS для оценки качества речи и звука

MOS исторически берет свое начало от субъективных измерений, когда слушатели сидели в «тихой комнате» и оценивали качество телефонного звонка так, как они его воспринимали. Этот тип методологии тестирования использовался в телефонной отрасли десятилетиями и был стандартизирован в Рекомендации МСЭ-Т P.800. В ней указано, что «говорящий должен сидеть в тихой комнате с объемом от 30 до 120 м³ и временем реверберации менее 500 мс (предпочтительно в диапазоне 200–300 мс). Уровень шума в комнате должен быть ниже 30 дБА без доминирующих пиков в спектре». Требования к другим модальностям были аналогичным образом указаны в более поздних Рекомендациях МСЭ-Т.

Оценка MOS с использованием качественных моделей

Получение оценок MOS может быть трудоемким и дорогим, поскольку требует привлечения оценщиков-людей. Для различных вариантов использования, таких как разработка кодеков или мониторинг качества обслуживания, где качество должно оцениваться многократно и автоматически, оценки MOS также могут быть предсказаны с помощью объективных моделей качества , которые обычно разрабатываются и обучаются с использованием оценок MOS-людей. Возникающий при использовании таких моделей вопрос заключается в том, заметны ли полученные различия MOS для пользователей. Например, при оценке изображений по пятибалльной шкале MOS ожидается, что изображение с MOS, равным 5, будет заметно лучше по качеству, чем изображение с MOS, равным 1. Напротив, не очевидно, будет ли изображение с MOS, равным 3,8, заметно лучше по качеству, чем изображение с MOS, равным 3,6. Исследования, проведенные с целью определения наименьшей разницы MOS, которая заметна для пользователей для цифровых фотографий, показали, что для того, чтобы 75% пользователей смогли обнаружить изображение более высокого качества, требуется разница MOS примерно в 0,46. ^[8] Тем не менее, ожидание качества изображения, а следовательно, и MOS, со временем меняются вместе с изменением ожиданий пользователя. В результате минимальные заметные различия MOS, определенные с использованием аналитических методов, таких как в ^[8], могут со временем меняться.

Смотрите также

• Абсолютный рейтинг категории
• шкала Лайкерта
• МУШРА (Рекомендация МСЭ-R BS.1534)
• Объективное качество видео
• Субъективное качество видео

Ссылки

1. Рекомендация МСЭ-Т P.10/G.100 (2017) Словарь терминов для производительности, качества обслуживания и качества восприятия.
2. Huynh-Thu, Q.; Garcia, MN; Speranza, F.; Corriveau, P.; Raake, A. (2011-03-01). «Исследование шкал рейтинга для субъективной оценки качества видео высокой четкости». IEEE Transactions on Broadcasting . 57 (1): 1–14. doi :10.1109/TBC.2010.2086750. ISSN  0018-9316.
3. Хоссфельд, Тобиас; Хигор, Пол Э.; Варела, Мартин; Мёллер, Себастьян (01 декабря 2016 г.). «QoE за пределами MOS: углубленный взгляд на QoE с помощью лучших показателей и их связи с MOS». Качество и пользовательский опыт . 1 (1): 2. arXiv : 1607.00321 . дои : 10.1007/s41233-016-0002-1. ISSN  2366-0139.
4. Джеймисон, Сьюзен. «Шкалы Лайкерта: как их использовать». Медицинское образование 38.12 (2004): 1217-1218.
5. Штрейл, Роберт С., Стефан Винклер и Дэвид С. Хэндс. «Повторный взгляд на среднюю оценку мнения (MOS): методы и приложения, ограничения и альтернативы». Мультимедийные системы 22.2 (2016): 213-227.
6. Pinson, MH; Janowski, L.; Pepion, R.; Huynh-Thu, Q.; Schmidmer, C.; Corriveau, P.; Younkin, A.; Callet, P. Le; Barkowsky, M. (октябрь 2012 г.). «Влияние субъектов и среды на аудиовизуальные субъективные тесты: международное исследование» (PDF) . IEEE Journal of Selected Topics in Signal Processing . 6 (6): 640–651. doi :10.1109/jstsp.2012.2215306. ISSN  1932-4553.
7. Зелински, Славомир, Фрэнсис Рамси и Сёрен Бех. «О некоторых предубеждениях, встречающихся в современных тестах на качество прослушивания звука — обзор». Журнал Audio Engineering Society 56.6 (2008): 427-451.
8. Katsigiannis, S.; Scovell, JN; Ramzan, N.; Janowski, L.; Corriveau, P.; Saad, M.; Van Wallendael, G. (2018-05-02). «Интерпретация оценок MOS: когда пользователи могут увидеть разницу? Понимание различий в пользовательском опыте для качества фотографий». Качество и пользовательский опыт . 3 (1): 6. doi :10.1007/s41233-018-0019-8. hdl : 1854/LU-8581457 . ISSN  2366-0139.