Средняя оценка мнения - Mean opinion score

Средняя оценка мнения (MOS) - это мера, используемая в области Качество опыта и телекоммуникационная техника, представляющий общее качество стимула или системы. Это среднее арифметическое по всем индивидуальным «значениям по предопределенной шкале, которые субъект присваивает своему мнению о производительности системы».^[1] Такие рейтинги обычно собираются в тест субъективной оценки качества, но они также могут быть оценены алгоритмически.

MOS - это обычно используемая мера для оценки качества видео, аудио и аудиовизуальных изображений, но не ограничивается этими способами. ITU-T определил несколько способов ссылки на MOS в Рекомендации P.800.1, в зависимости от того, была ли оценка получена в результате аудиовизуальных, разговорных тестов, тестов на аудирование, разговоры или видео.

Шкалы оценок и математическое определение

MOS выражается как одно рациональное число, обычно в диапазоне 1–5, где 1 - это самое низкое воспринимаемое качество, а 5 - самое высокое воспринимаемое качество. Возможны также другие диапазоны MOS, в зависимости от шкала оценок который использовался в основном тесте. В Абсолютный рейтинг категории очень часто используется шкала, которая отображает рейтинги между Плохой и Отлично на числа от 1 до 5, как показано в таблице ниже.

Рейтинг	метка
5	Отлично
4	Хорошо
3	Ярмарка
2	Бедный
1	Плохой

Другие стандартизированные шкалы оценки качества существуют в ITU-T рекомендации (например, P.800 или Стр.910 ). Например, можно использовать непрерывную шкалу от 1 до 100. Какая шкала используется, зависит от цели теста. В определенных контекстах нет статистически значимых различий между оценками одних и тех же стимулов, когда они получены с использованием разных шкал.^[2]

MOS рассчитывается как среднее арифметическое над отдельными оценками, выполненными людьми для данного стимула в тест субъективной оценки качества. Таким образом:

{ displaystyle MOS = { frac { sum _ {n = 1} ^ {N} {R_ {n}}} {N}}}

куда ${ displaystyle R}$ индивидуальные оценки данного стимула по ${ displaystyle N}$ предметы.

Свойства МОП

MOS подвержен определенным математическим свойствам и предубеждениям. В целом, продолжаются дискуссии о полезности MOS для количественной оценки качества восприятия с помощью одного скалярного значения.^[3]

Когда MOS приобретается с использованием категориальных рейтинговых шкал, он основан на - аналогично Весы Лайкерта - ан порядковая шкала. В этом случае рейтинг элементов шкалы известен, но их интервал - нет. Следовательно, математически неверно вычислять среднее значение по индивидуальным рейтингам, чтобы получить центральную тенденцию; Вместо этого следует использовать медиану.^[4] Однако на практике и при определении MOS считается приемлемым вычисление среднего арифметического.

Было показано, что для категориальных рейтинговых шкал (таких как ACR) отдельные элементы не воспринимаются испытуемыми на одинаковом расстоянии. Например, может быть больший «разрыв» между Хорошо и Ярмарка чем есть между Хорошо и Отлично. Воспринимаемое расстояние также может зависеть от языка, на который переведена шкала.^[5] Однако существуют исследования, которые не смогли доказать существенного влияния масштабного перевода на полученные результаты.^[6]

В способах получения рейтингов MOS присутствует несколько других предубеждений.^[7] В дополнение к вышеупомянутым проблемам со шкалами, которые воспринимаются нелинейно, существует так называемая «систематическая ошибка выравнивания диапазона»: испытуемые в ходе субъективного эксперимента, как правило, выставляют оценки, охватывающие всю шкалу оценок. . Это делает невозможным сравнение двух разных субъективных тестов, если диапазон представленного качества различается. Другими словами, МОП никогда не является абсолютным показателем качества, а только относительно теста, в котором он был приобретен.

По указанным выше причинам - и из-за ряда других контекстуальных факторов, влияющих на воспринимаемое качество в субъективном тесте - значение MOS следует сообщать только в том случае, если контекст, в котором были собраны значения, известен и также сообщается. Значения MOS, собранные из разных контекстов и дизайнов тестов, поэтому не следует сравнивать напрямую. Рекомендация ITU-T P.800.2 предписывает, как следует сообщать значения MOS. В частности, в P.800.2 говорится:

не имеет смысла напрямую сравнивать значения MOS, полученные в отдельных экспериментах, если только эти эксперименты не были специально разработаны для сравнения, и даже в этом случае данные должны быть статистически проанализированы, чтобы гарантировать, что такое сравнение является достоверным.

MOS для оценки качества речи и звука

MOS исторически происходит от субъективный измерения, при которых слушатели сидят в «тихой комнате» и оценивают качество телефонного разговора, как они его воспринимают. Этот вид методологии тестирования использовался в телефонной индустрии на протяжении десятилетий и был стандартизирован в ITU-T рекомендация P.800. В нем указано, что «говорящий должен находиться в тихом помещении с объемом от 30 до 120 м³ и временем реверберации менее 500 мс (предпочтительно в диапазоне 200–300 мс). Уровень шума в помещении должен быть ниже 30 дБА без каких-либо ограничений. доминирующие пики в спектре ". Требования для других условий аналогичным образом были указаны в рекомендациях МСЭ позже.

Оценка MOS с использованием моделей качества

Получение рейтингов MOS может занять много времени и дорого, так как требует привлечения экспертов-людей. Для различных случаев использования, таких как разработка кодеков или мониторинг качества услуг, когда качество должно оцениваться многократно и автоматически, оценки MOS также могут быть спрогнозированы с помощью объективные модели качества, которые обычно разрабатываются и обучаются с использованием человеческих оценок MOS. Вопрос, который возникает при использовании таких моделей, заключается в том, заметны ли для пользователей создаваемые различия MOS. Например, при оценке изображений по пятибалльной шкале MOS изображение с MOS, равным 5, будет заметно лучше по качеству, чем изображение с MOS, равным 1. В противоположность этому не очевидно, имеет ли изображение с MOS, равным 1. MOS, равная 3,8, заметно лучше по качеству, чем MOS, равная 3,6. Исследование, проведенное для определения наименьшей разницы MOS, которая может быть воспринята пользователями для цифровых фотографий, показало, что разница MOS приблизительно 0,46 требуется для того, чтобы 75% пользователей могли обнаружить изображение более высокого качества. ^[8] Тем не менее, ожидаемое качество изображения и, следовательно, MOS, со временем меняется с изменением ожиданий пользователей. В результате минимальные заметные различия MOS, определенные с использованием аналитических методов, таких как ^[8] может измениться со временем.

Смотрите также

использованная литература

^ Рек. МСЭ-Т. P.10 (2006) Словарь по производительности и качеству обслуживания.
^ Huynh-Thu, Q .; Гарсия, М. Н .; Speranza, F .; Corriveau, P .; Рааке, А. (01.03.2011). «Исследование рейтинговых шкал для субъективной оценки качества видео высокой четкости». IEEE Transactions on Broadcasting. 57 (1): 1–14. Дои:10.1109 / TBC.2010.2086750. ISSN 0018-9316.
^ Хосфельд, Тобиас; Heegaard, Poul E .; Варела, Мартин; Мёллер, Себастьян (01.12.2016). «QoE за пределами MOS: углубленный взгляд на QoE через улучшенные показатели и их связь с MOS». Качество и пользовательский опыт. 1 (1): 2. arXiv:1607.00321. Дои:10.1007 / s41233-016-0002-1. ISSN 2366-0139.
^ Джеймисон, Сьюзен. «Шкалы Лайкерта: как их использовать». Медицинское образование 38.12 (2004): 1217-1218.
^ Штрейл, Роберт С., Стефан Винклер и Дэвид С. Хендс. «Пересмотренная средняя оценка мнения (MOS): методы и применения, ограничения и альтернативы». Мультимедийные системы 22.2 (2016): 213-227.
^ Пинсон, М. Х .; Яновский, Л .; Pepion, R .; Huynh-Thu, Q .; Schmidmer, C .; Corriveau, P .; Юнкин, А .; Callet, P. Le; Барковский, М. (октябрь 2012 г.). «Влияние субъектов и окружающей среды на аудиовизуальные субъективные тесты: международное исследование» (PDF). Журнал IEEE по избранным темам в обработке сигналов. 6 (6): 640–651. Дои:10.1109 / jstsp.2012.2215306. ISSN 1932-4553.
^ Зелински, Славомир, Фрэнсис Рамси и Сорен Бех. «О некоторых предубеждениях, встречающихся в современных тестах прослушивания качества звука - обзор». Журнал Общества инженеров аудио 56.6 (2008): 427-451.
^ ^а ^б Katsigiannis, S .; Scovell, J.N .; Рамзан, Н .; Яновский, Л .; Corriveau, P .; Саад, М .; Ван Валлендель, Г. (2 мая 2018 г.). «Когда пользователи могут увидеть разницу при интерпретации оценок MOS? Понимание различий в пользовательском опыте в отношении качества фотографий». Качество и пользовательский опыт. 3 (1): 6. Дои:10.1007 / s41233-018-0019-8. HDL:1854 / LU-8581457. ISSN 2366-0139.

[1] Рек. МСЭ-Т. P.10 (2006) Словарь по производительности и качеству обслуживания.

[2] Huynh-Thu, Q .; Гарсия, М. Н .; Speranza, F .; Corriveau, P .; Рааке, А. (01.03.2011). «Исследование рейтинговых шкал для субъективной оценки качества видео высокой четкости». IEEE Transactions on Broadcasting. 57 (1): 1–14. Дои:10.1109 / TBC.2010.2086750. ISSN 0018-9316.

[3] Хосфельд, Тобиас; Heegaard, Poul E .; Варела, Мартин; Мёллер, Себастьян (01.12.2016). «QoE за пределами MOS: углубленный взгляд на QoE через улучшенные показатели и их связь с MOS». Качество и пользовательский опыт. 1 (1): 2. arXiv:1607.00321. Дои:10.1007 / s41233-016-0002-1. ISSN 2366-0139.

[4] Джеймисон, Сьюзен. «Шкалы Лайкерта: как их использовать». Медицинское образование 38.12 (2004): 1217-1218.

[5] Штрейл, Роберт С., Стефан Винклер и Дэвид С. Хендс. «Пересмотренная средняя оценка мнения (MOS): методы и применения, ограничения и альтернативы». Мультимедийные системы 22.2 (2016): 213-227.

[6] Пинсон, М. Х .; Яновский, Л .; Pepion, R .; Huynh-Thu, Q .; Schmidmer, C .; Corriveau, P .; Юнкин, А .; Callet, P. Le; Барковский, М. (октябрь 2012 г.). «Влияние субъектов и окружающей среды на аудиовизуальные субъективные тесты: международное исследование» (PDF). Журнал IEEE по избранным темам в обработке сигналов. 6 (6): 640–651. Дои:10.1109 / jstsp.2012.2215306. ISSN 1932-4553.

[7] Зелински, Славомир, Фрэнсис Рамси и Сорен Бех. «О некоторых предубеждениях, встречающихся в современных тестах прослушивания качества звука - обзор». Журнал Общества инженеров аудио 56.6 (2008): 427-451.

[interpretMOS-8] а ^б Katsigiannis, S .; Scovell, J.N .; Рамзан, Н .; Яновский, Л .; Corriveau, P .; Саад, М .; Ван Валлендель, Г. (2 мая 2018 г.). «Когда пользователи могут увидеть разницу при интерпретации оценок MOS? Понимание различий в пользовательском опыте в отношении качества фотографий». Качество и пользовательский опыт. 3 (1): 6. Дои:10.1007 / s41233-018-0019-8. HDL:1854 / LU-8581457. ISSN 2366-0139.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]