ABX тест - ABX test

An ABX тест представляет собой метод сравнения двух вариантов сенсорных стимулов для выявления различий между ними. Субъекту представлены два известных образца (образец А, первая ссылка и образец B, вторая ссылка), за которым следует один неизвестный образец Икс который выбирается случайным образом из A или B. Затем испытуемый должен идентифицировать X как A или B. Если X не может быть надежно идентифицирован с низким p-значение в заранее определенном количестве испытаний, затем нулевая гипотеза не могут быть отклонены, и нельзя доказать, что существует ощутимая разница между A и B.

ABX-тесты могут быть легко выполнены как двойные слепые испытания, исключая любое возможное бессознательное влияние со стороны исследователя или руководителя тестирования. Поскольку выборки A и B предоставляются непосредственно перед выборкой X, различие не должно определяться на основании предположений, основанных на долговременной памяти или прошлом опыте. Таким образом, тест ABX дает ответ на вопрос, можно ли при идеальных обстоятельствах обнаружить разницу в восприятии.

Тесты ABX обычно используются при оценке цифровых сжатие аудиоданных методы; сэмпл A обычно является несжатым сэмплом, а сэмпл B - сжатой версией A. Audible артефакты сжатия которые указывают на недостаток алгоритма сжатия, могут быть выявлены при последующем тестировании. ABX-тесты также могут использоваться для сравнения различных степеней потери точности между двумя разными аудиоформатами при заданном битрейт.

Тесты ABX можно использовать для прослушивания компонентов ввода, обработки и вывода, а также кабельной разводки: практически любой аудиопродукт или прототип.

История

История тестирования и присвоения имен ABX восходит к 1950 году в статье, опубликованной двумя исследователями Bell Labs, У. А. Мансоном и Марком Б. Гарднером, под названием Стандартизация слуховых тестов.^[1]

Целью данной статьи является описание процедуры тестирования, которая показала себя многообещающей в этом направлении, и описание оборудования, которое было признано полезным для минимизации изменчивости результатов тестирования. Процедура, которую мы назвали тестом «ABX», является модификацией метода парных сравнений. Наблюдателю предоставляется временная последовательность из трех сигналов для каждого суждения, которое его просят сделать. В течение первого интервала времени он слышит сигнал A, во время второго - сигнал B и, наконец, сигнал X. Его задача состоит в том, чтобы указать, был ли звук, услышанный во время интервала X, больше похож на звук во время интервала A или более похож на звук во время B интервал. Для порогового теста интервал A - тихий, интервал B - сигнал, а интервал X - тихий или сигнальный.

Тест превратился в другие варианты, такие как контроль субъекта над продолжительностью и последовательностью тестирования. Одним из таких примеров был аппаратный компаратор ABX в 1977 году, построенный компанией ABX в Трое, штат Мичиган, и задокументированный одним из ее основателей Дэвидом Кларком.^[2]

Усовершенствования A / B-теста
Первый опыт автора с двойным слепым тестом слышимости был в качестве члена SMWTMS Audio Club в начале 1977 года. Была предусмотрена кнопка, которая выбирала случайным образом компонент A или B. имея известные A и B, доступные для справки.
Это было исправлено с помощью трех связанных кнопок: A, B и X. После выбора X он останется тем конкретным A или B до тех пор, пока не будет решено перейти к другому случайному выбору.
Однако вскоре стала очевидной другая проблема. При переключении с A на B всегда была слышимая задержка времени перехода реле. Однако при переключении с A на X задержка по времени отсутствовала бы, если бы X действительно был A, и присутствовал бы, если бы X был действительно B. Этот посторонний сигнал был удален с помощью вставка фиксированного времени отключения при любых изменениях. Время отключения было выбрано равным 50 мс, что дает легкий последовательный щелчок, позволяя при этом субъективно мгновенное сравнение.

Компания ABX в настоящее время более не существует, а аппаратные компараторы в целом прекратили свое существование. Существует множество программных инструментов, таких как плагин Foobar ABX для сравнения файлов. Но тестирование аппаратного оборудования требует создания индивидуальных реализаций.

Аппаратные тесты

Два QSC Компараторы ABX в дорожной стойке

Испытательное оборудование ABX, использующее реле для переключения между двумя разными аппаратными путями, может помочь определить, есть ли различия в восприятии кабелей и компонентов. Можно сравнить пути передачи видео, звука и цифрового сигнала. Если переключение управляется микропроцессором, возможны двойные слепые испытания.

Уровень громкоговорителя и линейный уровень звука можно было сравнить на тестовом устройстве ABX, предлагаемом для продажи как Компаратор ABX к Аудио продукты QSC с 1998 по 2004 год. Другие аппаратные решения были изготовлены частными лицами или организациями для внутреннего тестирования.

Уверенность

Если бы было выполнено только одно испытание ABX, случайное угадывание повлекло бы за собой 50% -ный шанс выбора правильного ответа, как при подбрасывании монеты. Чтобы сделать заявление, имеющее некоторую степень уверенность, необходимо провести много испытаний. Увеличивая количество испытаний, вероятность статистического подтверждения способности человека различать A и B увеличивается для данного уровня достоверности. Обычно считается 95% доверительный уровень статистически значимый.^[2] Компания QSC в руководстве пользователя ABX Comparator рекомендовала как минимум десять прослушиваний в каждом раунде тестов.^[3]

Результаты, необходимые для уровня достоверности 95%^[4] (видеть: P-значение )
Количество испытаний	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24	25
Минимальное количество правильное	9	9	10	10	11	12	12	13	13	14	15	15	16	16	17	18

QSC рекомендовал провести не более 25 испытаний, поскольку субъект может утомиться, что сделает тест менее чувствительным (с меньшей вероятностью покажет реальную способность различать разницу между A и B).^[3] Однако более чувствительный тест может быть получен объединение результаты ряда таких тестов с участием отдельных лиц или тестов с одним и тем же субъектом, проведенных между перерывами на отдых. Для большого количества испытаний N значительный результат (один с достоверностью 95%) может быть заявлен, если количество правильных ответов превышает ${displaystyle N / 2 + {sqrt {N}}}$ . Важные решения обычно основываются на более высоком уровне уверенности, поскольку ошибочный «значительный результат» будет заявлен в одном из 20 таких тестов просто случайно.

Программные тесты

В foobar2000 и Amarok аудиоплееры поддерживают программное тестирование ABX, последнее с использованием стороннего скрипта. Lacinato ABX - это кроссплатформенный инструмент для тестирования звука для Linux, Windows и 64-битного Mac. Lacinato WebABX - это кроссбраузерный веб-инструмент ABX для аудио. Открытый исходный код aveX был в основном разработан для Linux который также обеспечивает тестовый мониторинг с удаленного компьютера. Патчер ABX - это реализация ABX для Макс / MSP. Дополнительное программное обеспечение ABX можно найти на заархивированном веб-сайте PCABX.

Тесты прослушивания кодеков

А тест прослушивания кодека это научный изучать предназначен для сравнения двух или более с потерями аудио кодеки, обычно в отношении воспринимаемого верность или эффективность сжатия.

Возможные недостатки

ABX - это тип вынужденный выбор тестирование. Выбор объекта может быть основан на его достоинствах, то есть субъект действительно честно пытался определить, кажется ли X ближе к A или B. Но незаинтересованные или усталые субъекты могут выбирать случайным образом, даже не пытаясь. Если его не поймают, это может ослабить результаты других субъектов, которые намеренно прошли тест, и повлиять на результат. Парадокс Симпсона, что приводит к ложным сводным результатам. Просто глядя на итоговые результаты теста (м снаружи п ответы правильные) не может выявить возникновение этой проблемы.

Эта проблема становится более острой, если различия невелики. Пользователь может расстроиться и просто попытаться завершить тест, проголосовав случайным образом. В этом отношении тесты принудительного выбора, такие как ABX, склонны отдавать предпочтение отрицательным результатам, когда различия невелики, если не используются надлежащие протоколы для защиты от этой проблемы.

Лучшие практики требуют как включения элементов управления, так и проверки субъектов:^[5]

Основное внимание уделяется включению соответствующих условий контроля. Как правило, условия контроля включают представление неискаженных аудиоматериалов, представленных непредсказуемыми для испытуемых способами. Именно различия между суждением об этих управляющих стимулах и потенциально нарушенных стимулах позволяют сделать вывод, что оценки являются фактическими оценками нарушений.

3.2.2 Пост-скрининг субъектов
Методы пост-скрининга можно грубо разделить как минимум на два класса; один основан на несоответствиях по сравнению со средним результатом, а другой основан на способности субъекта правильно идентифицировать. Первый класс никогда не оправдан. Всякий раз, когда проводится субъективный тест на слушание с использованием рекомендованного здесь метода тестирования, автоматически становится доступной необходимая информация для второго класса пост-скрининга. Предлагаемый статистический метод для этого описан в Приложении 1. '
Эти методы в основном используются для устранения субъектов, которые не могут проводить соответствующие различия. Применение метода пост-скрининга может прояснить тенденции в результатах теста. Однако, учитывая различную чувствительность субъектов к разным артефактам, следует проявлять осторожность.

К другим недостаткам можно отнести отсутствие предметной подготовки и ознакомления с выбранным тестом и содержанием:

4.1 Фаза ознакомления или обучения
Перед формальной оценкой испытуемые должны быть хорошо знакомы с тестовыми средствами, тестовой средой, процессом выставления оценок, шкалами оценок и методами их использования. Испытуемые также должны хорошо ознакомиться с исследуемыми артефактами. Что касается наиболее чувствительных тестов, они должны быть ознакомлены со всем материалом, который они будут оценивать позже на официальных сессиях выставления оценок. Во время ознакомления или обучения субъекты должны быть предпочтительно вместе в группах (скажем, состоящих из трех субъектов), чтобы они могли свободно взаимодействовать и обсуждать обнаруженные ими артефакты друг с другом.

Другие проблемы могут возникнуть из-за самого оборудования ABX, как отметил Кларк:^[2] где оборудование обеспечивает рассказать, позволяя субъекту идентифицировать источник. Непрозрачность крепления ABX создает аналогичные проблемы.

Поскольку слуховые тесты и многие другие сенсорные тесты полагаются на краткосрочная память, который длится всего несколько секунд, очень важно, чтобы тестовое устройство позволяло испытуемому определять короткие сегменты, которые можно было бы быстро сравнить. Точно так же должны быть устранены хлопки и сбои в коммутационном аппарате, так как они могут доминировать или иным образом мешать тестируемым стимулам в том, что хранится в кратковременной памяти субъекта.

Альтернативы

Оценка алгоритмического сжатия звука

Поскольку тестирование ABX требует людей для оценки аудиокодеков с потерями, оно требует много времени и затрат. Поэтому были разработаны более дешевые подходы, например PEAQ, который является реализацией ODG.

МУШРА

В МУШРА, субъекту предоставляется ссылка (обозначенная как таковая), определенное количество тестовых образцов, скрытая версия ссылки и один или несколько якорей. Шкала RATING от 0 до 100 позволяет оценить очень небольшие различия.

Тестирование на дискриминацию

Альтернативные общие методы используются в дискриминационное тестирование, например парное сравнение, дуэт – трио и проверка треугольника. Из них тестирование дуэтом – трио и треугольником особенно близко к тестированию ABX. Схематично:

Дуэт – трио: AXY - один известный, два неизвестных (один равен A, другой равен B), тест - какое неизвестное является известным: X = A (и Y = B), или Y = A (и X = B).
Треугольник: XXY - три неизвестных (два - A и один - B или один - A и два - B), тест, который является нечетным: Y = 1, Y = 2 или Y = 3.

В этом контексте тестирование ABX также известно как «дуэт – трио» в режиме «сбалансированного эталона» - оба известных значения представлены как ссылки, а не одно по отдельности.^[6]