Меры оценки (поиск информации) - Evaluation measures (information retrieval)

Меры оценки для информационно-поисковая система используются для оценки того, насколько хорошо результаты поиска удовлетворяют намерению пользователя. Такие метрики часто делятся на виды: онлайн-метрики оценивают взаимодействие пользователей с поисковой системой, офлайн-метрики измеряют релевантность, другими словами, насколько вероятен каждый результат, или страница результатов поисковой системы (SERP) страница в целом предназначена для удовлетворения информационных потребностей пользователя.

Обозначение

Математические символы, используемые в формулах ниже, означают:

${ Displaystyle X cap Y}$ - Пересечение - в этом случае указание документов в и то и другое устанавливает X и Y
${ displaystyle | X |}$ - Мощность - в данном случае количество документов в комплекте X
${ displaystyle int}$ - интеграл
${ displaystyle sum}$ - Суммирование
${ displaystyle Delta}$ - Симметричная разница

Онлайн-показатели

Онлайн-показатели обычно создаются из журналов поиска. Метрики часто используются для определения успеха A / B тест.

Коэффициент прерывания сеанса

Коэффициент прерывания сеанса - это отношение поисковых сеансов, не завершившихся кликом.

CTR

CTR (CTR) - это отношение пользователей, которые нажимают на определенную ссылку, к общему количеству пользователей, просматривающих страницу, электронную почту или рекламу. Обычно его используют для измерения успеха он-лайн реклама кампании для конкретного веб-сайта, а также эффективность кампаний по электронной почте.^[1]

Коэффициент успешности сеанса

Коэффициент успешности сеанса измеряет соотношение пользовательских сеансов, которые привели к успеху. Определение «успеха» часто зависит от контекста, но для поиска успешный результат часто измеряется с помощью время пребывания в качестве основного фактора наряду с дополнительным взаимодействием с пользователем, например, пользователь, копирующий URL-адрес результата, считается успешным результатом, как и копирование / вставка из фрагмента.

Нулевой результат

Нулевой результат (ZRR) - это соотношение результатов выдачи с нулевым результатом. Показатель либо указывает на отзыв проблема или что искомая информация отсутствует в индексе.

Офлайн-показатели

Офлайн-метрики обычно создаются на сессиях оценки релевантности, на которых судьи оценивают качество результатов поиска. Для оценки каждого документа, возвращенного в ответ на запрос, могут использоваться как двоичные (релевантный / нерелевантный), так и многоуровневый (например, релевантность от 0 до 5) шкалы. На практике запросы могут быть некорректно, и могут быть разные оттенки актуальности. Например, в запросе «Марс» есть двусмысленность: судья не знает, ищет ли пользователь планету. Марс, то Марс плитка шоколада или певец Бруно Марс.

Точность

Точность - это доля извлеченных документов, соответствующие потребностям пользователя в информации.

{ displaystyle { mbox {precision}} = { frac {| {{ mbox {соответствующие документы}} } cap {{ mbox {полученные документы}} } |} {| {{ mbox {полученные документы}} } |}}}

В двоичная классификация, точность аналогична положительная прогностическая ценность. Точность учитывает все полученные документы. Его также можно оценить по заданному пороговому значению, учитывая только самые высокие результаты, возвращаемые системой. Эта мера называется точность на n или P @ n.

Обратите внимание, что значение и использование термина «точность» в области поиска информации отличается от определения термина тщательность и точность в других областях науки и статистика.

Отзыв

Отзыв - это часть документов, релевантных запросу, которые были успешно извлечены.

{ displaystyle { mbox {вспомнить}} = { frac {| {{ mbox {соответствующие документы}} } cap {{ mbox {полученные документы}} } |} {| {{ mbox {соответствующие документы}} } |}}}

В бинарной классификации отзыв часто называют чувствительность. Таким образом, это можно рассматривать как вероятность того, что соответствующий документ будет получен запросом.

Добиться 100% отзыва, вернув все документы в ответ на любой запрос, - тривиальная задача. Следовательно, одного отзыва недостаточно, необходимо также измерить количество нерелевантных документов, например, путем вычисления точности.

Выпадать

Доля извлеченных нерелевантных документов из всех имеющихся нерелевантных документов:

{ displaystyle { mbox {fall-out}} = { frac {| {{ mbox {нерелевантные документы}} } cap {{ mbox {извлеченные документы}} } |} {| {{ mbox {нерелевантные документы}} } |}}}

В бинарной классификации выпадение тесно связано с специфичность и равен ${ displaystyle (1 - { mbox {специфичность}})}$ . Это можно рассматривать как вероятность того, что нерелевантный документ будет получен запросом.

Достичь 0% потерь, возвращая ноль документов в ответ на любой запрос, - тривиальная задача.

F-оценка / F-мера

Взвешенный гармоническое среднее точности и запоминания, традиционная F-мера или сбалансированная F-оценка:

{ displaystyle F = { frac {2 cdot mathrm {precision} cdot mathrm {вспомнить}} {( mathrm {precision} + mathrm {вспомнить})}}}

Это также известно как ${ displaystyle F_ {1}}$ мера, потому что отзывчивость и точность равны.

Общая формула неотрицательного действительного ${ displaystyle beta}$ является:

{ displaystyle F _ { beta} = { frac {(1+ beta ^ {2}) cdot ( mathrm {precision} cdot mathrm {вспомнить})} {( beta ^ {2} cdot mathrm {precision} + mathrm {вспомнить})}} ,}

Двумя другими часто используемыми F-мерами являются ${ displaystyle F_ {2}}$ мера, весы напоминают вдвое больше точности, а ${ displaystyle F_ {0,5}}$ мера, которая вдвое превышает точность отзыва.

F-мера была получена ван Райсбергеном (1979) так, что ${ displaystyle F _ { beta}}$ "измеряет эффективность поиска по отношению к пользователю, который прикрепляет ${ displaystyle beta}$ в разы важнее точности ». Он основан на оценке эффективности ван Рейсбергена. ${ displaystyle E = 1 - { frac {1} {{ frac { alpha} {P}} + { frac {1- alpha} {R}}}}}$ . Их отношения таковы:

{ displaystyle F _ { beta} = 1-E}

где

{ displaystyle alpha = { frac {1} {1+ beta ^ {2}}}}

F-мера может быть лучшим единичным показателем по сравнению с точностью и полнотой; и точность, и отзыв дают разную информацию, которая в сочетании может дополнять друг друга. Если один из них превосходит другой, F-мера отразит это.^[2]

Средняя точность

Точность и отзыв - это однозначные метрики, основанные на всем списке документов, возвращаемых системой. Для систем, которые возвращают ранжированную последовательность документов, желательно также учитывать порядок, в котором представлены возвращенные документы. Вычисляя точность и отзыв в каждой позиции в ранжированной последовательности документов, можно построить кривую точности-отзыва, отображая точность ${ Displaystyle р (г)}$ как функция отзыва ${ displaystyle r}$ . Средняя точность вычисляет среднее значение ${ Displaystyle р (г)}$ в интервале от ${ displaystyle r = 0}$ к ${ displaystyle r = 1}$ :^[3]

{ displaystyle operatorname {AveP} = int _ {0} ^ {1} p (r) dr}

Это область под кривой точности-отзыва. Этот интеграл на практике заменяется конечной суммой по каждой позиции в ранжированной последовательности документов:

{ Displaystyle OperatorName {AveP} = sum _ {k = 1} ^ {n} P (k) Delta r (k)}

где ${ displaystyle k}$ ранг в последовательности извлеченных документов, ${ displaystyle n}$ количество извлеченных документов, ${ Displaystyle P (k)}$ точность при отсечении ${ displaystyle k}$ в списке и ${ displaystyle Delta r (k)}$ изменение количества отзывов ${ displaystyle k-1}$ к ${ displaystyle k}$ .^[3]

Эта конечная сумма эквивалентна:

{ displaystyle operatorname {AveP} = { frac { sum _ {k = 1} ^ {n} (P (k) times operatorname {rel} (k))} { mbox {количество соответствующих документов }}} !}

где ${ displaystyle operatorname {rel} (k)}$ - индикаторная функция, равная 1, если элемент в ранге ${ displaystyle k}$ - соответствующий документ, в противном случае - ноль.^[4] Обратите внимание, что среднее значение для всех релевантных документов, и релевантные не извлеченные документы получают нулевую оценку точности.

Некоторые авторы предпочитают интерполировать ${ Displaystyle р (г)}$ функция для уменьшения влияния "покачиваний" на кривой.^[5]^[6] Например, испытание PASCAL Visual Object Classes (эталон для обнаружения объектов компьютерного зрения) до 2010 г.^[7] вычислил среднюю точность путем усреднения точности по набору равномерно распределенных уровней отзыва {0, 0,1, 0,2, ... 1,0}:^[5]^[6]

{ displaystyle operatorname {AveP} = { frac {1} {11}} sum _ {r in {0,0.1, ldots, 1.0 }} p _ { operatorname {interp}} (r) }

где ${ displaystyle p _ { operatorname {interp}} (r)}$ - это интерполированная точность, которая требует максимальной точности для всех повторных вызовов, превышающей ${ displaystyle r}$ :

{ displaystyle p _ { operatorname {interp}} (r) = operatorname {max} _ {{ tilde {r}}: { tilde {r}} geq r} p ({ tilde {r}} )}

.

Альтернативой является получение аналитического ${ Displaystyle р (г)}$ функция, предполагая конкретное параметрическое распределение для основных значений решения. Например, бинормальная кривая точности-отзыва можно получить, если предположить, что значения решения в обоих классах соответствуют распределению Гаусса.^[8]

Точность при K

Для современного поиска информации (в масштабе сети) отзыв больше не является значимой метрикой, поскольку многие запросы содержат тысячи релевантных документов, и немногие пользователи будут заинтересованы в их чтении. Точность at k документов (P @ k) по-прежнему является полезным показателем (например, P @ 10 или «Точность 10» соответствует количеству релевантных результатов среди 10 лучших документов), но не учитывает позиции соответствующих документы среди топ-к.^[9] Другой недостаток заключается в том, что по запросу с меньшим количеством релевантных результатов, чем k, даже идеальная система будет иметь оценку меньше 1.^[10] Легче подсчитать баллы вручную, так как необходимо изучить только первые k результатов, чтобы определить, актуальны они или нет.

R-точность

R-точность требует знания всех документов, относящихся к запросу. Количество соответствующих документов, ${ displaystyle R}$ , используется в качестве порогового значения для расчета, и это варьируется от запроса к запросу. Например, если в корпусе 15 документов, относящихся к «красному» (R = 15), R-точность для «красного» смотрит на первые 15 возвращенных документов, подсчитывает количество релевантных ${ displaystyle r}$ превращает это в долю релевантности: ${ displaystyle r / R = r / 15}$ .^[11]

Точность равна напоминанию на р-я позиция.^[10]

Эмпирически этот показатель часто сильно коррелирует со средней точностью.^[10]

Средняя средняя точность

Средняя средняя точность для набора запросов - это среднее значение средней точности для каждого запроса.

{ displaystyle operatorname {MAP} = { frac { sum _ {q = 1} ^ {Q} operatorname {AveP (q)}} {Q}} !}

где Q количество запросов.

Дисконтированная совокупная прибыль

Терминология и производные
из матрица путаницы
положительное состояние (P) количество реальных положительных случаев в данных условие отрицательное (N) количество реальных отрицательных случаев в данных истинно положительный (TP) экв. с хитом истинно отрицательный (TN) экв. с правильным отклонением ложное срабатывание (FP) экв. с участием ложная тревога, Ошибка типа I ложноотрицательный (FN) экв. с мисс, Ошибка типа II чувствительность, отзыв, частота попаданий, или истинно положительная ставка (TPR) ${ displaystyle mathrm {TPR} = { frac { mathrm {TP}} { mathrm {P}}} = { frac { mathrm {TP}} { mathrm {TP} + mathrm {FN} }} = 1- mathrm {FNR}}$ специфичность, избирательность или истинно отрицательная ставка (TNR) ${ displaystyle mathrm {TNR} = { frac { mathrm {TN}} { mathrm {N}}} = { frac { mathrm {TN}} { mathrm {TN} + mathrm {FP} }} = 1- mathrm {FPR}}$ точность или положительная прогностическая ценность (PPV) ${ Displaystyle mathrm {PPV} = { frac { mathrm {TP}} { mathrm {TP} + mathrm {FP}}} = 1- mathrm {FDR}}$ отрицательная прогностическая ценность (ЧПС) ${ displaystyle mathrm {NPV} = { frac { mathrm {TN}} { mathrm {TN} + mathrm {FN}}} = 1- mathrm {FOR}}$ рейтинг промахов или ложноотрицательная ставка (FNR) ${ displaystyle mathrm {FNR} = { frac { mathrm {FN}} { mathrm {P}}} = { frac { mathrm {FN}} { mathrm {FN} + mathrm {TP} }} = 1- mathrm {TPR}}$ выпадать или ложноположительный рейтинг (FPR) ${ displaystyle mathrm {FPR} = { frac { mathrm {FP}} { mathrm {N}}} = { frac { mathrm {FP}} { mathrm {FP} + mathrm {TN} }} = 1- mathrm {TNR}}$ коэффициент ложного обнаружения (FDR) ${ Displaystyle mathrm {FDR} = { frac { mathrm {FP}} { mathrm {FP} + mathrm {TP}}} = 1- mathrm {PPV}}$ коэффициент ложных пропусков (ДЛЯ) ${ displaystyle mathrm {FOR} = { frac { mathrm {FN}} { mathrm {FN} + mathrm {TN}}} = 1- mathrm {NPV}}$ Порог распространенности (PT) ${ displaystyle PT = { frac {{ sqrt {TPR (-TNR + 1)}} + TNR-1} {(TPR + TNR-1)}}}$ Оценка угрозы (TS) или индекс критического успеха (CSI) ${ displaystyle mathrm {TS} = { frac { mathrm {TP}} { mathrm {TP} + mathrm {FN} + mathrm {FP}}}}$ точность (АКК) ${ displaystyle mathrm {ACC} = { frac { mathrm {TP} + mathrm {TN}} { mathrm {P} + mathrm {N}}} = { frac { mathrm {TP} + mathrm {TN}} { mathrm {TP} + mathrm {TN} + mathrm {FP} + mathrm {FN}}}}$ сбалансированная точность (BA) ${ displaystyle mathrm {BA} = { frac {TPR + TNR} {2}}}$ Оценка F1 это гармоническое среднее из точность и чувствительность ${ displaystyle mathrm {F} _ {1} = 2 cdot { frac { mathrm {PPV} cdot mathrm {TPR}} { mathrm {PPV} + mathrm {TPR}}} = { гидроразрыв {2 mathrm {TP}} {2 mathrm {TP} + mathrm {FP} + mathrm {FN}}}}$ Коэффициент корреляции Мэтьюза (MCC) ${ displaystyle mathrm {MCC} = { frac { mathrm {TP} times mathrm {TN} - mathrm {FP} times mathrm {FN}} { sqrt {( mathrm {TP} + mathrm {FP}) ( mathrm {TP} + mathrm {FN}) ( mathrm {TN} + mathrm {FP}) ( mathrm {TN} + mathrm {FN})}}}}$ Индекс Фаулкса – Маллоуса (FM) ${ displaystyle mathrm {FM} = { sqrt {{ frac {TP} {TP + FP}} cdot { frac {TP} {TP + FN}}}} = { sqrt {PPV cdot TPR }}}$ информированность или букмекерской конторы (BM) ${ Displaystyle mathrm {BM} = mathrm {TPR} + mathrm {TNR} -1}$ отмеченность (МК) или deltaP ${ Displaystyle mathrm {MK} = mathrm {PPV} + mathrm {NPV} -1}$ Источники: Fawcett (2006),^[12] Полномочия (2011),^[13] Тинг (2011),^[14] CAWCR,^[15] Д. Чикко и Г. Джурман (2020),^[16] Тарват (2018).^[17]

DCG использует градуированную шкалу релевантности документов из набора результатов для оценки полезности или выгоды документа на основе его положения в списке результатов. Предпосылка DCG заключается в том, что высокорелевантные документы, появляющиеся ниже в списке результатов поиска, должны подвергаться штрафу, поскольку оцененное значение релевантности уменьшается логарифмически пропорционально позиции результата.

DCG накапливается на определенной позиции ранга ${ displaystyle p}$ определяется как:

{ displaystyle mathrm {DCG_ {p}} = sum _ {i = 1} ^ {p} { frac {rel_ {i}} { log _ {2} (i + 1)}}.}

Поскольку набор результатов может различаться по размеру для разных запросов или систем, для сравнения производительности нормализованная версия DCG использует идеальную DCG. С этой целью он сортирует документы списка результатов по релевантности, создавая идеальную DCG в позиции p ( ${ displaystyle IDCG_ {p}}$ ), который нормализует счет:

{ displaystyle mathrm {nDCG_ {p}} = { frac {DCG_ {p}} {IDCG {p}}}.}

Значения nDCG для всех запросов можно усреднить, чтобы получить меру средней производительности алгоритма ранжирования. Обратите внимание, что в идеальном алгоритме ранжирования ${ displaystyle DCG_ {p}}$ будет таким же, как ${ displaystyle IDCG_ {p}}$ производя nDCG 1.0. Тогда все вычисления nDCG являются относительными значениями в интервале от 0,0 до 1,0 и, таким образом, сопоставимы с перекрестными запросами.

Прочие меры

Средний взаимный ранг
Коэффициент ранговой корреляции Спирмена
bpref - основанная на суммировании мера того, сколько релевантных документов ранжируется перед нерелевантными.^[11]
GMAP - среднее геометрическое (по теме) средней точности^[11]
Меры, основанные на маргинальной релевантности и разнообразии документов - см. Актуальность (информационный поиск) § Проблемы и альтернативы
Меры релевантности и достоверности (для фейковых новостей в результатах поиска)^[18]

Визуализация

Визуализации эффективности поиска информации включают:

Графики, отображающие точность по одной оси и повторяющиеся по другой^[11]
Гистограммы средней точности по разным темам^[11]
Рабочая характеристика приемника (Кривая ROC)
Матрица путаницы

Неметрики

Список самых популярных запросов

Лучшие запросы - это самые частые запросы за фиксированный промежуток времени. Список самых популярных запросов помогает узнать стиль запросов, вводимых пользователями.

Показатели нерелевантности

Запросов за раз

Измерение количества запросов, выполняемых поисковой системой за (месяц / день / час / минута / сек), позволяет отслеживать использование поисковой системы. Его можно использовать для диагностики, чтобы указать на неожиданный всплеск запросов, или просто в качестве базового показателя при сравнении с другими показателями, такими как задержка запроса. Например, всплеск трафика запросов может использоваться для объяснения всплеска задержки запроса.

Смотрите также

использованная литература

^ Американская маркетинговая ассоциация Толковый словарь. [1] Проверено 2 ноября 2012. В Совет по стандартам маркетинговой отчетности (MASB) одобряет это определение как часть своего постоянного Общий язык в маркетинговом проекте.
^ Пауэрс, D.M.W (2011). «ОЦЕНКА: ОТ ТОЧНОСТИ, ОТЗЫВА И F-ИЗМЕРЕНИЯ К ROC, ИНФОРМИРОВАНИЮ, ЗНАЧЕНИЮ И КОРРЕЛЯЦИИ» (PDF). Журнал технологий машинного обучения. 2, 1: 37–63.
^ ^а ^б Чжу, Му (2004). «Отзыв, точность и средняя точность» (PDF). Архивировано из оригинал (PDF) на 2011-05-04. Цитировать журнал требует | журнал = (Помогите)
^ Терпин, Эндрю; Шолер, Фальк (2006). Эффективность пользователя в сравнении с показателями точности для простых поисковых задач. Материалы 29-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска (Сиэтл, Вашингтон, 06–11 августа 2006 г.). Нью-Йорк, штат Нью-Йорк: ACM. стр.11–18. CiteSeerX 10.1.1.533.4100. Дои:10.1145/1148170.1148176. ISBN 978-1-59593-369-0. S2CID 9810253.
^ ^а ^б Эверингем, Марк; Ван Гул, Люк; Уильямс, Кристофер К. И .; Винн, Джон; Зиссерман, Андрей (июнь 2010 г.). «Задача PASCAL Visual Object Classes (VOC) Challenge» (PDF). Международный журнал компьютерного зрения. 88 (2): 303–338. Дои:10.1007 / s11263-009-0275-4. S2CID 4246903. Архивировано из оригинал (PDF) на 2011-11-20. Получено 2011-08-29.
^ ^а ^б Мэннинг, Кристофер Д.; Рагхаван, Прабхакар; Шютце, Хинрих (2008). Введение в поиск информации. Издательство Кембриджского университета.
^ "Набор для разработки PASCAL Visual Object Classes Challenge 2012 (VOC2012)". host.robots.ox.ac.uk. Получено 2019-03-23.
^ К.Х. Бродерсен, К.С. Онг, К.Е. Стефан, Дж.М. Бухманн (2010). Предположение бинормальности на кривых точности-отзыва В архиве 8 декабря 2012 г. Wayback Machine. Материалы 20-й Международной конференции по распознаванию образов., 4263-4266.
^ Калерво, Ирвелин (2017). «Методы оценки IR для поиска очень релевантных документов» (PDF). ACM SIGIR Форум. 51, 2: 243–250.
^ ^а ^б ^c Кристофер Д. Мэннинг; Прабхакар Рагхаван и Хинрих Шютце (2009). «Глава 8: Оценка при поиске информации» (PDF). Получено 2015-06-14. Часть Введение в поиск информации [2]
^ ^а ^б ^c ^d ^е http://trec.nist.gov/pubs/trec15/appendices/CE.MEASURES06.pdf
^ Фосетт, Том (2006). «Введение в ROC-анализ» (PDF). Письма с распознаванием образов. 27 (8): 861–874. Дои:10.1016 / j.patrec.2005.10.010.
^ Пауэрс, Дэвид М. В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции». Журнал технологий машинного обучения. 2 (1): 37–63.
^ Тинг, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри I (ред.). Энциклопедия машинного обучения. Springer. Дои:10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
^ Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Йонг; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ / РГЧЭ по исследованиям для проверки прогнозов». Сотрудничество в области исследований погоды и климата Австралии. Всемирная метеорологическая организация. Получено 2019-07-17.
^ Chicco D, Jurman G (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) над оценкой F1 и точность оценки бинарной классификации». BMC Genomics. 21 (1): 6-1–6-13. Дои:10.1186 / s12864-019-6413-7. ЧВК 6941312. PMID 31898477.
^ Тарват А. (август 2018 г.). «Классификационные методы оценки». Прикладные вычисления и информатика. Дои:10.1016 / j.aci.2018.08.003.
^ К. Лиома; Дж. Г. Симонсен; Б. Ларсен (2017). «Меры оценки релевантности и достоверности в рейтинговых списках» (PDF). Материалы Международной конференции ACM SIGIR по теории информационного поиска, 91-98.

[AMA-1] Американская маркетинговая ассоциация Толковый словарь. [1] Проверено 2 ноября 2012. В Совет по стандартам маркетинговой отчетности (MASB) одобряет это определение как часть своего постоянного Общий язык в маркетинговом проекте.

[2] Пауэрс, D.M.W (2011). «ОЦЕНКА: ОТ ТОЧНОСТИ, ОТЗЫВА И F-ИЗМЕРЕНИЯ К ROC, ИНФОРМИРОВАНИЮ, ЗНАЧЕНИЮ И КОРРЕЛЯЦИИ» (PDF). Журнал технологий машинного обучения. 2, 1: 37–63.

[zhu2004-3] а ^б Чжу, Му (2004). «Отзыв, точность и средняя точность» (PDF). Архивировано из оригинал (PDF) на 2011-05-04. Цитировать журнал требует | журнал = (Помогите)

[Turpin2006-4] Терпин, Эндрю; Шолер, Фальк (2006). Эффективность пользователя в сравнении с показателями точности для простых поисковых задач. Материалы 29-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска (Сиэтл, Вашингтон, 06–11 августа 2006 г.). Нью-Йорк, штат Нью-Йорк: ACM. стр.11–18. CiteSeerX 10.1.1.533.4100. Дои:10.1145/1148170.1148176. ISBN 978-1-59593-369-0. S2CID 9810253.

[voc2010-5] а ^б Эверингем, Марк; Ван Гул, Люк; Уильямс, Кристофер К. И .; Винн, Джон; Зиссерман, Андрей (июнь 2010 г.). «Задача PASCAL Visual Object Classes (VOC) Challenge» (PDF). Международный журнал компьютерного зрения. 88 (2): 303–338. Дои:10.1007 / s11263-009-0275-4. S2CID 4246903. Архивировано из оригинал (PDF) на 2011-11-20. Получено 2011-08-29.

[nlpbook-6] а ^б Мэннинг, Кристофер Д.; Рагхаван, Прабхакар; Шютце, Хинрих (2008). Введение в поиск информации. Издательство Кембриджского университета.

[7] "Набор для разработки PASCAL Visual Object Classes Challenge 2012 (VOC2012)". host.robots.ox.ac.uk. Получено 2019-03-23.

[8] К.Х. Бродерсен, К.С. Онг, К.Е. Стефан, Дж.М. Бухманн (2010). Предположение бинормальности на кривых точности-отзыва В архиве 8 декабря 2012 г. Wayback Machine. Материалы 20-й Международной конференции по распознаванию образов., 4263-4266.

[9] Калерво, Ирвелин (2017). «Методы оценки IR для поиска очень релевантных документов» (PDF). ACM SIGIR Форум. 51, 2: 243–250.

[stanford-10] а ^б ^c Кристофер Д. Мэннинг; Прабхакар Рагхаван и Хинрих Шютце (2009). «Глава 8: Оценка при поиске информации» (PDF). Получено 2015-06-14. Часть Введение в поиск информации [2]

[trec15-11] а ^б ^c ^d ^е http://trec.nist.gov/pubs/trec15/appendices/CE.MEASURES06.pdf

[12] Фосетт, Том (2006). «Введение в ROC-анализ» (PDF). Письма с распознаванием образов. 27 (8): 861–874. Дои:10.1016 / j.patrec.2005.10.010.

[13] Пауэрс, Дэвид М. В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции». Журнал технологий машинного обучения. 2 (1): 37–63.

[14] Тинг, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри I (ред.). Энциклопедия машинного обучения. Springer. Дои:10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.

[15] Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Йонг; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ / РГЧЭ по исследованиям для проверки прогнозов». Сотрудничество в области исследований погоды и климата Австралии. Всемирная метеорологическая организация. Получено 2019-07-17.

[16] Chicco D, Jurman G (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) над оценкой F1 и точность оценки бинарной классификации». BMC Genomics. 21 (1): 6-1–6-13. Дои:10.1186 / s12864-019-6413-7. ЧВК 6941312. PMID 31898477.

[17] Тарват А. (август 2018 г.). «Классификационные методы оценки». Прикладные вычисления и информатика. Дои:10.1016 / j.aci.2018.08.003.

[ictir17-18] К. Лиома; Дж. Г. Симонсен; Б. Ларсен (2017). «Меры оценки релевантности и достоверности в рейтинговых списках» (PDF). Материалы Международной конференции ACM SIGIR по теории информационного поиска, 91-98.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]