Средний взаимный ранг - Mean reciprocal rank

Эта статья нужны дополнительные цитаты для проверка. Пожалуйста помоги улучшить эту статью к добавление цитат в надежные источники. Материал, не полученный от источника, может быть оспорен и удален Найдите источники: «Средний взаимный ранг»  – Новости  · газеты  · книги  · ученый  · JSTOR (Июнь 2007 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

В средний взаимный ранг это статистика мера для оценки любого процесса, который создает список возможных ответов на выборку запросов, упорядоченных по вероятности правильности. Обратный ранг ответа на запрос - это мультипликативный обратный ранга первого правильного ответа: 1 за первое место,¹⁄₂ за второе место,¹⁄₃ за третье место и так далее. Средний взаимный ранг - это среднее значение взаимных рангов результатов для выборки запросов Q:^[1][2]

${ displaystyle { text {MRR}} = { frac {1} {| Q |}} sum _ {i = 1} ^ {| Q |} { frac {1} {{ text {rank} }_{я}}}.!}$

куда ${ displaystyle { text {rank}} _ {i}}$ относится к ранговому положению первый соответствующий документ для я-й запрос.

Обратное значение среднего обратного ранга соответствует гармоническое среднее рангов.

Пример

Например, предположим, что у нас есть следующие три примера запроса для системы, которая пытается перевести английские слова во множественное число. В каждом случае система делает три предположения, первая из которых, по ее мнению, наиболее верна:

Учитывая эти три образца, мы могли бы вычислить средний обратный ранг как (1/3 + 1/2 + 1) / 3 = 11/18 или около 0,61.

Если ни один из предложенных результатов не верен, обратный ранг равен 0.^[1] Обратите внимание, что учитывается только ранг первого релевантного ответа, возможные дальнейшие релевантные ответы игнорируются. Если пользователей также интересуют другие соответствующие элементы, средняя средняя точность - потенциальная альтернативная метрика.

Смотрите также

• Поиск информации
• Ответ на вопрос

Рекомендации