Универсальная оценка IR - Universal IR Evaluation
 | Эта статья нужны дополнительные цитаты для проверка. (Апрель 2011 г.) (Узнайте, как и когда удалить этот шаблон сообщения) |
В Информатика, Универсальная оценка IR (оценка поиска информации ) направлена на разработку показателей эффективности поиска в базе данных, которые должны быть сопоставимы для всех задач поиска информации.
Меры «релевантности»
IR (информационный поиск) оценка начинается, когда пользователь отправляет запрос (поисковый запрос) в база данных. Если пользователь может определить актуальность каждого документа в базе данных (релевантного или нерелевантного), то для каждого запроса полный набор документов естественным образом делится на четыре отдельных (взаимоисключающих) подмножества: извлекаемые релевантные документы, извлекаемые нерелевантные документы, релевантные документы которые не извлекаются, и нерелевантные документы, которые не извлекаются. Эти четыре подмножества (документов) обозначаются буквами a, b, c, d соответственно и называются переменными Swets, названными в честь их изобретателя.[1]
В дополнение к определениям Swets также были определены четыре показателя релевантности: Точность относится к части извлекаемых релевантных документов (a / (a + b)), и Отзывать относится к части найденных релевантных документов (a / (a + c)). Это наиболее часто используемые и хорошо известные показатели релевантности, которые можно найти в литературе по оценке IR. Две менее часто используемые метрики включают Fallout, то есть долю извлеченных нерелевантных документов (b / (b + d)), и Miss, которая относится к части релевантных документов, которые не были извлечены (c / ( c + d)) во время любого данного поиска.
Универсальные методы оценки IR
Универсальная оценка IR обращается к математическим возможностям и взаимосвязям между четырьмя метриками релевантности: «Точность», «Отзыв», «Неудача» и «Мисс», обозначенные буквами P, R, F и M соответственно. Один из аспектов проблемы заключается в нахождении математического вывода полного набора универсальных точек оценки IR.[2] Полный набор из 16 точек, каждая из которых является четверкой формы (P, R, F, M), описывает все возможные универсальные результаты IR. Например, многие из нас имели опыт запросов к базе данных и вообще не получали никаких документов. В этом случае точность примет неопределенную форму 0/0, возврат и выпадение будут равны нулю, а промах будет любым значением больше нуля и меньше единицы (при условии, что сочетание релевантных и нерелевантных документов было в базе данных, ни одна из которых не была получена). Таким образом, эта универсальная точка оценки IR будет обозначена (0/0, 0, 0, M), что представляет собой только один из 16 возможных универсальных результатов IR.
Математика универсальной оценки IR - довольно новый предмет, поскольку показатели релевантности P, R, F, M не анализировались коллективно до недавнего времени (в течение последнего десятилетия). Многие теоретические работы уже сформулированы, но новые идеи в этой области ждут своих открытий. Для подробного математического анализа запрос в ScienceDirect База данных для "универсальной оценки IR" находит несколько релевантных рецензируемых статей.