F-оценка - Википедия - F-score

Точность и отзыв

В статистический анализ двоичная классификация, то F-оценка или же F-мера является мерой точности теста. Он рассчитывается из точность и отзывать теста, где точность - это количество правильно идентифицированных положительных результатов, деленное на количество всех положительных результатов, включая те, которые не были идентифицированы правильно, а отзыв - это количество правильно идентифицированных положительных результатов, деленное на количество всех образцов, которые должны быть были определены как положительные.

В F₁ оценка гармоническое среднее точности и отзыва. Более общий ${ displaystyle F _ { beta}}$ Score применяет дополнительные веса, оценивая точность или отзывчивость одного больше, чем другого.

Максимально возможное значение F-оценки равно 1, что указывает на безупречную точность и отзыв, а минимально возможное значение - 0, если точность или отзыв равны нулю. F₁ оценка также известна как Коэффициент Соренсена – Дайса или коэффициент подобия игральных костей (DSC).^{[нужна цитата ]}

Этимология

Считается, что название F-мера было названо в честь другой F-функции в книге Ван Рейсбергена, когда она была представлена ​​Четвертой Конференция по пониманию сообщений (MUC-4, 1992).^[1]

Определение

Эта секция нужны дополнительные цитаты для проверка. Пожалуйста помоги улучшить эту статью к добавление цитат в надежные источники. Материал, не полученный от источника, может быть оспорен и удален. (Декабрь 2018 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

Традиционная F-мера или сбалансированная F-оценка (F₁ счет) это гармоническое среднее точности и отзывчивости:

${ displaystyle F_ {1} = { frac {2} { mathrm {вспомнить} ^ {- 1} + mathrm {precision} ^ {- 1}}} = 2 cdot { frac { mathrm {precision } cdot mathrm {вспомнить}} { mathrm {precision} + mathrm {вспомнить}}} = { frac { mathrm {tp}} { mathrm {tp} + { frac {1} {2} } ( mathrm {fp} + mathrm {fn})}}}$.

${ displaystyle F _ { beta}}$

Более общая оценка F, ${ displaystyle F _ { beta}}$, который использует положительный действительный множитель β, где β выбирается таким образом, что отзыв считается в β раз важнее точности, составляет:

${ Displaystyle F _ { beta} = (1+ beta ^ {2}) cdot { frac { mathrm {precision} cdot mathrm {вспомнить}} {( beta ^ {2} cdot mathrm {precision}) + mathrm {вспомнить}}}}$.

С точки зрения Ошибки типа I и типа II это становится:

${ Displaystyle F _ { beta} = { frac {(1+ beta ^ {2}) cdot mathrm {true positive}} {(1+ beta ^ {2}) cdot mathrm {true положительный} + бета ^ {2} cdot mathrm {ложный отрицательный} + mathrm {ложный положительный}}} ,}$.

Два обычно используемых значения β: 2, что весит отзыв выше, чем точность, и 0,5, что вес отзыва ниже, чем точность.

F-мера была получена так, что ${ displaystyle F _ { beta}}$ «измеряет эффективность поиска по отношению к пользователю, который придает воспоминаниям в β раз большее значение, чем точность».^[2] Он основан на Ван Рийсберген мера эффективности

${ displaystyle E = 1- left ({ frac { alpha} {p}} + { frac {1- alpha} {r}} right) ^ {- 1}}$.

Их отношения ${ displaystyle F _ { beta} = 1-E}$ куда ${ displaystyle alpha = { frac {1} {1+ beta ^ {2}}}}$.

Диагностическое тестирование

Это связано с областью двоичная классификация где отзыв часто называют «чувствительностью».

Приложения

F-оценка часто используется в области поиск информации для измерения поиск, классификация документов, и классификация запросов спектакль.^[3] Более ранние работы были сосредоточены в основном на F₁ оценка, но с распространением крупномасштабных поисковых систем цели производительности изменились, чтобы уделять больше внимания точности или отзыву^[4] и так ${ displaystyle F _ { beta}}$ рассматривается в широком применении.

F-оценка также используется в машинное обучение.^[5] Однако F-меры не принимают во внимание истинные отрицательные стороны, следовательно, такие меры, как Коэффициент корреляции Мэтьюза, Информированность или же Каппа Коэна может быть предпочтительным для оценки производительности двоичного классификатора.^{[нужна цитата ]}

Оценка F широко использовалась в литературе по обработке естественного языка,^[6] например, при оценке признание названного лица и сегментация слов.

Критика

Дэвид Хэнд и другие критикуют широкое использование F₁ оценка, так как в нем одинаково важны точность и отзывчивость. На практике разные типы неправильной классификации влекут за собой разные затраты. Другими словами, относительная важность точности и отзывчивости - один из аспектов проблемы.^[7]

По словам Давиде Чикко и Джузеппе Юрмана, F₁ оценка менее правдива и информативна, чем Коэффициент корреляции Мэтьюза (MCC) в бинарной оценочной классификации.^[8]

Дэвид Пауэрс указал, что F₁ игнорирует истинные отрицательные значения и, таким образом, вводит в заблуждение для несбалансированных классов, в то время как меры каппа и корреляции симметричны и оценивают оба направления предсказуемости - классификатор, предсказывающий истинный класс, и истинный класс, предсказывающий предсказание классификатора, предлагая отдельные мультиклассовые меры Информированность и Отмеченность для двух направлений, отмечая, что их среднее геометрическое является корреляцией.^[9]

Отличие от индекса Фаулкса – Маллоуса

В то время как F-мера - это гармоническое среднее запоминания и точности, Индекс Фаулкса – Маллоуса является их среднее геометрическое.^[10]

Расширение мультиклассовой классификации

F-оценка также используется для оценки задач классификации с более чем двумя классами (Мультиклассовая классификация ). В этой настройке окончательный результат получается путем микро-усреднения (смещенного на частоту класса) или макро-усреднения (принимая все классы как одинаково важные). Для макро-усреднения кандидатами использовались две разные формулы: F-оценка (арифметической) классовой точности и средств вспоминания или среднее арифметическое F-оценок по классам, где последние демонстрируют более желательные свойства.^[11]

Смотрите также

• Матрица путаницы
• МЕТЕОР
• BLEU
• NIST (метрическая система)
• Рабочая характеристика приемника
• ROUGE (метрическая система)
• Коэффициент неопределенности, он же Мастерство
• Частота ошибок в словах

Рекомендации