Вероятностная классификация - Probabilistic classification

В машинное обучение, а вероятностный классификатор это классификатор который может предсказать, учитывая наблюдение за входом, распределение вероятностей через набор классов, а не только для вывода наиболее вероятного класса, к которому должно принадлежать наблюдение. Вероятностные классификаторы обеспечивают классификацию, которая может быть полезна сама по себе.^[1] или при объединении классификаторов в ансамбли.

Типы классификации

Формально «обычный» классификатор - это какое-то правило, или функция, который назначает образец Икс метка класса ŷ:

${ Displaystyle { шляпа {у}} = е (х)}$

Образцы взяты из некоторого набора Икс (например, набор всех документы, или набор всех картинки ), а метки классов образуют конечное множество Y определяется до обучения.

Вероятностные классификаторы обобщают это понятие классификаторов: вместо функций они условный распределения ${ Displaystyle Pr (Y vert X)}$, что означает, что для данного ${ displaystyle x in X}$, они приписывают вероятности всем ${ displaystyle y in Y}$ (и сумма этих вероятностей равна единице). Затем можно выполнить «жесткую» классификацию с помощью правило оптимального решения^[2]:39–40

${ displaystyle { hat {y}} = operatorname { arg max} _ {y} Pr (Y = y vert X)}$

или, по-английски, предсказанный класс - это тот, который имеет наибольшую вероятность.

Бинарные вероятностные классификаторы также называют биномиальная регрессия модели в статистика. В эконометрика, вероятностная классификация в целом называется дискретный выбор.

Некоторые модели классификации, например наивный байесовский, логистическая регрессия и многослойные персептроны (при обучении под соответствующим функция потерь ) естественно вероятностны. Другие модели, такие как опорные векторные машины нет, но методы существуют превратить их в вероятностные классификаторы.

Генеративное и условное обучение

Некоторые модели, например логистическая регрессия, условно обучены: они оптимизируют условную вероятность ${ Displaystyle Pr (Y vert X)}$ непосредственно на обучающей выборке (см. минимизация эмпирического риска ). Другие классификаторы, например наивный байесовский, обучаются генеративно: во время обучения условное распределение классов ${ Displaystyle Pr (Х верт Y)}$ и класс предшествующий ${ Displaystyle Pr (Y)}$ найдены, а условное распределение ${ Displaystyle Pr (Y vert X)}$ выводится с использованием Правило Байеса.^[2]:43

Калибровка вероятности

Не все классификационные модели являются естественно вероятностными, а некоторые из них, особенно наивные байесовские классификаторы, деревья решений и повышение методы, создают искаженные распределения вероятностей классов.^[3] В случае деревьев решений, где Pr (у|Икс) это доля обучающих выборок с меткой у в листе, где Икс в конечном итоге эти искажения возникают из-за алгоритмов обучения, таких как C4.5 или КОРЗИНА явно стремиться производить однородные листья (с вероятностью, близкой к нулю или единице, и, следовательно, высокой предвзятость ) при использовании нескольких выборок для оценки соответствующей доли (высокая отклонение ).^[4]

Пример калибровочного графика

Калибровку можно оценить с помощью калибровочный график (также называемый диаграмма надежности).^[3][5] График калибровки показывает долю элементов в каждом классе для диапазонов прогнозируемой вероятности или оценки (например, искаженное распределение вероятностей или «знаковое расстояние до гиперплоскости» в машине опорных векторов). Отклонения от функции идентичности указывают на плохо откалиброванный классификатор, для которого прогнозируемые вероятности или оценки не могут использоваться в качестве вероятностей. В этом случае можно использовать метод, чтобы превратить эти оценки в правильные откалиброванный вероятности членства в классе.

Для двоичный случае общий подход заключается в применении Масштабирование Платта, который изучает логистическая регрессия модель на счетах.^[6]Альтернативный метод с использованием изотоническая регрессия^[7] обычно превосходит метод Платта, когда доступно достаточно данных для обучения.^[3]

в мультикласс В этом случае можно использовать редукцию к бинарным задачам с последующей одномерной калибровкой с помощью описанного выше алгоритма и дальнейшим применением алгоритма парного связывания Хасти и Тибширани.^[8]

Оценка вероятностной классификации

Обычно используемые функции потерь для вероятностной классификации включают: потеря журнала и Оценка Бриера между предсказанным и истинным распределением вероятностей. Первый из них обычно используется для обучения логистических моделей.

Метод, используемый для присвоения баллов парам прогнозируемых вероятностей и фактических дискретных результатов, чтобы можно было сравнивать различные методы прогнозирования, называется правило подсчета очков.

использованная литература