Правило классификации - Classification rule

Учитывая совокупность, члены которой принадлежат к одному из множества различных наборов или классы, а правило классификации или же классификатор - это процедура, с помощью которой каждый элемент совокупности предсказывается как принадлежащий к одному из классов.^[1] Идеально классификация - это элемент, для которого каждый элемент совокупности отнесен к тому классу, к которому он действительно принадлежит. Несовершенная классификация - это та, в которой появляются некоторые ошибки, а затем статистический анализ должны применяться для анализа классификации.

Особый вид правил классификации - это двоичная классификация, для задач, в которых всего два класса.

Правила классификации тестирования

Учитывая набор данных, состоящий из пар Икс и у, куда Икс обозначает элемент популяции и у класс, к которому он принадлежит, правило классификации час(Икс) - это функция, которая присваивает каждому элементу Икс в предсказанный класс ${ displaystyle { hat {y}} = h (x).}$ Бинарная классификация такова, что метка у может принимать только одно из двух значений.

Настоящие ярлыки у_я могут быть известны, но не обязательно будут соответствовать их приближениям ${ displaystyle { hat {y_ {i}}} = h (x_ {i})}$ . В бинарной классификации элементы, которые неправильно классифицированы, называются ложноположительными и ложноотрицательными.

Некоторые правила классификации являются статическими функциями. Другие могут быть компьютерными программами. А компьютерный классификатор может изучить или реализовать правила статической классификации. Для набора обучающих данных истинные метки у_j неизвестны, но основная цель процедуры классификации состоит в том, чтобы приближение ${ displaystyle { hat {y_ {j}}} = h (x_ {j}) приблизительно y_ {j}}$ насколько это возможно, когда качество этого приближения необходимо оценивать на основе статистических или вероятностных свойств генеральной совокупности, из которой будут проводиться будущие наблюдения.

Учитывая правило классификации, классификационный тест является результатом применения правила к конечной выборке исходного набора данных.

Бинарная и мультиклассовая классификация

Классификацию можно рассматривать как две отдельные проблемы: двоичная классификация и мультиклассовая классификация. В бинарной классификации, более понятной задаче, участвуют только два класса, тогда как мультиклассовая классификация включает отнесение объекта к одному из нескольких классов.^[2] Поскольку многие методы классификации были разработаны специально для двоичной классификации, многоклассовая классификация часто требует комбинированного использования нескольких двоичных классификаторов. Важным моментом является то, что во многих практических задачах бинарной классификации эти две группы не являются симметричными - интерес представляет не общая точность, а относительная доля различных типов ошибок. Например, при медицинском тестировании ложноположительный результат (обнаружение болезни, когда ее нет) рассматривается иначе, чем ложноотрицательный (не обнаружение болезни, когда она присутствует). В мультиклассовых классификациях классы могут рассматриваться симметрично (все ошибки эквивалентны) или асимметрично, что значительно сложнее.

Методы двоичной классификации включают пробит регрессия и логистическая регрессия. Методы многоклассовой классификации включают: полиномиальный пробит и полиномиальный логит.

Таблица путаницы

Левая и правая половины соответственно содержат экземпляры, которые на самом деле имеют или не имеют условия. Овал содержит экземпляры, которые классифицируются (прогнозируются) как положительные (имеющие условие). Зеленый и красный соответственно содержат экземпляры, которые классифицированы правильно (истинно) и неправильно (ложно).
TP = истинно положительный; TN = истинно отрицательный; FP = ложноположительный результат (ошибка типа I); FN = ложноотрицательный (ошибка типа II); TPR = истинно положительная ставка; FPR = ложноположительный показатель; PPV = положительное прогнозируемое значение; NPV = отрицательная прогностическая ценность.

Если функция классификации не идеальна, появятся ложные результаты. В приведенном ниже примере матрицы путаницы для 8 настоящих кошек функция предсказала, что три были собаками, а из шести собак она предсказала, что одна была кроликом, а две - кошками. Из матрицы видно, что рассматриваемая система не умеет различать кошек и собак, но может довольно хорошо отличить кроликов от других типов животных.

Пример матрицы путаницы
		Кот	Собака	Кролик
		Предсказанный
Действительный	Кот	5	3	0
	Собака	2	3	1
	Кролик	0	2	11

Ложные срабатывания

Ложные срабатывания результат, когда тест ложно (неверно) сообщает о положительном результате. Например, медицинский тест для болезнь может вернуть положительный результат, указывающий на то, что у пациента есть болезнь, даже если у пациента нет болезни. Ложноположительный результат обычно обозначается как верхний правый (Условие отрицательный результат теста X положительный результат) единицы в Матрица путаницы. Мы можем использовать Теорема Байеса для определения вероятности того, что положительный результат на самом деле является ложным. Мы обнаружили, что если заболевание встречается редко, то большинство положительных результатов могут быть ложноположительными, даже если тест относительно точен.

Предположим, что тест на болезнь дает следующие результаты:

Если тестируемый пациент болен заболеванием, тест дает положительный результат в 99% случаев или с вероятностью 0,99.
Если у тестируемого пациента нет заболевания, тест дает положительный результат в 5% случаев или с вероятностью 0,05.

Наивно можно подумать, что только 5% положительных результатов тестов ложны, но, как мы увидим, это совершенно неверно.

Предположим, что только 0,1% населения страдает этим заболеванием, так что случайным образом выбранный пациент имеет априорную вероятность заболевания 0,001.

Мы можем использовать теорему Байеса, чтобы вычислить вероятность того, что положительный результат теста будет ложноположительным.

Позволять А представляют состояние, в котором пациент болен, и B представляют собой свидетельство положительного результата теста. Тогда вероятность того, что пациент действительно болен, при положительном результате теста равна

{ Displaystyle { begin {align} P (A | B) & = { frac {P (B | A) P (A)} {P (B | A) P (A) + P (B | neg A) P ( neg A)}} & = { frac {0.99 times 0,001} {0,99 times 0,001 + 0,05 times 0,999}} ~ & приблизительно 0,019. End { выровнено}}}

и, следовательно, вероятность того, что положительный результат будет ложноположительным, составляет примерно 1-0,019 = 0,98, или 98%.

Несмотря на кажущуюся высокую точность теста, заболеваемость настолько низка, что подавляющее большинство пациентов с положительным результатом теста не болеют. Тем не менее, доля пациентов с положительным результатом теста, у которых действительно есть заболевание (0,019), в 19 раз превышает долю людей, которые еще не прошли тест и у которых есть заболевание (0,001). Таким образом, тест не бесполезен, а повторное тестирование может повысить надежность результата.

Чтобы уменьшить проблему ложных срабатываний, тест должен очень точно сообщать о отрицательный результат, когда у пациента нет заболевания. Если тест показал отрицательный результат у пациентов без заболевания с вероятностью 0,999, то

{ displaystyle P (A | B) = { frac {0.99 times 0.001} {0.99 times 0.001 + 0.001 times 0.999}} приблизительно 0,5,}

так что теперь 1 - 0,5 = 0,5 - это вероятность ложного срабатывания.

Ложноотрицательные результаты

С другой стороны, ложные отрицания результат, когда тест ложно или неправильно сообщает об отрицательном результате. Например, медицинский тест на заболевание может дать отрицательный результат, указывающий на то, что у пациента нет болезни, даже если у пациента действительно есть болезнь. Ложноотрицательный результат обычно обозначается как нижний левый (Условие положительный результат теста X отрицательный) Матрица путаницы. Мы также можем использовать теорему Байеса для вычисления вероятности ложноотрицательного результата. В первом примере выше

{ Displaystyle { begin {выровнен} P (A | neg B) & = { frac {P ( neg B | A) P (A)} {P ( neg B | A) P (A) + P ( neg B | neg A) P ( neg A)}} & = { frac {0,01 times 0,001} {0,01 times 0,001 + 0,95 times 0,999}} ~ & приблизительно 0,0000105. end {align}}}

Вероятность того, что отрицательный результат является ложноотрицательным, составляет около 0,0000105 или 0,00105%. Когда заболевание встречается редко, ложноотрицательные результаты не будут большой проблемой.

Но если бы 60% населения болело, то вероятность ложноотрицательного результата была бы больше. С помощью вышеуказанного теста вероятность ложноотрицательного результата будет равна

{ Displaystyle { begin {выровнен} P (A | neg B) & = { frac {P ( neg B | A) P (A)} {P ( neg B | A) P (A) + P ( neg B | neg A) P ( neg A)}} & = { frac {0,01 times 0,6} {0,01 times 0,6 + 0,95 times 0,4}} ~ & приблизительно 0,0155. end {выравнивается}}}

Вероятность того, что отрицательный результат является ложноотрицательным, возрастает до 0,0155 или 1,55%.

Истинные плюсы

Истинно положительный результат получается, когда проверенный верно (правильно) сообщает о положительном результате. Например, медицинский тест для болезнь может дать положительный результат, свидетельствующий о наличии у пациента заболевания. Доказано, что это правда, когда пациент болен. Истинно положительный результат обычно обозначается как верхний левый (Условие положительный результат теста X положительный результат) Матрица путаницы. Мы можем использовать Теорема Байеса чтобы определить вероятность того, что положительный результат на самом деле является истинно положительным, используя приведенный выше пример:

Если тестируемый пациент болен заболеванием, тест дает положительный результат в 99% случаев или с вероятностью 0,99.
Если у проверяемого пациента нет заболевания, тест дает положительный результат в 5% случаев или с вероятностью 0,05.
Предположим, что только 0,1% населения страдает этим заболеванием, так что случайным образом выбранный пациент имеет априорную вероятность заболевания 0,001.

Пусть A представляет состояние, в котором пациент болен, а B представляет свидетельство положительного результата теста. Тогда вероятность того, что у пациента действительно есть заболевание, при положительном результате теста:

{ Displaystyle { begin {align} P (A | B) & = { frac {P (B | A) P (A)} {P (B | A) P (A) + P (B | neg A) P ( neg A)}} & = { frac {0.99 times 0,001} {0,99 times 0,001 + 0,05 times 0,999}} ~ & приблизительно 0,019. End { выровнен}}}

Вероятность того, что положительный результат будет истинно положительным, составляет около 0,019%.

Истинные негативы

Истинно отрицательный результат, когда тестируемый верно (правильно) сообщает об отрицательном результате. Например, медицинский тест для болезнь может дать положительный результат, свидетельствующий о том, что у пациента нет заболевания. Доказано, что это правда, когда пациент не болен. Истинно отрицательный результат обычно обозначается как нижняя правая единица (условие отрицательное результат теста X отрицательный) в Матрица путаницы.

Мы также можем использовать Теорема Байеса для расчета вероятности истинно отрицательного. Используя приведенные выше примеры:

Если тестируемый пациент болен заболеванием, тест дает положительный результат в 99% случаев или с вероятностью 0,99.
Если тестируемый пациент не болен, тест дает положительный результат в 5% случаев или с вероятностью 0,05.
Предположим, что только 0,1% населения страдает этим заболеванием, так что случайным образом выбранный пациент имеет априорную вероятность заболевания 0,001.

Пусть A представляет состояние, в котором пациент болен, а B представляет свидетельство положительного результата теста. Тогда вероятность того, что у пациента действительно есть заболевание, при положительном результате теста:

{ Displaystyle { begin {выровнен} P (A | neg B) & = { frac {P ( neg B | A) P (A)} {P ( neg B | A) P (A) + P ( neg B | neg A) P ( neg A)}} & = { frac {0,01 times 0,001} {0,01 times 0,001 + 0,95 times 0,999}} ~ & приблизительно 0,0000105. end {align}}}

Вероятность того, что отрицательный результат будет истинно отрицательным, составляет 1 - 0,0000105 = 0,9999895 или 99,99%. Так как заболевание встречается редко и процент положительного к положительному положительному результату велик, а показатель отрицательного к отрицательному также велик, это приведет к большому количеству истинно отрицательного результата.

Пример работы

Рабочий пример: Диагностический тест с чувствительностью 67% и специфичностью 91% применяется к 2030 человек для поиска заболевания с распространенностью в популяции 1,48%.

		Пациенты с рак кишечника (как подтверждено на эндоскопия )
		Состояние положительное	Состояние отрицательное	Распространенность = (TP + FN) / Total_Population = (20+10)/2030 ≈1.48%	Точность (АКК) = (TP + TN) / Total_Population = (20+1820)/2030 ≈90.64%
Фекальный оккультизм кровь экран тест исход	Тест исход положительный	Истинно положительный (TP) = 20 (2030 х 1,48% х 67%)	Ложный положительный результат (FP) = 180 (2030 х (100 - 1,48%) х (100 - 91%))	Положительная прогностическая ценность (PPV), Точность = TP / (TP + FP) = 20 / (20 + 180) = 10%	Уровень ложного обнаружения (FDR) = FP / (TP + FP) = 180/(20+180) = 90.0%
	Тест исход отрицательный	Ложноотрицательный (FN) = 10 (2030 х 1,48% х (100–67%))	Правда отрицательный (TN) = 1820 (2030 х (100 -1,48%) х 91%)	Уровень ложных пропусков (ЗА) = FN / (FN + TN) = 10 / (10 + 1820) ≈ 0.55%	Отрицательная прогностическая ценность (ЧПС) = TN / (FN + TN) = 1820 / (10 + 1820) ≈ 99.45%
		TPR, Отзывать, Чувствительность = TP / (TP + FN) = 20 / (20 + 10) ≈ 66.7%	Ложноположительная ставка (FPR),Выпадать, вероятность ложной тревоги = FP / (FP + TN) = 180/(180+1820) =9.0%	Отношение положительного правдоподобия (LR +) = TPR/FPR = (20/30)/(180/2000) ≈7.41	Соотношение диагностических шансов (DOR) = LR +/LR− ≈20.2	F₁ счет = 2 · Точность · Отзыв/Точность + отзыв ≈0.174
		Ложноотрицательная ставка (FNR), Рейтинг промахов = FN / (TP + FN) = 10/(20+10) ≈ 33.3%	Специфика, Избирательность, Истинная отрицательная ставка (TNR) = TN / (FP + TN) = 1820 / (180 + 1820) = 91%	Отрицательное отношение правдоподобия (LR-) = FNR/TNR = (10/30)/(1820/2000) ≈0.366

Связанные расчеты

Уровень ложных срабатываний (α) = ошибка типа I = 1 - специфичность = FP / (FP + TN) = 180 / (180 + 1820) = 9%
Ложноотрицательная ставка (β) = ошибка типа II = 1 - чувствительность = FN / (TP + FN) = 10 / (20 + 10) = 33%
Мощность = чувствительность = 1 - β
Отношение правдоподобия положительный = чувствительность / (1 - специфичность) = 0,67 / (1 - 0,91) = 7,4
Отрицательное отношение правдоподобия = (1 - чувствительность) / специфичность = (1 - 0,67) / 0,91 = 0,37
Порог распространенности = ${ displaystyle PT = { frac {{ sqrt {TPR (-TNR + 1)}} + TNR-1} {(TPR + TNR-1)}}}$ = 0.19 => 19.1%

Этот гипотетический скрининговый тест (анализ кала на скрытую кровь) правильно идентифицировал две трети (66,7%) пациентов с колоректальным раком.^[а] К сожалению, учет показателей распространенности показывает, что этот гипотетический тест имеет высокий уровень ложноположительных результатов и не позволяет надежно идентифицировать рак прямой кишки в общей популяции бессимптомных людей (PPV = 10%).

С другой стороны, этот гипотетический тест демонстрирует очень точное определение людей, свободных от рака (NPV = 99,5%). Таким образом, при использовании для рутинного скрининга колоректального рака у бессимптомных взрослых отрицательный результат дает важные данные для пациента и врача, такие как исключение рака как причины желудочно-кишечных симптомов или успокаивание пациентов, обеспокоенных развитием колоректального рака.

Измерение классификатора с учетом чувствительности и специфичности

При обучении классификатора может потребоваться измерить его производительность, используя общепринятые показатели чувствительности и специфичности. Может быть поучительно сравнить классификатор со случайным классификатором, который подбрасывает монетку в зависимости от распространенности заболевания. Предположим, что вероятность того, что человек болен, равна ${ displaystyle p}$ и вероятность того, что они этого не сделают, равна ${ Displaystyle д = 1-р}$ . Предположим, что у нас есть случайный классификатор, который предполагает, что у пациента есть болезнь с той же вероятностью. ${ displaystyle p}$ и догадывается, что он не с той же вероятностью ${ displaystyle q}$ .

Вероятность истинно положительного результата - это вероятность того, что у пациента есть заболевание, умноженная на вероятность того, что случайный классификатор угадает это правильно, или ${ displaystyle p ^ {2}}$ . По аналогичным соображениям вероятность ложноотрицательного результата равна ${ displaystyle pq}$ . Из приведенных выше определений чувствительность этого классификатора равна ${ displaystyle p ^ {2} / (p ^ {2} + pq) = p}$ . Используя аналогичные рассуждения, мы можем вычислить специфичность как ${ displaystyle q ^ {2} / (q ^ {2} + pq) = q}$ .

Таким образом, хотя сам показатель не зависит от распространенности заболевания, эффективность этого случайного классификатора зависит от распространенности заболевания. Классификатор может иметь производительность, аналогичную этому случайному классификатору, но с более взвешенной монетой (более высокая чувствительность и специфичность). Таким образом, на эти показатели может влиять распространенность заболевания. Альтернативным показателем производительности является Коэффициент корреляции Мэтьюза, для которого любой случайный классификатор получит средний балл 0.

Распространение этой концепции на небинарные классификации дает матрица путаницы.

Смотрите также

Примечания

^ У всех медицинских скрининговых тестов есть свои преимущества и недостатки. Рекомендации по клинической практике, например, для скрининга колоректального рака, опишите эти риски и преимущества.^[3]^[4]