Общая рабочая характеристика - Total operating characteristic

В общая рабочая характеристика (TOC) это статистический метод сравнить Логическая переменная по сравнению с переменная ранга. TOC может измерять способность индексной переменной диагностировать наличие или отсутствие характеристики. Диагноз наличия или отсутствия зависит от того, превышает ли значение индекса пороговое значение. TOC рассматривает несколько возможных пороговых значений. Каждый порог генерирует два на два Таблица сопряженности, который содержит четыре записи: совпадения, промахи, ложные срабатывания и правильные отклонения.[1]

В рабочая характеристика приемника (ROC) также характеризует диагностическую способность, хотя ROC выявляет меньше информации, чем TOC. Для каждого порога ROC показывает два отношения: совпадения / (совпадения + промахи) и ложные тревоги / (ложные тревоги + правильные отклонения), в то время как TOC показывает общую информацию в таблице непредвиденных обстоятельств для каждого порога.[2] Метод TOC раскрывает всю информацию, которую предоставляет метод ROC, плюс дополнительную важную информацию, которую не раскрывает ROC, то есть размер каждой записи в таблице непредвиденных обстоятельств для каждого порога. TOC также предоставляет популярные площадь под кривой (AUC) Китайской республики.

ТОС применим для измерения диагностической способности во многих областях, включая, но не ограничиваясь: науку об изменении земель, медицинская визуализация, прогноз погоды, дистанционное зондирование, и испытания материалов.

Основная концепция

Смотрите также: Рабочая характеристика приемника

Процедура построения кривой TOC сравнивает логическую переменную с индексной переменной, диагностируя каждое наблюдение как присутствие или отсутствие, в зависимости от того, как индекс соотносится с различными пороговыми значениями. Если индекс наблюдения больше или равен порогу, то наблюдение диагностируется как присутствие, в противном случае наблюдение диагностируется как отсутствие. Таблица непредвиденных обстоятельств, которая получается в результате сравнения логической переменной и диагностики для одного порога, имеет четыре центральных записи. Четыре центральные записи - это хиты (ЧАС), промахов (M), ложные срабатывания (F) и исправьте отклонения (C). Общее количество наблюденийп + Q. Термины «истинные положительные результаты», «ложные отрицательные результаты», «ложные положительные результаты» и «истинные отрицательные результаты» эквивалентны совпадениям, ошибкам, ложным тревогам и правильным отклонениям соответственно. Записи могут быть сформулированы в виде таблицы непредвиденных обстоятельств два на два или матрицы неточностей следующим образом:

Булево
ПрисутствиеОтсутствиеВсего диагнозов
Диагностика
ПрисутствиеХиты (ЧАС)Ложные срабатывания (F)ЧАС + F
ОтсутствиеПромахов (M)Правильные отклонения (C)M + C
Логическая суммаЧАС + M = пF + C = Qп + Q

Четыре бита информации определяют все записи в таблице непредвиденных обстоятельств, включая ее предельные итоги. Например, если мы знаем ЧАС, M, F, и C, то мы можем вычислить все предельные суммы для любого порога. В качестве альтернативы, если мы знаем ЧАС/п, F/Q, п, и Q, то мы можем вычислить все записи в таблице.[1] Двух битов информации недостаточно для заполнения таблицы непредвиденных обстоятельств. Например, если мы знаем только ЧАС/п и F/Q, что и показывает ROC, то узнать все записи в таблице невозможно.[1]

История

Роберт Гилмор Понтиус-младший, профессор географии Университет Кларка, и Канпин Си в 2014 году впервые разработал ТОС для применения в науке об изменении земель.

TOC пространство

TOC помечен

Кривая TOC с четырьмя прямоугольниками показывает, как точка на кривой TOC выявляет совпадения, промахи, ложные тревоги и правильные отклонения. Кривая TOC - эффективный способ показать общую информацию в таблице непредвиденных обстоятельств для всех пороговых значений. Данные, использованные для построения этой кривой TOC, доступны для загрузки. здесь. Этот набор данных содержит 30 наблюдений, каждое из которых состоит из значений логической переменной и индексной переменной. Наблюдения ранжируются от наибольшего к наименьшему значению индекса. Существует 31 порог, состоящий из 30 значений индекса и одного дополнительного порога, который превышает все значения индекса, что создает точку в начале координат (0,0). Каждая точка помечена, чтобы указать значение каждого порога. По горизонтальной оси от 0 до 30, что соответствует количеству наблюдений в наборе данных (п + Q). Вертикальная ось находится в диапазоне от 0 до 10, что соответствует количеству наблюдений присутствия логической переменной. п (т.е. попадания + промахи). Кривые TOC также показывают порог, при котором диагностируемое количество присутствия соответствует логическому количеству присутствия, которое является пороговой точкой, которая находится непосредственно под точкой, где максимальная линия встречается с линией совпадений + промахов, как показано на кривой TOC слева. . Для более подробного объяснения построения кривой ОСО см. Понтиус-младший, Роберт Гилмор; Си, Канпин (2014). «Общая рабочая характеристика для измерения диагностической способности для нескольких пороговых значений». Международный журнал географической информатики 28 (3): 570–583.”[1]

Следующие четыре части информации являются центральными записями в таблице непредвиденных обстоятельств для каждого порога:

  1. Количество попаданий на каждом пороге - это расстояние между точкой порога и горизонтальной осью.
  2. Количество промахов на каждом пороге - это расстояние между точкой порога и попаданиями + горизонтальная линия промахов в верхней части графика.
  3. Количество ложных срабатываний на каждом пороге - это расстояние между точкой порога и синей пунктирной линией максимума, ограничивающей левую часть пространства оглавления.
  4. Количество правильных отклонений на каждом пороге - это расстояние между точкой порога и фиолетовой пунктирной линией минимума, которая ограничивает правую часть пространства оглавления.

Кривые TOC и ROC

Кривая TOC
Кривая ROC

Эти цифры представляют собой кривые TOC и ROC с использованием тех же данных и пороговых значений. Рассмотрим точку, которая соответствует пороговому значению 74. Кривая TOC показывает количество совпадений, равное 3, и, следовательно, количество промахов, равное 7. Кроме того, кривая TOC показывает, что количество ложных тревог равно 4 и количество правильных отклонений - 16. В любой заданной точке кривой ROC можно получить значения для соотношений ложных тревог / (ложные тревоги + правильные отклонения) и совпадений / (совпадения + промахи). Например, на пороге 74 очевидно, что координата x равна 0,3, а координата y равна 0,2. Однако этих двух значений недостаточно для построения всех записей базовой таблицы непредвиденных обстоятельств два на два.

Интерпретация кривых ТОС

Обычно указывается площадь под кривой (AUC) для обобщения кривой TOC или ROC. Однако объединение диагностических возможностей в одно число не позволяет оценить форму кривой. Следующие три кривые TOC представляют собой кривые TOC, которые имеют AUC 0,75, но имеют разные формы.

Кривая TOC с более высокой точностью при высоких порогах.

Эта кривая TOC слева представляет собой пример, в котором индексная переменная имеет высокую диагностическую способность при высоких порогах около начала координат, но случайную диагностическую способность при низких порогах около верхнего правого угла кривой. Кривая показывает точный диагноз присутствия до тех пор, пока кривая не достигнет порогового значения 86. Затем кривая выравнивается и дает прогноз вокруг случайной линии.

Кривая TOC со средней точностью при всех порогах.

Эта кривая TOC представляет собой пример, в котором индексная переменная имеет среднюю диагностическую способность на всех порогах. Кривая постоянно находится выше случайной линии.

Кривая TOC с более высокой точностью при более низких порогах.

Эта кривая TOC представляет собой пример, в котором индексная переменная имеет случайную диагностическую способность при высоких порогах и высокую диагностическую способность при низких порогах. Кривая следует за случайной линией на самых высоких порогах около начала координат, затем индексная переменная правильно диагностирует отсутствие, поскольку пороговые значения снижаются в верхнем правом углу.

Площадь под кривой

При измерении диагностической способности обычно сообщается о площади под кривой (AUC). AUC рассчитывается из TOC и ROC. Значение AUC согласовано для одних и тех же данных независимо от того, рассчитываете ли вы площадь под кривой для кривой TOC или кривой ROC. AUC указывает вероятность того, что диагноз оценивает случайно выбранное наблюдение логического присутствия выше, чем случайно выбранное наблюдение логического отсутствия.[3]AUC привлекает многих исследователей, потому что AUC суммирует диагностические возможности в единственном числе, однако AUC подверглась критике как потенциально вводящая в заблуждение мера, особенно для пространственно явного анализа.[3][4]Некоторые особенности AUC, вызывающие критику, включают тот факт, что 1) AUC игнорирует пороговые значения; 2) AUC суммирует характеристики тестирования по областям пространства TOC или ROC, в которых можно работать редко; 3) AUC одинаково взвешивает пропуски и ошибки комиссии; 4) AUC не дает информации о пространственном распределении ошибок модели; и 5) выбор пространственной протяженности сильно влияет на частоту точно диагностированных пропусков занятий и показатели AUC.[5]Однако большая часть этой критики относится ко многим другим показателям.

При использовании нормализованных единиц площадь под кривой (часто называемая просто AUC) равна вероятности того, что классификатор оценит случайно выбранный положительный экземпляр выше, чем случайно выбранный отрицательный (при условии, что `` положительные '' ранги выше, чем отрицательный ').[6] Это можно увидеть следующим образом: площадь под кривой определяется выражением (интегральные границы меняются местами, так как большая T имеет более низкое значение на оси x)

куда это оценка за положительный пример и - оценка за отрицательный экземпляр, и и - плотности вероятности, как определено в предыдущем разделе.

Далее можно показать, что AUC тесно связана с Манн – Уитни Ю,[7][8] который проверяет, оцениваются ли положительные результаты выше, чем отрицательные. Это также эквивалентно Тест рангов Вилкоксона.[8] AUC относится к Коэффициент Джини () по формуле , куда:

[9]

Таким образом, можно рассчитать AUC, используя среднее значение ряда трапецеидальных приближений.

Также обычно рассчитывают площадь под выпуклой оболочкой TOC (ROC AUCH = ROCH AUC), поскольку любая точка на отрезке линии между двумя результатами прогноза может быть достигнута путем случайного использования той или иной системы с вероятностями, пропорциональными относительной длине противоположный компонент сегмента.[10] Также возможно инвертировать вогнутости - так же, как на рисунке худшее решение может быть отражено, чтобы стать лучшим решением; вогнутости могут быть отражены в любом отрезке линии, но эта более экстремальная форма слияния с гораздо большей вероятностью приведет к излишнему соответствию данных.[11]

Еще одна проблема с TOC AUC заключается в том, что при уменьшении кривой TOC до одного числа игнорируется тот факт, что речь идет о компромиссах между различными системами или нанесенными точками производительности, а не о производительности отдельной системы, а также игнорируется возможность устранения вогнутости , так что связанные альтернативные меры, такие как информированность[нужна цитата ] или DeltaP.[12][13] Эти меры по существу эквивалентны коэффициенту Джини для одной точки прогнозирования с DeltaP '= информированность = 2AUC-1, в то время как DeltaP = markness представляет двойственную (а именно, прогнозирование прогноза из реального класса), а их среднее геометрическое - Коэффициент корреляции Мэтьюза.[нужна цитата ]

Принимая во внимание, что AUC TOC варьируется от 0 до 1 - с неинформативным классификатором, дающим 0,5 - альтернативные меры, известные как информированность,[нужна цитата ] Уверенность [12] и Коэффициент Джини (в случае единой параметризации или единой системы)[нужна цитата ] все имеют то преимущество, что 0 представляет собой случайную производительность, в то время как 1 представляет идеальную производительность, а -1 представляет «извращенный» случай полной информированности, всегда дающей неправильный ответ.[14] Приведение случайной производительности к 0 позволяет интерпретировать эти альтернативные шкалы как статистику Каппа. Было показано, что информированность имеет желаемые характеристики для машинного обучения по сравнению с другими распространенными определениями каппа, такими как Коэн Каппа и Флейсс каппа.[нужна цитата ][15]

Иногда может быть более полезным взглянуть на конкретный участок кривой ОСО, а не на всю кривую. Можно вычислить частичную AUC.[16] Например, можно сосредоточиться на участке кривой с низким уровнем ложноположительных результатов, который часто представляет основной интерес для скрининговых тестов населения.[17] Другой распространенный подход к задачам классификации, в которых P ≪ N (распространенный в приложениях биоинформатики), заключается в использовании логарифмической шкалы для оси x.[18]


Рекомендации

  1. ^ а б c d Понтиус, Роберт Гилмор; Си, Канпин (2014). «Общая рабочая характеристика для измерения диагностической способности для нескольких пороговых значений». Международный журнал географической информатики. 28 (3): 570–583. Дои:10.1080/13658816.2013.862623.
  2. ^ Понтиус, Роберт Гилмор; Парментье, Бенуа (2014). «Рекомендации по использованию относительной рабочей характеристики (ROC)». Ландшафтная Экология.
  3. ^ а б Халлиган, Стив; Альтман, Дуглас Дж .; Маллетт, Сьюзен (2015). «Недостатки использования площади под кривой рабочих характеристик приемника для оценки тестов визуализации: обсуждение и предложение альтернативного подхода». Европейская радиология. 25 (4): 932–939. Дои:10.1007 / s00330-014-3487-0. ЧВК  4356897. PMID  25599932.
  4. ^ Пауэрс, Дэвид Мартин Уорд (2012). «Проблема площади под кривой». 2012 Международная конференция IEEE по информатике и технологиям. Дои:10.1109 / ICIST.2012.6221710.
  5. ^ Лобо, Хорхе М .; Хименес-Вальверде, Альберто; Реал, Раймундо (2008). «AUC: вводящий в заблуждение показатель эффективности моделей прогнозирующего распределения». Глобальная экология и биогеография. 17 (2): 145–151. Дои:10.1111 / j.1466-8238.2007.00358.x.
  6. ^ Фосетт, Том (2006); Введение в ROC-анализ, Письма о распознавании образов, 27, 861–874.
  7. ^ Хэнли, Джеймс А .; Макнил, Барбара Дж. (1982). «Значение и использование площади под кривой рабочих характеристик приемника (ROC)». Радиология. 143 (1): 29–36. Дои:10.1148 / радиология.143.1.7063747. PMID  7063747.
  8. ^ а б Мейсон, Саймон Дж .; Грэм, Николас Э. (2002). «Области ниже кривых относительных рабочих характеристик (ROC) и относительных рабочих уровней (ROL): статистическая значимость и интерпретация» (PDF). Ежеквартальный журнал Королевского метеорологического общества. 128 (584): 2145–2166. Bibcode:2002QJRMS.128.2145M. CiteSeerX  10.1.1.458.8392. Дои:10.1256/003590002320603584. Архивировано из оригинал (PDF) на 20.11.2008.
  9. ^ Рука, Дэвид Дж .; и Тилль, Роберт Дж. (2001); Простое обобщение площади под кривой ROC для задач классификации нескольких классов, Машинное обучение, 45, 171–186.
  10. ^ Провост, Ф .; Фосетт, Т. (2001). «Надежная классификация для неточных сред». Машинное обучение. 42 (3): 203–231. arXiv:cs / 0009007. Дои:10.1023 / а: 1007601015854.
  11. ^ Flach, P.A .; Ву, С. (2005). «Ремонт вогнутостей на кривых ROC». (PDF). 19-я Международная совместная конференция по искусственному интеллекту (IJCAI'05). С. 702–707.
  12. ^ а б Пауэрс, Дэвид МВ (2012). «ROC-ConCert: измерение согласованности и достоверности на основе ROC» (PDF). Весенний конгресс по технике и технологиям (SCET). 2. IEEE. С. 238–241.
  13. ^ Пауэрс, Дэвид М.В. (2012). «Проблема площади под кривой». Международная конференция по информатике и технологиям.
  14. ^ Пауэрс, Дэвид М. В. (2003). «Отзыв и точность против букмекера» (PDF). Труды Международной конференции по когнитивной науке (ICSC-2003), Сидней, Австралия, 2003 г., стр. 529–534.
  15. ^ Пауэрс, Дэвид М. В. (2012). «Проблема с каппой» (PDF). Конференция Европейского отделения Ассоциации компьютерной лингвистики (EACL2012) Совместный семинар ROBUS-UNSUP. Архивировано из оригинал (PDF) на 2016-05-18. Получено 2012-07-20.
  16. ^ Макклиш, Донна Кацман (1 августа 1989 г.). «Анализ части кривой ROC». Принятие медицинских решений. 9 (3): 190–195. Дои:10.1177 / 0272989X8900900307. PMID  2668680.
  17. ^ Додд, Лори Э .; Пепе, Маргарет С. (2003). «Частичная оценка AUC и регрессия». Биометрия. 59 (3): 614–623. Дои:10.1111/1541-0420.00071. PMID  14601762.
  18. ^ Карплюс, Кевин (2011); Лучше, чем шанс: важность нулевых моделей, Калифорнийский университет, Санта-Крус, в материалах первого международного семинара по распознаванию образов в протеомике, структурной биологии и биоинформатике (PR PS BB 2011)

дальнейшее чтение

  • Понтиус-младший, Роберт Гилмор; Си, Канпин (2014). «Общая рабочая характеристика для измерения диагностической способности для нескольких пороговых значений». Международный журнал географической информатики. 28 (3): 570–583. Дои:10.1080/13658816.2013.862623.
  • Понтиус-младший, Роберт Гилмор; Парментье, Бенуа (2014). «Рекомендации по использованию относительной рабочей характеристики (ROC)». Ландшафтная Экология. 29 (3): 367–382. Дои:10.1007 / s10980-013-9984-8.
  • Мас, Жан-Франсуа; Филхо, Бритальдо Соареш; Понтиус-младший, Роберт Гилмор; Гутьеррес, Мишель Фарфан; Родригес, Герман (2013). «Набор инструментов для ROC-анализа пространственных моделей». Международный журнал геоинформации ISPRS. 2 (3): 869–887. Дои:10.3390 / ijgi2030869.
  • Понтиус-младший, Роберт Гилмор; Пачеко, Пабло (2004). «Калибровка и проверка модели нарушения лесов в Западных Гатах, Индия, 1920–1990». GeoJournal. 61 (4): 325–334. Дои:10.1007 / s10708-004-5049-5.
  • Понтиус-младший, Роберт Гилмор; Батчу, Киран (2003). «Использование относительной рабочей характеристики для количественной оценки уверенности в прогнозировании изменения местоположения земного покрова в Индии». Транзакции в ГИС. 7 (4): 467–484. Дои:10.1111/1467-9671.00159.
  • Понтиус-младший, Роберт Гилмор; Шнайдер, Лаура (2001). «Валидация модели изменения землепользования методом ROC для водосбора Ипсвича, Массачусетс, США». Сельское хозяйство, экосистемы и окружающая среда. 85 (1–3): 239–248. Дои:10.1016 / s0167-8809 (01) 00187-6.

Смотрите также

внешняя ссылка