Правило подсчета очков - Scoring rule

Визуализация ожидаемой оценки при различных прогнозах из некоторых общих функций оценки. Пунктирная черная линия: истинная вера предсказателя, красная: линейная, оранжевая: сферическая, фиолетовая: квадратичная, зеленая: логарифмическая.

В теория принятия решений, а функция оценки, или же правило подсчета очков, измеряет точность из вероятностные прогнозы. Это применимо к задачам, в которых прогнозы должны назначать вероятности набору взаимоисключающих результатов. Набор возможных результатов может быть бинарным или категориальным по своей природе, и вероятности, присвоенные этому набору результатов, должны в сумме равняться единице (где каждая индивидуальная вероятность находится в диапазоне от 0 до 1). Балл можно рассматривать как меру "калибровка "набора вероятностных прогнозов, или как" функция стоимости "или"функция потерь ".

Если стоимость взимается пропорционально правильному правилу оценки, минимальная ожидаемая стоимость соответствует сообщению истинного набора вероятностей. Надлежащие правила оценки используются в метеорологии, финансах и классификации закономерностей, когда прогнозист или алгоритм будут пытаться минимизировать средний балл, чтобы получить уточненные, откалиброванные вероятности (то есть точные вероятности).

Определение

Предполагать ${ displaystyle Y: Omega rightarrow X}$ и ${ displaystyle G: Omega rightarrow Z}$ две случайные величины, определенные в пространстве выборки ${ displaystyle Omega}$ с ${ displaystyle f_ {Y}: X rightarrow V}$ и ${ displaystyle f_ {G}: Z rightarrow V}$ как соответствующие им функции плотности (массы), в которых ${ displaystyle Y}$ - целевая переменная прогноза и ${ displaystyle G}$ - случайная величина, сгенерированная из схемы прогноза. Также предположим, что ${ displaystyle Y = y}$ , за ${ displaystyle y in X}$ это реализованная стоимость. Правило подсчета очков - это такая функция, как ${ displaystyle S: Z times X rightarrow mathbb {R}}$ (т.е. ${ Displaystyle S (G, y)}$ ), который вычисляет расстояние между ${ displaystyle G}$ и ${ displaystyle y}$ .

Ориентация

${ Displaystyle S (G, y)}$ положительно ориентирован, если для двух разных вероятностных прогнозов (например, ${ displaystyle G}$ и ${ displaystyle G ^ {*}}$ ), ${ Displaystyle S (G, y)> S (G ^ {*}, y)}$ Значит это ${ displaystyle G}$ вероятностный прогноз лучше, чем ${ displaystyle G ^ {*}}$ .

Ожидаемый результат

Ожидаемая оценка - это ожидаемое значение правила оценки по всем возможным значениям целевой переменной. Например, для непрерывной случайной величины мы имеем

{ displaystyle { bar {S}} (G) = int _ {- infty} ^ { infty} f_ {Y} (y) S (G, y) , dy}

Ожидаемая потеря

Ожидаемая потеря оценки - это разница между ожидаемой оценкой целевой переменной и прогнозом:

{ Displaystyle L (G) = { bar {S}} (Y) - { bar {S}} (G)}

Приличия

Предполагая положительную ориентацию, правило подсчета очков считается строго правильным, если значение ожидаемой потери очков положительно для всех возможных прогнозов. Другими словами, на основе строго правильного правила оценки, схема прогнозирования должна иметь лучший результат, если она предлагает целевую переменную в качестве прогноза, и наоборот; т.е. основанная на строго правильном правиле оценки, схема прогнозирования должна набирать лучшие результаты тогда и только тогда, когда она предлагает целевую переменную в качестве прогноза.^[1]

Невероятностные меры точности прогнозов

Хотя правила подсчета очков вводятся в литературе по вероятностному прогнозированию, определение достаточно общее, чтобы рассматривать такие ненадежные меры, как средняя абсолютная ошибка или же среднеквадратичная ошибка как некоторые конкретные правила подсчета очков. Основная характеристика таких правил подсчета очков: ${ Displaystyle S (G, y)}$ просто функция ожидаемого значения ${ displaystyle G}$ (т.е. ${ Displaystyle E (G)}$ ).

Пример применения правил подсчета очков

Логарифмическое правило

Пример вероятностное прогнозирование находится в метеорологии, где Прогноз погоды может дать вероятность дождя на следующий день. Можно было бы отметить, сколько раз за долгий период цитировалась вероятность 25%, и сравнить это с фактической долей выпадения дождя. Если фактический процент существенно отличался от заявленной вероятности, мы говорим, что прогнозист плохо откалиброван. Плохо откалиброванный прогнозист может быть побужден к лучшему благодаря бонус система. Система бонусов, разработанная на основе правильного правила подсчета очков, будет стимулировать прогнозиста сообщать о вероятностях, равных его личные убеждения.^[2]

В дополнение к простому случаю двоичное решение правила подсчета очков, такие как присвоение вероятностей «дождю» или «без дождя», могут использоваться для нескольких классов, таких как «дождь», «снег» или «ясно».

На изображении справа показан пример правила оценки, логарифмического правила оценки, как функции вероятности, сообщенной для события, которое действительно произошло. Один из способов использования этого правила - оценка стоимости, основанная на вероятности, которую назначает прогнозист или алгоритм, а затем проверка того, какое событие действительно происходит.

Правильные правила подсчета очков

Ожидаемое значение логарифмического правила, когда событие 1 ожидается с вероятностью 0,8

Вероятностный прогнозист или алгоритм вернет вектор вероятности ${ displaystyle mathbf {r}}$ с вероятностью для каждого из ${ displaystyle i}$ результаты. Одним из вариантов использования функции подсчета очков может быть вознаграждение в размере ${ Displaystyle S ( mathbf {r}, я)}$ если ${ displaystyle i}$ происходит событие. Если правильный используется правило подсчета очков, тогда наивысший ожидал вознаграждение получается путем сообщения истинного распределения вероятностей. Использование правильного правила подсчета очков побуждает прогнозиста быть честным и максимизировать ожидаемое вознаграждение.^[3]

Правило подсчета очков строго правильно если он однозначно оптимизирован по истинным вероятностям. Оптимизация в этом случае будет соответствовать максимизации для квадратичных, сферических и логарифмических правил, но минимизации для оценки Брайера. Это можно увидеть на изображении справа для логарифмического правила. Здесь ожидается, что Событие 1 произойдет с вероятностью 0,8, и ожидаемая оценка (или вознаграждение) показана как функция сообщенной вероятности. Способ максимизировать ожидаемое вознаграждение - сообщить фактическую вероятность 0,8, поскольку все другие сообщаемые вероятности дадут более низкий ожидаемый результат. Это свойство сохраняется, потому что логарифмический счет правильный.

Примеры правильных правил выставления оценок

Существует бесконечное количество правил оценки, включая целые параметризованные семейства надлежащих правил оценки. Те, что показаны ниже, являются просто популярными примерами.

Правило логарифмической оценки

Правило логарифмической оценки является строго локальным правилом оценки. Это тоже минус неожиданный, который обычно используется в качестве критерия оценки в Байесовский вывод; цель - свести к минимуму ожидаемое удивление. Это правило оценки имеет прочную основу в теория информации.

{ Displaystyle L ( mathbf {r}, я) = ln (r_ {i})}

Здесь оценка рассчитывается как логарифм оценки вероятности фактического результата. То есть, прогноз на 80%, который правильно подтвердился, получит оценку $ln (0,8) = -0,22$ . Этот же прогноз также присваивает 20% вероятность противоположному случаю, и поэтому, если прогноз окажется ложным, он получит оценку, основанную на 20%: $ln (0,2) = -1,6$ . Задача синоптика - максимизировать оценку и сделать ее как можно больше, при этом -0,22 действительно больше, чем -1,6.

Если рассматривать истинность или ложность предсказания как переменную $Икс$ со значением 1 или 0 соответственно, и выраженная вероятность как $п$ , то можно записать логарифмическое правило оценки в виде $Икс ln (п) + (1 - Икс) ln (1 - п)$ . Обратите внимание, что можно использовать любую логарифмическую основу, поскольку строго правильные правила подсчета очков остаются строго правильными при линейном преобразовании. То есть:

{ Displaystyle L ( mathbf {r}, i) = log _ {b} (r_ {i})}

строго подходит для всех ${ displaystyle b> 1}$ .

Правило Бриера / квадратичной оценки

Квадратичное правило подсчета очков - это строго правильное правило подсчета очков.

{ displaystyle Q ( mathbf {r}, i) = 2r_ {i} - mathbf {r} cdot mathbf {r} = 2r_ {i} - sum _ {j = 1} ^ {C} r_ {j} ^ {2}}

куда ${ displaystyle r_ {i}}$ вероятность правильного ответа и ${ displaystyle C}$ количество классов.

В Оценка Бриера, первоначально предложенный Гленном В. Брайером в 1950 году,^[4] может быть получен аффинное преобразование из правила квадратичной оценки.

{ displaystyle B ( mathbf {r}, i) = sum _ {j = 1} ^ {C} (y_ {j} -r_ {j}) ^ {2}}

Где ${ displaystyle y_ {j} = 1}$ когда ${ displaystyle j}$ ое событие правильное и ${ displaystyle y_ {j} = 0}$ иначе и ${ displaystyle C}$ количество классов.

Важное различие между этими двумя правилами заключается в том, что прогнозист должен стремиться максимизировать квадратичный балл, но при этом минимизировать показатель Брайера. Это связано с отрицательным знаком линейного преобразования между ними.

Правило сферической оценки

Правило сферической оценки также является строго правильным правилом оценки.

{ displaystyle S ( mathbf {r}, i) = { frac {r_ {i}} { lVert mathbf {r} rVert}} = { frac {r_ {i}} { sqrt {r_ {1} ^ {2} + cdots + r_ {c} ^ {2}}}}}

Интерпретация правильных правил подсчета очков

Все надлежащие правила подсчета баллов равны взвешенным суммам (интегральным с неотрицательным весовым функционалом) потерь в наборе простых двух альтернативных задач решения, которые использовать вероятностное прогнозирование, при этом каждая такая проблема решения имеет конкретную комбинацию связанных стоимостных параметров для ложноположительных и ложноотрицательных решений. А строго Правило правильного подсчета очков соответствует ненулевому весу для всех возможных пороговых значений решения. Любое данное правильное правило оценки равно ожидаемым потерям в отношении конкретного распределения вероятностей по порогам принятия решения; таким образом, выбор правила подсчета очков соответствует предположению о распределении вероятностей проблем принятия решений, для которых в конечном итоге будут использоваться предсказанные вероятности, с, например, правилом подсчета квадратичных потерь (или правилом Бриера), соответствующим равномерной вероятности того, что порог решения будет где угодно между нулем и единицей. В оценка точности, который равен нулю или единице в зависимости от того, находится ли прогнозируемая вероятность на соответствующей стороне 0,5, является правильным правилом оценки, но не строго правильным правилом оценки.^[5]^[6]^[7]^[8]^[9]

Сравнение правильных правил подсчета очков

Ниже слева показано графическое сравнение логарифмических, квадратичных и сферических правил подсчета очков для задачи двоичной классификации. В Икс-axis указывает вероятность события, которое действительно произошло.

Важно отметить, что каждая из оценок имеет разную величину и расположение. Однако различия в величине не имеют значения, поскольку оценки остаются правильными при аффинном преобразовании. Поэтому для сравнения разных оценок необходимо привести их к общей шкале. Разумный выбор нормализации показан на рисунке справа, где все оценки пересекают точки (0,5,0) и (1,1). Это гарантирует, что они дают 0 для равномерного распределения (две вероятности по 0,5 каждая), что означает отсутствие затрат или вознаграждения за отчет о том, что часто является базовым распределением. Все приведенные ниже нормализованные баллы также дают 1, если истинному классу присваивается вероятность 1.

Оценка бинарной классификации для истинного класса, показывающая логарифмическую (синий), сферическую (зеленый) и квадратичную (красный)

Нормализованная оценка бинарной классификации для истинного класса, показывающая логарифмический (синий), сферический (зеленый) и квадратичный (красный)

Характеристики

Положительно-аффинное преобразование

Строго правильное правило оценки, будь то бинарное или мультиклассовое, после положительного -аффинное преобразование остается строго правильным правилом подсчета очков.^[2] То есть, если ${ Displaystyle S ( mathbf {r}, я)}$ строго правильное правило подсчета очков, тогда ${ displaystyle a + bS ( mathbf {r}, i)}$ с ${ displaystyle b> 0}$ также строго правильное правило подсчета очков.

Местонахождение

Правильным правилом подсчета очков считается местный если его оценка вероятности конкретного события зависит только от вероятности этого события. Это утверждение расплывчато в большинстве описаний, но в большинстве случаев мы можем думать об этом как об оптимальном решении задачи оценки «в конкретном событии», инвариантно ко всем изменениям в распределении наблюдений, которые оставляют неизменной вероятность этого события. Все бинарные оценки являются локальными, поскольку определяется вероятность, присвоенная событию, которое не произошло, поэтому нет степени гибкости, которую можно было бы изменить.

Аффинные функции логарифмического правила оценки - единственные строго правильные локальные правила оценки на конечном множестве, которое не является двоичным.

Разложение

Ожидаемое значение правильного правила подсчета очков ${ displaystyle S}$ можно разложить на сумму трех компонентов, называемых неуверенность, надежность, и разрешающая способность,^[10]^[11] которые характеризуют различные атрибуты вероятностных прогнозов:

{ Displaystyle E (S) = mathrm {UNC} + mathrm {REL} - mathrm {RES}.}

Если оценка правильная и отрицательно ориентирована (например, оценка Бриера), все три члена являются положительно определенными. Компонент неопределенности равен ожидаемой оценке прогноза, который постоянно предсказывает среднюю частоту событий. Компонент надежности наказывает плохо откалиброванные прогнозы. , в котором предсказанные вероятности не совпадают с частотами событий.

Уравнения для отдельных компонентов зависят от конкретного правила подсчета очков. Для показателя Бриера они даются как

{ displaystyle mathrm {UNC} = { bar {x}} (1 - { bar {x}})}

{ Displaystyle mathrm {REL} = E (p- pi (p)) ^ {2}}

{ Displaystyle mathrm {RES} = E ( pi (p) - { bar {x}}) ^ {2}}

куда ${ displaystyle { bar {x}}}$ - средняя вероятность возникновения двоичного события ${ displaystyle x}$ , и ${ Displaystyle пи (р)}$ - условная вероятность события, заданная ${ displaystyle p}$ , т.е. ${ Displaystyle пи (р) = п (х = 1 середина р)}$

Смотрите также

Правило принятия решения

внешняя ссылка

[1] Моджаб, Рамин (4 августа 2016 г.). «Вероятностное прогнозирование с использованием стационарных VAR-моделей». Дои:10.2139 / ssrn.2818213. SSRN 2818213. Цитировать журнал требует | журнал = (помощь)

[Bickel-2] а ^б Бикель, Э. (2007). «Некоторые сравнения квадратичных, сферических и логарифмических правил подсчета очков» (PDF). Анализ решений. 4 (2): 49–65. Дои:10.1287 / дека.1070.0089.

[3] Гнейтинг, Тильманн; Рафтери, Адриан Э. (2007). «Строго правильные правила выставления оценок, прогнозов и оценок». Журнал Американской статистической ассоциации. 102 (447): 359–378. Дои:10.1198/016214506000001437.

[Brier-4] Брайер, Г. (1950). «Проверка прогнозов, выраженных с точки зрения вероятности» (PDF). Ежемесячный обзор погоды. 78 (1): 1–3. Bibcode:1950MWRv ... 78 .... 1B. Дои:10.1175 / 1520-0493 (1950) 078 <0001: VOFEIT> 2.0.CO; 2.

[5] Леонард Дж. Сэвидж. Выявление личных вероятностей и ожиданий. J. of American Stat.Assoc., 66 (336): 783–801, 1971.

[6] Шервиш, Марк Дж. (1989). "Общий метод сравнения оценщиков вероятности", Анналы статистики 17(4) 1856–1879, https://projecteuclid.org/euclid.aos/1176347398

[7] Розен, Дэвид Б. (1996). «Насколько хороши были эти вероятностные прогнозы? Правило оценки ожидаемой потери рекомендаций (ERL)». В Heidbreder, G. (ред.). Максимальная энтропия и байесовские методы (материалы тринадцатого международного семинара, август 1993 г.). Клувер, Дордрехт, Нидерланды. CiteSeerX 10.1.1.52.1557.

[8] "Функции потерь для оценки и классификации двоичных классов: структура и приложения", Андреас Буйя, Вернер Штутцле, Йи Шен (2005) http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.184.5203

[9] Эрнандес-Оралло, Хосе; Флак, Питер; и Ферри, Сезар (2012). «Единый взгляд на показатели производительности: перевод порогового выбора в ожидаемую классификационную потерю». Журнал исследований в области машинного обучения 13 2813–2869. http://www.jmlr.org/papers/volume13/hernandez-orallo12a/hernandez-orallo12a.pdf

[Murphy-10] Мерфи, A.H. (1973). «Новое векторное разбиение оценки вероятности». Журнал прикладной метеорологии. 12 (4): 595–600. Bibcode:1973JApMe..12..595M. Дои:10.1175 / 1520-0450 (1973) 012 <0595: ANVPOT> 2.0.CO; 2.

[Broecker-11] Брекер, Дж. (2009). «Надежность, достаточность и декомпозиция правильных оценок» (PDF). Ежеквартальный журнал Королевского метеорологического общества. 135 (643): 1512–1519. arXiv:0806.0813. Bibcode:2009QJRMS.135.1512B. Дои:10.1002 / qj.456.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]