Отклонение (статистика) - Deviance (statistics)

В статистика, отклонение это добродетель статистика для статистическая модель; это часто используется для статистическая проверка гипотез. Это обобщение идеи использования суммы квадратов остатки в обыкновенный метод наименьших квадратов в случаях, когда подгонка модели достигается максимальная вероятность. Он играет важную роль в модели экспоненциальной дисперсии и обобщенные линейные модели.

Определение

Единичное отклонение^[1][2] ${ Displaystyle д (у, му)}$ - двумерная функция, удовлетворяющая следующим условиям:

• ${ displaystyle d (y, y) = 0}$
• ${ displaystyle d (y, mu)> 0 quad forall y neq mu}$

Полное отклонение ${ Displaystyle D ( mathbf {y}, { hat { boldsymbol { mu}}})}$ модели с прогнозами ${ displaystyle { hat { boldsymbol { mu}}}}$ наблюдения ${ displaystyle mathbf {y}}$ это сумма его единичных отклонений: ${ displaystyle D ( mathbf {y}, { hat { boldsymbol { mu}}}) = sum _ {i} d (y_ {i}, { hat { mu}} _ {i} )}$.

(Общее) отклонение для модели M₀ с оценками ${ displaystyle { hat { mu}} = E [Y | { hat { theta}} _ {0}]}$, на основе набора данных у, может быть построен по вероятности как:^[3][4]

${ displaystyle D (y, { hat { mu}}) = 2 { Big (} log { big (} p (y mid { hat { theta}} _ {s}) { big)} - log { big (} p (y mid { hat { theta}} _ {0}) { big)} { Big)}. ,}$

Здесь ${ displaystyle { hat { theta}} _ {0}}$ обозначает подогнанные значения параметров в модели M₀, пока ${ displaystyle { hat { theta}} _ {s}}$ обозначает подогнанные параметры для насыщенная модель: оба набора подобранных значений неявно являются функциями наблюдений у. Здесь насыщенная модель - это модель с параметром для каждого наблюдения, чтобы данные точно соответствовали. Это выражение просто в 2 раза больше логарифмическое отношение правдоподобия полной модели по сравнению с уменьшенной моделью. Отклонение используется для сравнения двух моделей - в частности, в случае обобщенные линейные модели (GLM), где он играет роль, аналогичную остаточной дисперсии от ANOVA в линейных моделях (RSS ).

Допустим, в рамках GLM у нас есть два вложенные модели, M₁ и M₂. В частности, предположим, что M₁ содержит параметры в M₂, и k дополнительные параметры. Тогда при нулевой гипотезе M₂ является истинной моделью, разница между отклонениями для двух моделей следует на основе Теорема Уилкса, приблизительный распределение хи-квадрат с k-степени свободы.^[4] Это можно использовать для проверки гипотез об отклонении.

Некоторое использование термина «отклонение» может сбивать с толку. По словам Коллетта:^[5]

"количество ${ displaystyle -2 log { big (} p (y mid { hat { theta}} _ {0}) { big)}}$ иногда называют отклонение. Это [...] неуместно, поскольку в отличие от отклонения, используемого в контексте обобщенного линейного моделирования, ${ displaystyle -2 log { big (} p (y mid { hat { theta}} _ {0}) { big)}}$ не измеряет отклонение от модели, которая идеально подходит для данных. "Однако, поскольку основное использование заключается в форме различия отклонений двух моделей, эта путаница в определении не имеет значения.

Примеры

Единичное отклонение для распределения Пуассона равно ${ displaystyle d (y, mu) = 2 left (y log { frac {y} { mu}} - y + mu right)}$, единичное отклонение для нормального распределения определяется выражением ${ Displaystyle д (у, му) = влево (у- му вправо) ^ {2}}$.

Смотрите также

• Информационный критерий Акаике
• Информационный критерий отклонения
• Тест Хосмера – Лемешоу, статистика качества соответствия, которая может использоваться для двоичных данных
• Критерий хи-квадрат Пирсона, альтернативное качество статистики соответствия для обобщенные линейные модели для подсчета данных
• Критерий Пирса

Примечания

Рекомендации

• Маккаллах, Питер; Нелдер, Джон (1989). Обобщенные линейные модели, второе издание. Чепмен и Холл / CRC. ISBN  0-412-31760-5.

• Коллетт, Дэвид (2003). Моделирование данных о выживаемости в медицинских исследованиях, второе издание. Чепмен и Холл / CRC. ISBN  1-58488-325-1.

внешняя ссылка

• Обобщенные линейные модели - Эдвард Ф. Коннор
• Заметки к лекциям по девиансам