Среднеквадратичная ошибка - Mean squared error

В статистика, то среднеквадратичная ошибка (MSE)^[1]^[2] или среднеквадратическое отклонение (MSD) из оценщик (процедуры оценки ненаблюдаемой величины) измеряет средний квадратов ошибки - то есть средний квадрат разницы между оценочными и фактическими значениями. MSE - это функция риска, соответствующий ожидаемое значение квадрата ошибки потери. Тот факт, что MSE почти всегда строго положительный (а не нулевой), объясняется тем, что случайность или потому что оценщик не учитывает информацию это может дать более точную оценку.^[3]

MSE - это мера качества оценки - она всегда неотрицательна, а значения, близкие к нулю, лучше.

МСЭ - второй момент (о происхождении) ошибки и, таким образом, включает в себя как отклонение оценщика (насколько разбросаны оценки от одного образец данных другому) и его предвзятость (насколько далеко среднее оценочное значение от истинного значения). Для объективный оценщик, MSE - это дисперсия оценки. Как и дисперсия, MSE имеет те же единицы измерения, что и квадрат оцениваемой величины. По аналогии с стандартное отклонение, извлечение квадратного корня из MSE дает среднеквадратичную ошибку или среднеквадратичное отклонение (RMSE или RMSD), который имеет те же единицы, что и оцениваемое количество; для несмещенной оценки RMSE - это квадратный корень из отклонение, известный как стандартная ошибка.

Определение и основные свойства

MSE либо оценивает качество предсказатель (т.е. функция, отображающая произвольные входные данные в выборку значений некоторых случайная переменная ) или оценщик (т.е. математическая функция отображение образец данных для оценки параметр из численность населения из которого берутся данные). Определение MSE различается в зависимости от того, описывается ли предсказатель или оценщик.

Предсказатель

Если вектор ${ displaystyle n}$ прогнозы генерируются из выборки п точки данных по всем переменным, и ${ displaystyle Y}$ - вектор наблюдаемых значений прогнозируемой переменной, при этом ${ displaystyle { hat {Y}}}$ будучи предсказанными значениями (например, по методу наименьших квадратов), то MSE в пределах выборки предсказателя вычисляется как

{ displaystyle operatorname {MSE} = { frac {1} {n}} sum _ {i = 1} ^ {n} (Y_ {i} - { hat {Y_ {i}}}) ^ { 2}.}

Другими словами, MSE - это иметь в виду ${ displaystyle left ({ frac {1} {n}} sum _ {i = 1} ^ {n} right)}$ из квадраты ошибок ${ displaystyle (Y_ {i} - { hat {Y_ {i}}}) ^ {2}}$ . Это легко вычисляемая величина для конкретного образца (и, следовательно, зависит от образца).

В матрица обозначение

{ displaystyle operatorname {MSE} = { frac {1} {n}} sum _ {i = 1} ^ {n} (e_ {i}) ^ {2} = { frac {1} {n }} mathbf {e} ^ { mathsf {T}} mathbf {e}}

куда ${ displaystyle e_ {i}}$ является ${ displaystyle (Y_ {i} - { hat {Y_ {i}}})}$ и ${ displaystyle mathbf {e}}$ это ${ Displaystyle п раз 1}$ матрица.

MSE также можно вычислить на q точки данных, которые не использовались при оценке модели, либо потому, что они были задержаны для этой цели, либо потому, что эти данные были получены заново. В этом процессе (известном как перекрестная проверка ), MSE часто называют среднеквадратичная ошибка прогноза, и вычисляется как

{ displaystyle operatorname {MSPE} = { frac {1} {q}} sum _ {i = n + 1} ^ {n + q} (Y_ {i} - { hat {Y_ {i}} }) ^ {2}.}

Оценщик

MSE оценщика ${ displaystyle { hat { theta}}}$ по неизвестному параметру ${ displaystyle theta}$ определяется как^[2]

{ displaystyle operatorname {MSE} ({ hat { theta}}) = operatorname {E} _ { theta} left [({ hat { theta}} - theta) ^ {2} верно].}

Это определение зависит от неизвестного параметра, но MSE априори свойство оценщика. MSE может быть функцией неизвестных параметров, и в этом случае любой оценщик MSE на основе оценок этих параметров будет функцией данных (и, следовательно, случайной величиной). Если оценщик ${ displaystyle { hat { theta}}}$ выводится как статистика выборки и используется для оценки некоторого параметра совокупности, тогда ожидание относится к распределению выборки статистики выборки.

MSE можно записать как сумму отклонение оценщика и квадрата предвзятость оценщика, обеспечивая полезный способ вычисления MSE и подразумевая, что в случае несмещенных оценок MSE и дисперсия эквивалентны.^[4]

{ displaystyle operatorname {MSE} ({ hat { theta}}) = operatorname {Var} _ { theta} ({ hat { theta}}) + operatorname {Bias} ({ hat { theta}}, theta) ^ {2}.}

Доказательство отношения дисперсии и предвзятости

{ displaystyle { begin {align} operatorname {MSE} ({ hat { theta}}) & = operatorname {E} _ { theta} left [({ hat { theta}} - theta) ^ {2} right] & = operatorname {E} _ { theta} left [ left ({ hat { theta}} - operatorname {E} _ { theta} [{ hat { theta}}] + operatorname {E} _ { theta} [{ hat { theta}}] - theta right) ^ {2} right] & = operatorname {E } _ { theta} left [ left ({ hat { theta}} - operatorname {E} _ { theta} [{ hat { theta}}] right) ^ {2} +2 left ({ hat { theta}} - operatorname {E} _ { theta} [{ hat { theta}}] right) left ( operatorname {E} _ { theta} [{ hat { theta}}] - theta right) + left ( operatorname {E} _ { theta} [{ hat { theta}}] - theta right) ^ {2} right ] & = operatorname {E} _ { theta} left [ left ({ hat { theta}} - operatorname {E} _ { theta} [{ hat { theta}}] right) ^ {2} right] + operatorname {E} _ { theta} left [2 left ({ hat { theta}} - operatorname {E} _ { theta} [{ шляпа { theta}}] right) left ( operatorname {E} _ { theta} [{ hat { theta}}] - theta right) right] + operatorname {E} _ { the ta} left [ left ( operatorname {E} _ { theta} [{ hat { theta}}] - theta right) ^ {2} right] & = operatorname {E} _ { theta} left [ left ({ hat { theta}} - operatorname {E} _ { theta} [{ hat { theta}}] right) ^ {2} right] +2 left ( operatorname {E} _ { theta} [{ hat { theta}}] - theta right) operatorname {E} _ { theta} left [{ hat { theta }} - operatorname {E} _ { theta} [{ hat { theta}}] right] + left ( operatorname {E} _ { theta} [{ hat { theta}}] - theta right) ^ {2} && operatorname {E} _ { theta} [{ hat { theta}}] - theta = { text {const.}} & = operatorname { E} _ { theta} left [ left ({ hat { theta}} - operatorname {E} _ { theta} [{ hat { theta}}] right) ^ {2} right] +2 left ( operatorname {E} _ { theta} [{ hat { theta}}] - theta right) left ( operatorname {E} _ { theta} [{ hat { theta}}] - operatorname {E} _ { theta} [{ hat { theta}}] right) + left ( operatorname {E} _ { theta} [{ hat { theta}}] - theta right) ^ {2} && operatorname {E} _ { theta} [{ hat { theta}}] = { text {const.}} & = operatorname {E} _ { theta} l eft [ left ({ hat { theta}} - operatorname {E} _ { theta} [{ hat { theta}}] right) ^ {2} right] + left ( operatorname {E} _ { theta} [{ hat { theta}}] - theta right) ^ {2} & = operatorname {Var} _ { theta} ({ hat { theta} }) + operatorname {Bias} _ { theta} ({ hat { theta}}, theta) ^ {2} end {align}}}

В качестве альтернативы у нас есть

{ displaystyle { begin {align} mathbb {E} ( theta - { hat { theta}}) ^ {2} & = mathbb {E} ({ hat { theta}} ^ {2 }) + mathbb {E} ( theta ^ {2}) - 2 theta mathbb {E} ({ hat { theta}}) & = operatorname {Var} ({ hat { theta}}) + ( mathbb {E} { hat { theta}}) ^ {2} + theta ^ {2} -2 theta mathbb {E} ({ hat { theta}}) & = operatorname {Var} ({ hat { theta}}) + ( mathbb {E} { hat { theta}} - theta) ^ {2} & = operatorname {Var } ({ hat { theta}}) + operatorname {Bias} ^ {2} ({ hat { theta}}) end {align}}}

Но в реальном случае моделирования MSE можно описать как добавление дисперсии модели, систематической ошибки модели и неснижаемой неопределенности. Согласно соотношению, MSE оценщиков может быть просто использована для эффективность сравнение, которое включает информацию о дисперсии и смещении оценки. Это называется критерием MSE.

В регрессе

В регрессивный анализ, построение графиков - более естественный способ просмотра общей тенденции всех данных. Среднее значение расстояния от каждой точки до прогнозируемой регрессионной модели может быть вычислено и показано как среднеквадратичная ошибка. Возведение в квадрат критически важно для уменьшения сложности с отрицательными знаками. Чтобы свести к минимуму MSE, модель может быть более точной, что означает, что модель ближе к фактическим данным. Одним из примеров линейной регрессии с использованием этого метода является метод наименьших квадратов —Который оценивает соответствие модели линейной регрессии модели двумерный набор данных^[5], но чье ограничение связано с известным распределением данных.

Период, термин среднеквадратичная ошибка иногда используется для обозначения объективной оценки дисперсии ошибки: остаточная сумма квадратов делится на количество степени свободы. Это определение известной вычисленной величины отличается от приведенного выше определения вычисленной MSE предиктора тем, что используется другой знаменатель. Знаменатель - это размер выборки, уменьшенный на количество параметров модели, оцененных на основе тех же данных, (н-р) за п регрессоры или (п-п-1) если используется перехват (см. ошибки и остатки в статистике Больше подробностей).^[6] Хотя MSE (как определено в этой статье) не является объективной оценкой дисперсии ошибки, она последовательный, учитывая непротиворечивость предсказателя.

В регрессионном анализе «среднеквадратичная ошибка», часто называемая среднеквадратичная ошибка прогноза или "среднеквадратичная ошибка вне выборки", также может относиться к среднему значению квадратичные отклонения прогнозов на основе истинных значений в тестовом пространстве вне выборки, сгенерированных моделью, оцененной в конкретном пространстве выборки. Это также известная вычисляемая величина, которая зависит от образца и тестового пространства вне образца.

Примеры

Иметь в виду

Предположим, у нас есть случайная выборка размера ${ displaystyle n}$ от населения, ${ Displaystyle X_ {1}, точки, X_ {n}}$ . Предположим, что образцы были выбраны с заменой. Это ${ displaystyle n}$ единицы выбираются по одному, и ранее выбранные единицы по-прежнему имеют право на выбор для всех ${ displaystyle n}$ рисует. Обычная оценка для ${ displaystyle mu}$ это среднее по выборке^[1]

{ displaystyle { overline {X}} = { frac {1} {n}} sum _ {i = 1} ^ {n} X_ {i}}

ожидаемое значение которого равно истинному среднему значению ${ displaystyle mu}$ (так что это беспристрастно) и среднеквадратичная ошибка

{ Displaystyle OperatorName {MSE} left ({ overline {X}} right) = operatorname {E} left [ left ({ overline {X}} - mu right) ^ {2} right] = left ({ frac { sigma} { sqrt {n}}} right) ^ {2} = { frac { sigma ^ {2}} {n}}}

куда ${ displaystyle sigma ^ {2}}$ это дисперсия населения.

Для Гауссово распределение, это лучший объективный оценщик (то есть с самой низкой MSE среди всех несмещенных оценок), но не, скажем, для равномерное распределение.

Дисперсия

Обычной оценкой дисперсии является исправлено выборочная дисперсия:

{ displaystyle S_ {n-1} ^ {2} = { frac {1} {n-1}} sum _ {i = 1} ^ {n} left (X_ {i} - { overline { X}} right) ^ {2} = { frac {1} {n-1}} left ( sum _ {i = 1} ^ {n} X_ {i} ^ {2} -n { overline {X}} ^ {2} right).}

Это объективно (его ожидаемое значение ${ displaystyle sigma ^ {2}}$ ), поэтому также называется объективная дисперсия выборки, и его MSE^[7]

{ displaystyle operatorname {MSE} (S_ {n-1} ^ {2}) = { frac {1} {n}} left ( mu _ {4} - { frac {n-3} { n-1}} sigma ^ {4} right) = { frac {1} {n}} left ( gamma _ {2} + { frac {2n} {n-1}} right) sigma ^ {4},}

куда ${ displaystyle mu _ {4}}$ это четвертый центральный момент распределения или населения, и ${ Displaystyle gamma _ {2} = mu _ {4} / sigma ^ {4} -3}$ это избыточный эксцесс.

Однако можно использовать другие оценки для ${ displaystyle sigma ^ {2}}$ которые пропорциональны ${ Displaystyle S_ {п-1} ^ {2}}$ , и соответствующий выбор всегда может дать более низкую среднеквадратичную ошибку. Если мы определим

{ displaystyle S_ {a} ^ {2} = { frac {n-1} {a}} S_ {n-1} ^ {2} = { frac {1} {a}} sum _ {i = 1} ^ {n} left (X_ {i} - { overline {X}} , right) ^ {2}}

затем рассчитываем:

{ displaystyle { begin {align} operatorname {MSE} (S_ {a} ^ {2}) & = operatorname {E} left [ left ({ frac {n-1} {a}} S_ {n-1} ^ {2} - sigma ^ {2} right) ^ {2} right] & = operatorname {E} left [{ frac {(n-1) ^ {2 }} {a ^ {2}}} S_ {n-1} ^ {4} -2 left ({ frac {n-1} {a}} S_ {n-1} ^ {2} right) sigma ^ {2} + sigma ^ {4} right] & = { frac {(n-1) ^ {2}} {a ^ {2}}} operatorname {E} left [ S_ {n-1} ^ {4} right] -2 left ({ frac {n-1} {a}} right) operatorname {E} left [S_ {n-1} ^ {2 } right] sigma ^ {2} + sigma ^ {4} & = { frac {(n-1) ^ {2}} {a ^ {2}}} operatorname {E} left [S_ {n-1} ^ {4} right] -2 left ({ frac {n-1} {a}} right) sigma ^ {4} + sigma ^ {4} && operatorname {E} left [S_ {n-1} ^ {2} right] = sigma ^ {2} & = { frac {(n-1) ^ {2}} {a ^ {2} }} left ({ frac { gamma _ {2}} {n}} + { frac {n + 1} {n-1}} right) sigma ^ {4} -2 left ({ frac {n-1} {a}} right) sigma ^ {4} + sigma ^ {4} && operatorname {E} left [S_ {n-1} ^ {4} right] = operatorname {MSE} (S_ {n-1} ^ {2}) + sigma ^ {4} & = { frac {n-1} {na ^ {2}}} left ((n- 1) gamma _ {2} + n ^ {2} + n right) sigma ^ {4} -2 left ({ frac {n-1} {a}} right) sigma ^ {4 } + sigm а ^ {4} end {выровнено}}}

Это сводится к минимуму, когда

{ displaystyle a = { frac {(n-1) gamma _ {2} + n ^ {2} + n} {n}} = n + 1 + { frac {n-1} {n}} gamma _ {2}.}

Для Гауссово распределение, куда ${ displaystyle gamma _ {2} = 0}$ , это означает, что MSE минимизируется при делении суммы на ${ Displaystyle а = п + 1}$ . Минимальный избыточный эксцесс составляет ${ displaystyle gamma _ {2} = - 2}$ ,^[а] что достигается за счет Распределение Бернулли с п = 1/2 (подбрасывание монеты), и MSE минимизируется для ${ displaystyle a = n-1 + { tfrac {2} {n}}.}$ Следовательно, независимо от эксцесса, мы получаем «лучшую» оценку (в смысле наличия более низкой MSE), немного уменьшая несмещенную оценку; это простой пример оценщик усадки: один "сжимает" оценку до нуля (уменьшает несмещенную оценку).

Далее, хотя исправленная дисперсия выборки является лучший объективный оценщик (минимальная среднеквадратичная ошибка среди несмещенных оценок) дисперсии для гауссовских распределений, если распределение не является гауссовым, то даже среди несмещенных оценок лучшая несмещенная оценка дисперсии может не быть ${ displaystyle S_ {n-1} ^ {2}.}$

Гауссово распределение

В следующей таблице приведены несколько оценок истинных параметров популяции, μ и σ.², для гауссова случая.^[8]

Истинное значение	Оценщик	Среднеквадратичная ошибка
${ displaystyle theta = mu}$	${ displaystyle { hat { theta}}}$ = несмещенная оценка Средняя численность населения, ${ displaystyle { overline {X}} = { frac {1} {n}} sum _ {i = 1} ^ {n} (X_ {i})}$	${ displaystyle operatorname {MSE} ({ overline {X}}) = operatorname {E} (({ overline {X}} - mu) ^ {2}) = left ({ frac { sigma} { sqrt {n}}} right) ^ {2}}$
${ Displaystyle theta = sigma ^ {2}}$	${ displaystyle { hat { theta}}}$ = несмещенная оценка дисперсия населения, ${ displaystyle S_ {n-1} ^ {2} = { frac {1} {n-1}} sum _ {i = 1} ^ {n} left (X_ {i} - { overline { X}} , right) ^ {2}}$	${ displaystyle operatorname {MSE} (S_ {n-1} ^ {2}) = operatorname {E} ((S_ {n-1} ^ {2} - sigma ^ {2}) ^ {2} ) = { frac {2} {n-1}} sigma ^ {4}}$
${ Displaystyle theta = sigma ^ {2}}$	${ displaystyle { hat { theta}}}$ = смещенная оценка дисперсия населения, ${ displaystyle S_ {n} ^ {2} = { frac {1} {n}} sum _ {i = 1} ^ {n} left (X_ {i} - { overline {X}} , right) ^ {2}}$	${ displaystyle operatorname {MSE} (S_ {n} ^ {2}) = operatorname {E} ((S_ {n} ^ {2} - sigma ^ {2}) ^ {2}) = { гидроразрыв {2n-1} {n ^ {2}}} sigma ^ {4}}$
${ Displaystyle theta = sigma ^ {2}}$	${ displaystyle { hat { theta}}}$ = смещенная оценка дисперсия населения, ${ displaystyle S_ {n + 1} ^ {2} = { frac {1} {n + 1}} sum _ {i = 1} ^ {n} left (X_ {i} - { overline { X}} , right) ^ {2}}$	${ displaystyle operatorname {MSE} (S_ {n + 1} ^ {2}) = operatorname {E} ((S_ {n + 1} ^ {2} - sigma ^ {2}) ^ {2} ) = { frac {2} {n + 1}} sigma ^ {4}}$

Интерпретация

MSE равна нулю, что означает, что оценщик ${ displaystyle { hat { theta}}}$ предсказывает наблюдения параметра ${ displaystyle theta}$ с идеальной точностью идеален (но обычно невозможен).

Значения MSE могут использоваться для сравнительных целей. Два и более статистические модели можно сравнить, используя их MSE - как меру того, насколько хорошо они объясняют данный набор наблюдений: несмещенная оценка (рассчитанная на основе статистической модели) с наименьшей дисперсией среди всех несмещенных оценок - это оценка лучший объективный оценщик или MVUE (несмещенная оценка минимальной дисперсии).

Обе линейная регрессия методы, такие как дисперсионный анализ оценить MSE как часть анализа и использовать оценочную MSE для определения Статистическая значимость изучаемых факторов или предикторов. Цель экспериментальная конструкция состоит в том, чтобы построить эксперименты таким образом, чтобы при анализе наблюдений MSE была близка к нулю относительно величины по крайней мере одного из оцененных эффектов лечения.

В односторонний дисперсионный анализ, MSE можно вычислить путем деления суммы квадратов ошибок и степени свободы. Кроме того, значение f - это отношение среднего квадрата обработки и MSE.

MSE также используется в нескольких пошаговая регрессия методы как часть определения того, сколько предикторов из набора кандидатов включить в модель для данного набора наблюдений.

Приложения

Минимизация MSE является ключевым критерием при выборе оценщиков: см. минимальная среднеквадратичная ошибка. Среди несмещенных оценщиков минимизация MSE эквивалентна минимизации дисперсии, а оценщик, который делает это, является несмещенная оценка минимальной дисперсии. Однако смещенная оценка может иметь более низкую MSE; видеть систематическая ошибка оценки.
В статистическое моделирование MSE может представлять разницу между фактическими наблюдениями и значениями наблюдений, предсказанными моделью. В этом контексте он используется для определения степени, в которой модель соответствует данным, а также возможности удаления некоторых объясняющих переменных без значительного ущерба для прогнозирующей способности модели.
В прогнозирование и прогноз, то Оценка Бриера это мера умение прогнозировать на основе MSE.

Функция потерь

Квадратичная потеря ошибок - одна из наиболее широко используемых функции потерь в статистике^{[нужна цитата ]}, хотя его широкое использование проистекает больше из математического удобства, чем из соображений реальных потерь в приложениях. Карл Фридрих Гаусс, который ввел использование среднеквадратичной ошибки, сознавал ее произвол и был согласен с возражениями против нее на этих основаниях.^[3] Математические преимущества среднеквадратичной ошибки особенно очевидны при ее использовании при анализе производительности линейная регрессия, поскольку он позволяет разделить вариацию в наборе данных на вариации, объясняемые моделью, и вариации, объясняемые случайностью.

Критика

Использование среднеквадратичной ошибки без вопросов подвергалось критике со стороны теоретик решений Джеймс Бергер. Среднеквадратичная ошибка - это отрицательное значение ожидаемого значения одного конкретного вспомогательная функция, квадратичная функция полезности, которая может не подходить для использования в данном наборе обстоятельств. Однако есть некоторые сценарии, в которых среднеквадратичная ошибка может служить хорошим приближением к функции потерь, естественным образом возникающей в приложении.^[9]

подобно отклонение, среднеквадратичная ошибка имеет тот недостаток, что выбросы.^[10] Это результат возведения в квадрат каждого члена, который фактически дает больший вес большим ошибкам, чем малым. Это свойство, нежелательное для многих приложений, заставило исследователей использовать альтернативы, такие как средняя абсолютная ошибка, или основанные на медиана.

Смотрите также

Примечания

^ Это может быть доказано Неравенство Дженсена следующим образом. Четвертый центральный момент является верхней границей квадрата дисперсии, так что наименьшее значение для их отношения равно единице, следовательно, наименьшее значение для избыточный эксцесс равно −2, что достигается, например, Бернулли с п=1/2.