Несмещенная оценка минимальной дисперсии - Minimum-variance unbiased estimator

В статистика а несмещенная оценка с минимальной дисперсией (MVUE) или однородная несмещенная оценка с минимальной дисперсией (UMVUE) является объективный оценщик который имеет более низкую дисперсию, чем любой другой объективный оценщик для всех возможных значений параметра.

Для практических задач статистики важно определить MVUE, если таковой существует, поскольку при прочих равных условиях можно было бы избежать менее оптимальных процедур. Это привело к существенному развитию статистической теории, связанной с проблемой оптимального оценивания.

Комбинируя ограничение непредвзятость с метрикой желательности как минимум отклонение приводит к хорошим результатам в большинстве практических ситуаций - что делает MVUE естественной отправной точкой для широкого диапазона анализов - целевая спецификация может работать лучше для данной проблемы; таким образом, MVUE не всегда является лучшей точкой остановки.

Определение

Рассмотрим оценку ${ Displaystyle г ( тета)}$ на основе данных ${ Displaystyle X_ {1}, X_ {2}, ldots, X_ {n}}$ i.i.d. от какого-то члена семейства плотностей ${ displaystyle p _ { theta}, theta in Omega}$ , где ${ displaystyle Omega}$ - пространство параметров. Беспристрастная оценка ${ displaystyle delta (X_ {1}, X_ {2}, ldots, X_ {n})}$ из ${ Displaystyle г ( тета)}$ является UMVUE если ${ Displaystyle forall theta in Omega}$ ,

{ displaystyle operatorname {var} ( delta (X_ {1}, X_ {2}, ldots, X_ {n})) leq operatorname {var} ({ tilde { delta}} (X_ { 1}, X_ {2}, ldots, X_ {n}))}

для любого другого объективного оценщика ${ displaystyle { tilde { delta}}.}$

Если объективная оценка ${ Displaystyle г ( тета)}$ существует, то можно доказать, что существует по существу уникальный MVUE.^[1] С использованием Теорема Рао – Блэквелла можно также доказать, что определение MVUE - это просто вопрос поиска полный достаточно статистика для семьи ${ displaystyle p _ { theta}, theta in Omega}$ и кондиционирование Любые объективный оценщик на нем.

Далее, по Теорема Лемана – Шеффе, несмещенная оценка, которая является функцией полной, достаточной статистики, - это оценка UMVUE.

Формально предположим ${ displaystyle delta (X_ {1}, X_ {2}, ldots, X_ {n})}$ беспристрастен к ${ Displaystyle г ( тета)}$ , и это ${ displaystyle T}$ является полной достаточной статистикой для семейства плотностей. потом

{ displaystyle eta (X_ {1}, X_ {2}, ldots, X_ {n}) = operatorname {E} ( delta (X_ {1}, X_ {2}, ldots, X_ {n }) mid T) ,}

это MVUE для ${ displaystyle g ( theta).}$

А Байесовский аналог это Байесовская оценка, особенно с минимальная среднеквадратичная ошибка (MMSE).

Выбор оценщика

An эффективный оценщик не обязательно, но если он существует и если он беспристрастен, то это MVUE. Поскольку среднеквадратичная ошибка (MSE) оценщика δ является

{ displaystyle operatorname {MSE} ( delta) = Operatorname {var} ( delta) + [ operatorname {bias} ( delta)] ^ {2} }

MVUE минимизирует MSE среди непредвзятых оценщиков. В некоторых случаях смещенные оценки имеют более низкую MSE, потому что они имеют меньшую дисперсию, чем любая несмещенная оценка; увидеть систематическая ошибка оценки.

пример

Считайте данные единичным наблюдением из абсолютно непрерывное распределение на ${ Displaystyle mathbb {R}}$ с плотностью

{ displaystyle p _ { theta} (x) = { frac { theta e ^ {- x}} {(1 + e ^ {- x}) ^ { theta +1}}}}

и мы хотим найти оценку UMVU для

{ Displaystyle г ( theta) = { гидроразрыва {1} { theta ^ {2}}}}

Сначала мы понимаем, что плотность можно записать как

{ displaystyle { frac {e ^ {- x}} {1 + e ^ {- x}}} exp (- theta log (1 + e ^ {- x}) + log ( theta) )}

Это экспоненциальная семья с достаточная статистика ${ Displaystyle Т = журнал (1 + е ^ {- х})}$ . Фактически это экспоненциальная семья полного ранга, и поэтому ${ displaystyle T}$ вполне достаточно. Увидеть экспоненциальная семья для вывода, который показывает

{ displaystyle operatorname {E} (T) = { frac {1} { theta}}, quad operatorname {var} (T) = { frac {1} { theta ^ {2}}} }

Следовательно,

{ displaystyle operatorname {E} (T ^ {2}) = { frac {2} { theta ^ {2}}}}

Здесь мы используем теорему Лемана – Шеффе, чтобы получить MVUE

Ясно ${ displaystyle delta (X) = { frac {T ^ {2}} {2}}}$ беспристрастен и ${ Displaystyle Т = журнал (1 + е ^ {- х})}$ достаточно полное, поэтому оценка UMVU

{ displaystyle eta (X) = operatorname {E} ( delta (X) mid T) = operatorname {E} left ( left. { frac {T ^ {2}} {2}} , right | , T right) = { frac {T ^ {2}} {2}} = { frac { log (1 + e ^ {- X}) ^ {2}} {2 }}}

Этот пример показывает, что несмещенная функция полной достаточной статистики будет UMVU, поскольку Теорема Лемана – Шеффе состояния.

Другие примеры

Для нормального распределения с неизвестным средним значением и дисперсией выборочное среднее и (беспристрастно) выборочная дисперсия являются MVUE для среднего и популяционной дисперсии.
Однако стандартное отклонение выборки не является беспристрастным для стандартного отклонения населения - см. объективная оценка стандартного отклонения.
Кроме того, для других распределений выборочное среднее и выборочная дисперсия обычно не являются MVUE - для равномерное распределение с неизвестными верхними и нижними границами средний диапазон - MVUE для среднего населения.
Если k образцы выбираются (без замены) из дискретное равномерное распределение по множеству {1, 2, ...,N} с неизвестной верхней границей N, MVUE для N является

{ displaystyle { frac {k + 1} {k}} м-1,}

где м это максимум выборки. Это масштабированное и сдвинутое (так несмещенное) преобразование максимума выборки, которое является достаточной и полной статистикой. Увидеть Проблема с немецким танком для подробностей.

Смотрите также

Байесовские аналоги

использованная литература

^ Ли, А. Дж., 1946- (1990). U-статистика: теория и практика. Нью-Йорк: М. Деккер. ISBN 0824782534. OCLC 21523971.CS1 maint: несколько имен: список авторов (ссылка на сайт)

Кинер, Роберт В. (2006). Статистическая теория: заметки к курсу теоретической статистики. Springer. С. 47–48, 57–58.
Воинов В. Г., Никулин М. С. (1993). Беспристрастные оценки и их приложения, Том 1: Одномерный случай. Kluwer Academic Publishers. стр. 521с.

[1] Ли, А. Дж., 1946- (1990). U-статистика: теория и практика. Нью-Йорк: М. Деккер. ISBN 0824782534. OCLC 21523971.CS1 maint: несколько имен: список авторов (ссылка на сайт)

[1]