Смещение оценщика - Bias of an estimator

В статистика, то предвзятость (или же функция смещения) из оценщик разница между этим оценщиком ожидаемое значение и истинное значение оцениваемого параметра. Оценка или правило принятия решения с нулевым смещением называется беспристрастный. В статистике «предвзятость» - это цель собственность оценщика. Смещение также может быть измерено относительно медиана, а не среднее (ожидаемое значение), и в этом случае различают медиана- непредвзято от обычного иметь в виду-свойство непредвзятости. Смещение - это концепция, отличная от последовательность. Последовательные оценки сходятся по вероятности к истинному значению параметра, но могут быть смещенными или несмещенными; видеть предвзятость против последовательности для большего.

При прочих равных, несмещенная оценка предпочтительнее, чем смещенная оценка, хотя на практике часто используются смещенные оценки (обычно с небольшим смещением). Когда используется смещенная оценка, вычисляются границы смещения. Смещенная оценка может использоваться по разным причинам: поскольку несмещенная оценка не существует без дополнительных предположений о совокупности; потому что оценку сложно вычислить (как в объективная оценка стандартного отклонения ); потому что оценка является несмещенной по среднему, но не по среднему (или наоборот); потому что смещенная оценка дает более низкое значение некоторых функция потерь (особенно среднеквадратичная ошибка ) по сравнению с несмещенными оценками (особенно в оценщики усадки ); или потому, что в некоторых случаях объективность является слишком сильным условием, и единственные объективные оценки бесполезны.

Кроме того, несмещенность по среднему не сохраняется при нелинейных преобразованиях, хотя средняя несмещенность сохраняется (см. § Эффект преобразований ); например, выборочная дисперсия является смещенной оценкой дисперсии совокупности. Все это проиллюстрировано ниже.

Определение

Предположим, у нас есть статистическая модель, параметризованный действительным числом θ, приводя к распределению вероятностей для наблюдаемых данных, ${ Displaystyle P _ { theta} (x) = P (x mid theta)}$, и статистика ${ displaystyle { hat { theta}}}$ который служит оценщик из θ на основе любых наблюдаемых данных ${ displaystyle x}$. То есть мы предполагаем, что наши данные следуют некоторому неизвестному распределению ${ Displaystyle Р (х середина тета)}$ (куда θ фиксированная неизвестная константа, которая является частью этого распределения), а затем мы строим некоторую оценку ${ displaystyle { hat { theta}}}$ который сопоставляет наблюдаемые данные со значениями, которые, как мы надеемся, близки к θ. В предвзятость из ${ displaystyle { hat { theta}}}$ относительно ${ displaystyle theta}$ определяется как^[1][2]

${ displaystyle operatorname {Bias} ({ hat { theta}}, theta) = operatorname {Bias} _ { theta} [, { hat { theta}} ,] = operatorname { E} _ {x mid theta} [, { hat { theta}} ,] - theta = operatorname {E} _ {x mid theta} [, { hat { theta }} - theta ,],}$

куда ${ displaystyle operatorname {E} _ {x mid theta}}$ обозначает ожидаемое значение по распределению ${ Displaystyle Р (х середина тета)}$ (т.е. усреднение по всем возможным наблюдениям ${ displaystyle x}$). Второе уравнение следует из того, что θ измерима относительно условного распределения ${ Displaystyle Р (х середина тета)}$.

Оценщик называется беспристрастный если его смещение равно нулю для всех значений параметра θили, что эквивалентно, если ожидаемое значение оценщика совпадает с ожидаемым значением параметра.^[3]

В имитационном эксперименте, касающемся свойств оценщика, смещение оценщика можно оценить с помощью средняя знаковая разница.

Примеры

Выборочная дисперсия

В выборочная дисперсия случайной величины демонстрирует два аспекта смещения оценки: во-первых, наивная оценка смещена, что может быть скорректировано с помощью масштабного коэффициента; во-вторых, несмещенная оценка не оптимальна с точки зрения среднеквадратичная ошибка (MSE), который можно минимизировать, используя другой масштабный коэффициент, что приводит к смещенной оценке с более низкой MSE, чем несмещенная оценка. Конкретно, наивная оценка суммирует квадраты отклонений и делит на п, что предвзято. Вместо этого деление на п - 1 дает объективную оценку. И наоборот, MSE можно минимизировать путем деления на другое число (в зависимости от распределения), но это приводит к смещенной оценке. Это число всегда больше, чем п - 1, поэтому он известен как оценщик усадки, поскольку он «сжимает» несмещенную оценку до нуля; для нормального распределения оптимальное значение п + 1.

Предполагать Икс₁, ..., Икс_п находятся независимые и одинаково распределенные (i.i.d.) случайные величины с ожидание μ и отклонение σ². Если выборочное среднее и нескорректированный выборочная дисперсия определены как

${ displaystyle { overline {X}} , = { frac {1} {n}} sum _ {i = 1} ^ {n} X_ {i} qquad S ^ {2} = { frac {1} {n}} sum _ {i = 1} ^ {n} { big (} X_ {i} - { overline {X}} , { big)} ^ {2} qquad}$

тогда S² предвзятая оценка σ², потому что

${ displaystyle { begin {align} operatorname {E} [S ^ {2}] & = operatorname {E} left [{ frac {1} {n}} sum _ {i = 1} ^ {n} { big (} X_ {i} - { overline {X}} { big)} ^ {2} right] = operatorname {E} { bigg [} { frac {1} { n}} sum _ {i = 1} ^ {n} { bigg (} (X_ {i} - mu) - ({ overline {X}} - mu) { bigg)} ^ {2 } { bigg]} [8pt] & = operatorname {E} { bigg [} { frac {1} {n}} sum _ {i = 1} ^ {n} { bigg (} (X_ {i} - mu) ^ {2} -2 ({ overline {X}} - mu) (X_ {i} - mu) + ({ overline {X}} - mu) ^ {2} { bigg)} { bigg]} [8pt] & = operatorname {E} { bigg [} { frac {1} {n}} sum _ {i = 1} ^ { n} (X_ {i} - mu) ^ {2} - { frac {2} {n}} ({ overline {X}} - mu) sum _ {i = 1} ^ {n} (X_ {i} - mu) + { frac {1} {n}} ({ overline {X}} - mu) ^ {2} sum _ {i = 1} ^ {n} 1 { bigg]} [8pt] & = operatorname {E} { bigg [} { frac {1} {n}} sum _ {i = 1} ^ {n} (X_ {i} - му) ^ {2} - { frac {2} {n}} ({ overline {X}} - mu) sum _ {i = 1} ^ {n} (X_ {i} - mu) + { frac {1} {n}} ({ overline {X}} - mu) ^ {2} cdot n { bigg]} [8pt] & = operatorname {E} { bigg [} { frac {1} {n}} sum _ {i = 1} ^ {n} (X_ {i} - mu) ^ {2} - { frac {2} {n}} ({ overline {X}} - mu) sum _ {i = 1} ^ {n} ( X_ {i} - mu) + ({ overline {X}} - mu) ^ {2} { bigg]} [8pt] end {align}}}$

В продолжение заметим, что вычитая ${ displaystyle mu}$ с обеих сторон ${ displaystyle { overline {X}} = { frac {1} {n}} sum _ {i = 1} ^ {n} X_ {i}}$, мы получили

${ displaystyle { begin {align} { overline {X}} - mu = { frac {1} {n}} sum _ {i = 1} ^ {n} X_ {i} - mu = { frac {1} {n}} sum _ {i = 1} ^ {n} X_ {i} - { frac {1} {n}} sum _ {i = 1} ^ {n} mu = { frac {1} {n}} sum _ {i = 1} ^ {n} (X_ {i} - mu). [8pt] end {выровнено}}}$

Значение (путем перекрестного умножения) ${ Displaystyle п cdot ({ overline {X}} - mu) = sum _ {i = 1} ^ {n} (X_ {i} - mu)}$. Тогда предыдущее становится:

${ displaystyle { begin {align} operatorname {E} [S ^ {2}] & = operatorname {E} { bigg [} { frac {1} {n}} sum _ {i = 1 } ^ {n} (X_ {i} - mu) ^ {2} - { frac {2} {n}} ({ overline {X}} - mu) sum _ {i = 1} ^ {n} (X_ {i} - mu) + ({ overline {X}} - mu) ^ {2} { bigg]} [8pt] & = operatorname {E} { bigg [ } { frac {1} {n}} sum _ {i = 1} ^ {n} (X_ {i} - mu) ^ {2} - { frac {2} {n}} ({ overline {X}} - mu) cdot n cdot ({ overline {X}} - mu) + ({ overline {X}} - mu) ^ {2} { bigg]} [8pt] & = operatorname {E} { bigg [} { frac {1} {n}} sum _ {i = 1} ^ {n} (X_ {i} - mu) ^ {2} -2 ({ overline {X}} - mu) ^ {2} + ({ overline {X}} - mu) ^ {2} { bigg]} [8pt] & = operatorname { E} { bigg [} { frac {1} {n}} sum _ {i = 1} ^ {n} (X_ {i} - mu) ^ {2} - ({ overline {X} } - mu) ^ {2} { bigg]} [8pt] & = operatorname {E} { bigg [} { frac {1} {n}} sum _ {i = 1} ^ {n} (X_ {i} - mu) ^ {2} { bigg]} - operatorname {E} { bigg [} ({ overline {X}} - mu) ^ {2} { bigg]} [8pt] & = sigma ^ {2} - ({ overline {X}} - mu) ^ {2} = left (1 - { frac {1} {n}} справа) sigma ^ {2} < sigma ^ {2}. end {align}}}$

Другими словами, ожидаемое значение нескорректированной дисперсии выборки не равно дисперсии генеральной совокупности. σ², если не умножить на коэффициент нормализации. С другой стороны, выборочное среднее является беспристрастным^[4] оценка среднего населенияμ.^[3]

Обратите внимание, что обычное определение дисперсии выборки: ${ displaystyle S ^ {2} = { frac {1} {n-1}} sum _ {i = 1} ^ {n} (X_ {i} - { overline {X}} ,) ^ {2}}$, и это несмещенная оценка дисперсии совокупности.

В этом можно убедиться, отметив следующую формулу, которая следует из Формула Биенайме, для члена в неравенстве для математического ожидания нескорректированной выборочной дисперсии выше: ${ displaystyle operatorname {E} { big [} ({ overline {X}} - mu) ^ {2} { big]} = { frac {1} {n}} sigma ^ {2 }}$

Алгебраически говоря, ${ displaystyle operatorname {E} [S ^ {2}]}$ беспристрастен, потому что:

${ displaystyle { begin {align} operatorname {E} [S ^ {2}] & = operatorname {E} left [{ frac {1} {n-1}} sum _ {i = 1 } ^ {n} { big (} X_ {i} - { overline {X}} { big)} ^ {2} right] = { frac {n} {n-1}} operatorname { E} left [{ frac {1} {n}} sum _ {i = 1} ^ {n} { big (} X_ {i} - { overline {X}} { big)} ^ {2} right] [8pt] & = { frac {n} {n-1}} left (1 - { frac {1} {n}} right) sigma ^ {2} = sigma ^ {2}, [8pt] end {выровнено}}}$

где переход ко второй строке использует результат, полученный выше для смещенной оценки. Таким образом ${ displaystyle operatorname {E} [S ^ {2}] = sigma ^ {2}}$, и поэтому ${ displaystyle S ^ {2} = { frac {1} {n-1}} sum _ {i = 1} ^ {n} (X_ {i} - { overline {X}} ,) ^ {2}}$ - объективная оценка дисперсии совокупности, σ². Отношение между смещенной (нескорректированной) и несмещенной оценками дисперсии известно как Поправка Бесселя.

Причина, по которой нескорректированная дисперсия выборки, S², смещен из-за того, что выборочное среднее обыкновенный метод наименьших квадратов (OLS) оценка для μ: ${ displaystyle { overline {X}}}$ это число, составляющее сумму ${ Displaystyle сумма _ {я = 1} ^ {п} (X_ {я} - { overline {X}}) ^ {2}}$ как можно меньше. То есть, когда в эту сумму подставляется любое другое число, сумма может только увеличиваться. В частности, выбор ${ displaystyle mu neq { overline {X}}}$ дает,

${ displaystyle { frac {1} {n}} sum _ {i = 1} ^ {n} (X_ {i} - { overline {X}}) ^ {2} <{ frac {1} {n}} sum _ {i = 1} ^ {n} (X_ {i} - mu) ^ {2},}$

а потом

${ displaystyle { begin {align} operatorname {E} [S ^ {2}] & = operatorname {E} { bigg [} { frac {1} {n}} sum _ {i = 1 } ^ {n} (X_ {i} - { overline {X}}) ^ {2} { bigg]} < operatorname {E} { bigg [} { frac {1} {n}} сумма _ {i = 1} ^ {n} (X_ {i} - mu) ^ {2} { bigg]} = sigma ^ {2}. end {align}}}$

Приведенное выше обсуждение можно понять в геометрических терминах: вектор ${ displaystyle { vec {C}} = (X_ {1} - mu, ldots, X_ {n} - mu)}$ можно разложить на «среднюю часть» и «часть дисперсии» путем проецирования в направлении ${ Displaystyle { vec {u}} = (1, ldots, 1)}$ и к гиперплоскости ортогонального дополнения этого направления. Один получает ${ displaystyle { vec {A}} = ({ overline {X}} - mu, ldots, { overline {X}} - mu)}$ для части вместе ${ displaystyle { vec {u}}}$ и ${ displaystyle { vec {B}} = (X_ {1} - { overline {X}}, ldots, X_ {n} - { overline {X}})}$ для дополнительной части. Поскольку это ортогональное разложение, теорема Пифагора гласит ${ displaystyle | { vec {C}} | ^ {2} = | { vec {A}} | ^ {2} + | { vec {B}} | ^ {2}}$, и исходя из ожиданий получаем ${ displaystyle n sigma ^ {2} = n operatorname {E} left [({ overline {X}} - mu) ^ {2} right] + n operatorname {E} [S ^ { 2}]}$, как указано выше (но раз ${ displaystyle n}$Если распределение ${ displaystyle { vec {C}}}$ осесимметрична, как и в случае, когда ${ displaystyle X_ {i}}$ выбираются из гауссиана, затем в среднем размер по ${ displaystyle { vec {u}}}$ способствует ${ displaystyle | { vec {C}} | ^ {2}}$ в равной степени как ${ displaystyle n-1}$ направления, перпендикулярные ${ displaystyle { vec {u}}}$, так что ${ displaystyle operatorname {E} left [({ overline {X}} - mu) ^ {2} right] = { frac { sigma ^ {2}} {n}}}$ и ${ displaystyle operatorname {E} [S ^ {2}] = { frac {(n-1) sigma ^ {2}} {n}}}$. Как объяснялось выше, в целом это действительно так.

Оценка вероятности Пуассона

Гораздо более крайний случай, когда смещенная оценка лучше любой несмещенной оценки, возникает из распределение Пуассона.^[5][6] Предположим, что Икс имеет распределение Пуассона с математическим ожиданиемλ. Предположим, требуется оценить

${ displaystyle operatorname {P} (X = 0) ^ {2} = e ^ {- 2 lambda} quad}$

с выборкой размером 1. (Например, когда входящие вызовы на телефонном коммутаторе моделируются как процесс Пуассона, и λ это среднее количество звонков в минуту, тогда е^−2λ это вероятность того, что в следующие две минуты не поступит ни один звонок.)

Поскольку ожидание объективной оценки δ(Икс) равна оценке, т.е.

${ displaystyle operatorname {E} ( delta (X)) = sum _ {x = 0} ^ { infty} delta (x) { frac { lambda ^ {x} e ^ {- lambda }} {x!}} = e ^ {- 2 lambda},}$

единственная функция данных, составляющих несмещенную оценку, - это

${ Displaystyle дельта (х) = (- 1) ^ {х}. ,}$

Чтобы убедиться в этом, заметим, что при разложении e^−λ из приведенного выше выражения для ожидания сумма, которая осталась, равна Серия Тейлор расширение е^−λ также, давая e^−λе^−λ = e^−2λ (видеть Характеристики экспоненциальной функции ).

Если наблюдаемое значение Икс равно 100, то оценка равна 1, хотя истинное значение оцениваемой величины, скорее всего, будет около 0, что является противоположным крайним значением. И если Икс наблюдается равное 101, тогда оценка еще более абсурдна: это -1, хотя оцениваемая величина должна быть положительной.

(Предвзято) оценщик максимального правдоподобия

${ displaystyle e ^ {- 2 {X}} quad}$

намного лучше, чем эта беспристрастная оценка. Мало того, что его значение всегда положительно, оно также более точное в том смысле, что его значение среднеквадратичная ошибка

${ displaystyle e ^ {- 4 lambda} -2e ^ { lambda (1 / e ^ {2} -3)} + e ^ { lambda (1 / e ^ {4} -1)} ,}$

меньше; сравните MSE объективной оценки

${ displaystyle 1-e ^ {- 4 lambda}. ,}$

MSE - это функции истинной ценностиλ. Смещение оценки максимального правдоподобия:

${ displaystyle e ^ {- 2 lambda} -e ^ { lambda (1 / e ^ {2} -1)}. ,}$

Максимум дискретного равномерного распределения

Систематическая ошибка оценок максимального правдоподобия может быть значительной. Рассмотрим случай, когда п билеты пронумерованы от 1 до п помещаются в коробку, и один случайным образом выбирается, давая значение Икс. Если п неизвестно, то оценка максимального правдоподобия п является Икс, хотя ожидание Икс данный п только (п + 1) / 2; мы можем быть уверены только в том, что п по крайней мере Икс и, наверное, больше. В этом случае естественная несмещенная оценка равна 2Икс − 1.

Средне-несмещенные оценки

Теория средне-несмещенных оценок была возрождена Джорджем Брауном в 1947 году:^[7]

Оценка одномерного параметра θ будет называться несмещенной по медиане, если для фиксированного θ медиана распределения оценки находится на значении θ; т.е. оценка занижается так же часто, как и завышается. Для большинства целей это требование выполняет столько же, сколько и требование несмещенного среднего, и обладает дополнительным свойством, состоящим в том, что оно инвариантно относительно однозначного преобразования.

Другие свойства несмещенных по медиане оценок были отмечены Леманом, Бирнбаумом, ван дер Ваарт и Пфанзаглом.^{[нужна цитата ]} В частности, оценки с несмещенным средним значением существуют в случаях, когда несмещенные по среднему и максимальная вероятность оценщиков не существует. Они инвариантны относительно однозначные преобразования.

Существуют методы построения несмещенных по медиане оценок для вероятностных распределений, которые имеют монотонные функции правдоподобия, такие как однопараметрические экспоненциальные семейства, чтобы гарантировать их оптимальность (в некотором смысле аналогично свойству минимальной дисперсии, рассматриваемому для оценок без смещения в среднем).^[8][9] Одна из таких процедур является аналогом процедуры Рао – Блэквелла для несмещенных по среднему оценок оценок: процедура выполняется для меньшего класса вероятностных распределений, чем процедура Рао – Блэквелла для несмещенных в среднем оценок, но для более широкого класса функций потерь.^[9]

Смещение относительно других функций потерь

Любая минимальная дисперсия иметь в видунесмещенная оценка минимизирует рисковать (ожидаемый убыток ) относительно квадрата ошибки функция потерь (среди оценок со средним несмещенным значением), как отмечает Гаусс.^[10] Минимум-среднее абсолютное отклонение медиана объективная оценка сводит к минимуму риск по отношению к абсолютный функция потерь (среди несмещенных по медиане оценок), Лаплас.^[10][11] Другие функции потерь используются в статистике, особенно в надежная статистика.^[10][12]

Эффект преобразований

Как указано выше, для одномерных параметров оценки без смещения к медиане остаются несмещенными по медиане при преобразованиях, сохраняющих порядок (или обратный порядок).

Обратите внимание, что когда преобразование применяется к несмещенному среднему оценщику, результат не обязательно должен быть несмещенным к среднему оценщиком соответствующей статистики совокупности. К Неравенство Дженсена, а выпуклая функция поскольку преобразование приведет к положительному смещению, а вогнутая функция приведет к отрицательному смещению, а функция смешанной выпуклости может внести смещение в любом направлении, в зависимости от конкретной функции и распределения. То есть для нелинейной функции ж и оценка со средним несмещением U параметра п, составная оценка ж(U) не обязательно должна быть несмещенной по среднему оценкой ж(п). Например, квадратный корень объективной оценки населения отклонение является нет средне-несмещенная оценка населения стандартное отклонение: квадратный корень из несмещенного выборочная дисперсия исправленный стандартное отклонение выборки, предвзято. Смещение зависит как от распределения выборки оценщика, так и от преобразования и может быть весьма сложно вычислить - см. объективная оценка стандартного отклонения для обсуждения в этом случае.

Смещение, дисперсия и среднеквадратичная ошибка

Выборочные распределения двух альтернативных оценок для параметра β₀. Хотя β₁^{^} несмещен, он явно уступает смещенному β₂^{^}.

Регрессия хребта является одним из примеров метода, при котором допущение небольшого смещения может привести к значительному уменьшению дисперсии и получению более надежных оценок в целом.

В то время как смещение количественно оценивает средний Различия между оценочным устройством и базовым параметром следует ожидать; кроме того, можно ожидать, что оценка, основанная на конечной выборке, будет отличаться от параметра из-за случайности в выборке.

Одним из показателей, который используется для отражения обоих типов различий, является среднеквадратичная ошибка,^[2]

${ displaystyle operatorname {MSE} ({ hat { theta}}) = operatorname {E} { big [} ({ hat { theta}} - theta) ^ {2} { big] }.}$

Можно показать, что это равно квадрату смещения плюс дисперсия:^[2]

${ displaystyle { begin {align} operatorname {MSE} ({ hat { theta}}) = & ( operatorname {E} [{ hat { theta}}] - theta) ^ {2} + operatorname {E} [, ({ hat { theta}} - operatorname {E} [, { hat { theta}} ,]) ^ {2} ,] = & ( operatorname {Bias} ({ hat { theta}}, theta)) ^ {2} + operatorname {Var} ({ hat { theta}}) end {выровнено}}}$

Когда параметр является вектором, применяется аналогичное разложение:^[13]

${ displaystyle operatorname {MSE} ({ hat { theta}}) = operatorname {trace} ( operatorname {Var} ({ hat { theta}})) + left Vert operatorname {Bias } ({ hat { theta}}, theta) right Vert ^ {2}}$

куда

${ displaystyle operatorname {trace} ( operatorname {Var} ({ hat { theta}}))}$

- след ковариационной матрицы оценки.

Оценщик, который минимизирует смещение, не обязательно минимизирует среднеквадратичную ошибку.

Пример: оценка дисперсии совокупности

Например,^[14] предположим оценщик вида

${ displaystyle T ^ {2} = c sum _ {i = 1} ^ {n} left (X_ {i} - { overline {X}} , right) ^ {2} = cnS ^ { 2}}$

ищется для дисперсии совокупности, как указано выше, но на этот раз для минимизации MSE:

${ displaystyle { begin {align} operatorname {MSE} = & operatorname {E} left [(T ^ {2} - sigma ^ {2}) ^ {2} right] = & left ( operatorname {E} left [T ^ {2} - sigma ^ {2} right] right) ^ {2} + operatorname {Var} (T ^ {2}) end {выровнено} }}$

Если переменные Икс₁ ... Икс_п следовать нормальному распределению, затем нс²/ σ² имеет распределение хи-квадрат с п - 1 степень свободы, дающая:

${ displaystyle operatorname {E} [nS ^ {2}] = (n-1) sigma ^ {2} { text {and}} operatorname {Var} (nS ^ {2}) = 2 (n -1) sigma ^ {4}.}$

и так

${ Displaystyle OperatorName {MSE} = (с (n-1) -1) ^ {2} sigma ^ {4} + 2c ^ {2} (n-1) sigma ^ {4}}$

С помощью небольшой алгебры можно подтвердить, что это c = 1/(п + 1), который минимизирует эту комбинированную функцию потерь, а не c = 1/(п - 1), что сводит к минимуму только член смещения.

В более общем смысле, только в ограниченных классах задач будет средство оценки, которое минимизирует MSE независимо от значений параметров.

Однако очень часто это может восприниматься как компромисс между смещением и дисперсией, так что небольшое увеличение смещения может быть обменено на большее уменьшение дисперсии, что приводит к более желательной оценке в целом.

Байесовский взгляд

Большинство байесовцев довольно безразлично к беспристрастности (по крайней мере, в формальном смысле теории выборки выше) своих оценок. Например, Гельман и соавторы (1995) пишут: «С байесовской точки зрения принцип беспристрастности разумен в пределах больших выборок, но в остальном он потенциально вводит в заблуждение».^[15]

По сути, разница между Байесовский подход и подход теории выборки, описанный выше, заключается в том, что в подходе теории выборки параметр принимается как фиксированный, а затем рассматриваются вероятностные распределения статистики, основанные на предсказанном распределении выборки данных. Однако для байесовцев это данные которые известны и фиксированы, и это неизвестный параметр, для которого делается попытка построить распределение вероятностей, используя Теорема Байеса:

${ Displaystyle п ( тета середина D, я) пропто р ( тета середина I) р (D середина тета, я)}$

Здесь второй член, вероятность данных при неизвестном значении параметра θ, зависит только от полученных данных и моделирования процесса генерации данных. Однако байесовский расчет также включает в себя первый член, априорная вероятность для θ, который учитывает все, что аналитик может знать или подозревать о θ перед данные поступают. Эта информация не играет никакой роли в подходе теории выборки; действительно, любая попытка включить это будет считаться «отклонением» от того, на что указывают чисто данные. Поскольку байесовские расчеты включают априорную информацию, по сути неизбежно, что их результаты не будут «беспристрастными» с точки зрения теории выборки.

Но результаты байесовского подхода могут отличаться от подхода теории выборки, даже если байесовский пытается принять «неинформативный» априор.

Например, снова рассмотрим оценку неизвестной дисперсии совокупности σ² нормального распределения с неизвестным средним, где желательно оптимизировать c в функции ожидаемых потерь

${ displaystyle operatorname {ExpectedLoss} = operatorname {E} left [ left (cnS ^ {2} - sigma ^ {2} right) ^ {2} right] = operatorname {E} left [ sigma ^ {4} left (cn { tfrac {S ^ {2}} { sigma ^ {2}}} - 1 right) ^ {2} right]}$

Стандартный выбор неинформативного априора для этой проблемы - Джеффрис приор, ${ displaystyle scriptstyle {p ( sigma ^ {2}) ; propto ; 1 / sigma ^ {2}}}$, что эквивалентно принятию инвариантного к масштабированию плоского до ln (σ²).

Одним из следствий принятия этого априора является то, что S²/ σ² остается основное количество, т.е. распределение вероятностей S²/ σ² зависит только от S²/ σ², независимо от значения S² или σ²:

${ displaystyle p left ({ tfrac {S ^ {2}} { sigma ^ {2}}} mid S ^ {2} right) = p left ({ tfrac {S ^ {2}) } { sigma ^ {2}}} mid sigma ^ {2} right) = g left ({ tfrac {S ^ {2}} { sigma ^ {2}}} right)}$

Однако пока

${ displaystyle operatorname {E} _ {p (S ^ {2} mid sigma ^ {2})} left [ sigma ^ {4} left (cn { tfrac {S ^ {2}}) { sigma ^ {2}}} - 1 right) ^ {2} right] = sigma ^ {4} operatorname {E} _ {p (S ^ {2} mid sigma ^ {2} )} left [ left (cn { tfrac {S ^ {2}} { sigma ^ {2}}} - 1 right) ^ {2} right]}$

в отличие

${ displaystyle operatorname {E} _ {p ( sigma ^ {2} mid S ^ {2})} left [ sigma ^ {4} left (cn { tfrac {S ^ {2}} { sigma ^ {2}}} - 1 right) ^ {2} right] neq sigma ^ {4} operatorname {E} _ {p ( sigma ^ {2} mid S ^ {2 })} left [ left (cn { tfrac {S ^ {2}} { sigma ^ {2}}} - 1 right) ^ {2} right]}$

- когда математическое ожидание принимается по распределению вероятностей σ² данный S², как в байесовском случае, а не S² учитывая σ², больше нельзя брать σ⁴ как константа и вычтите ее. Следствием этого является то, что по сравнению с расчетом по теории выборки байесовский расчет придает большее значение большим значениям σ.², должным образом принимая во внимание (в отличие от расчетов по теории выборки), что при использовании этой функции квадратов потерь следствие недооценки больших значений σ² является более затратным с точки зрения квадрата потерь, чем переоценка малых значений σ².

Разработанный байесовский расчет дает масштабированное обратное распределение хи-квадрат с п - 1 степень свободы для апостериорного распределения вероятностей σ². Ожидаемый убыток сводится к минимуму, когда CNS² = <σ²>; это происходит, когда c = 1/(п − 3).

Следовательно, даже при неинформативном априорном вычислении байесовское вычисление может не дать такого же результата минимизации ожидаемых потерь, как соответствующее вычисление теории выборки.

Смотрите также

Примечания

Рекомендации

• Браун, Джордж У. «Об оценке по малой выборке». Анналы математической статистики, т. 18, нет. 4 (декабрь 1947 г.), стр. 582–585. JSTOR  2236236.
• Леманн, Э. «Общее понятие беспристрастности» Анналы математической статистики, т. 22, нет. 4 (декабрь 1951 г.), стр. 587–592. JSTOR  2236928.
• Аллан Бирнбаум, 1961. "Единая теория оценивания, I", Анналы математической статистики, т. 32, нет. 1 (март 1961 г.), стр. 112–135.
• Ван дер Ваарт, Х. Р., 1961 ".Некоторые расширения идеи предвзятости " Анналы математической статистики, т. 32, нет. 2 (июнь 1961 г.), стр. 436–447.
• Пфанцагль, Иоганн. 1994 г. Параметрическая статистическая теория. Вальтер де Грюйтер.
• Стюарт, Алан; Орд, Кейт; Арнольд, Стивен [Ф.] (2010). Классический вывод и линейная модель. Продвинутая теория статистики Кендалла. 2А. Вайли. ISBN  0-4706-8924-2..
• Воинов, Василий [Г.]; Никулин, Михаил [С.] (1993). Беспристрастные оценщики и их приложения. 1: Одномерный случай. Дордрект: Kluwer Academic Publishers. ISBN  0-7923-2382-3.
• Воинов, Василий [Г.]; Никулин, Михаил [С.] (1996). Беспристрастные оценщики и их приложения. 2: многомерный случай. Дордрект: Kluwer Academic Publishers. ISBN  0-7923-3939-8.
• Клебанов, Лев [Б.]; Рачев, Светлозар [Т.]; Фабоцци, Франк [Дж.] (2009). Робастные и ненадежные модели в статистике. Нью-Йорк: Nova Scientific Publishers. ISBN  978-1-60741-768-2.

внешняя ссылка

• «Беспристрастный оценщик», Энциклопедия математики, EMS Press, 2001 [1994]^{[требуется разъяснение ]}