Байесовская оценка - Bayes estimator

Эта статья включает в себя список общих Рекомендации, но он остается в основном непроверенным, потому что ему не хватает соответствующих встроенные цитаты. Пожалуйста, помогите улучшать эта статья введение более точные цитаты. (Ноябрь 2009 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

Часть серии по
Байесовская статистика
Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская вероятность Вероятностные интерпретации Теорема Байеса Фактор Байеса Байесовский вывод Байесовская сеть Прежний Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятности
Методы
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал

В теория оценки и теория принятия решений, а Байесовская оценка или Байесовское действие является оценщик или же правило принятия решения что сводит к минимуму задний ожидаемое значение из функция потерь (т.е. апостериорная ожидаемая потеря). Точно так же он максимизирует апостериорное ожидание полезность функция. Альтернативный способ сформулировать оценку в Байесовская статистика является максимальная апостериорная оценка.

Определение

Предположим, неизвестный параметр ${displaystyle heta}$ известно, что предварительное распространение ${displaystyle pi}$. Позволять ${displaystyle {widehat {heta}} = {widehat {heta}} (x)}$ быть оценщиком ${displaystyle heta}$ (на основе некоторых измерений Икс), и разреши ${displaystyle L (heta, {widehat {heta}})}$ быть функция потерь, например, квадрат ошибки. В Байесовский риск из ${displaystyle {widehat {heta}}}$ определяется как ${displaystyle E_ {pi} (L (heta, {widehat {heta}}))}$, где ожидание берется по распределению вероятностей ${displaystyle heta}$: определяет функцию риска как функцию ${displaystyle {widehat {heta}}}$. Оценщик ${displaystyle {widehat {heta}}}$ считается Байесовская оценка если это минимизирует байесовский риск среди всех оценщиков. Эквивалентно, оценка, которая минимизирует апостериорные ожидаемые потери ${displaystyle E (L (heta, {widehat {heta}}) | x)}$ для каждого ${displaystyle x}$ также минимизирует байесовский риск и, следовательно, является байесовским оценщиком.^[1]

Если приор неподходящий затем оценка, которая минимизирует апостериорные ожидаемые потери для каждого ${displaystyle x}$ называется обобщенная байесовская оценка.^[2]

Примеры

Оценка минимальной среднеквадратичной ошибки

Наиболее распространенной функцией риска, используемой для байесовской оценки, является среднеквадратичная ошибка (MSE), также называемый риск ошибки в квадрате. MSE определяется

${displaystyle mathrm {MSE} = Eleft [({widehat {heta}} (x) - heta) ^ {2} ight],}$

где математическое ожидание берется за совместное распределение ${displaystyle heta}$ и ${displaystyle x}$.

Заднее среднее

Используя MSE в качестве риска, байесовская оценка неизвестного параметра представляет собой просто среднее значение апостериорное распределение,^[3]

${displaystyle {widehat {heta}} (x) = E [heta | x] = int heta, p (heta | x), d heta.}$

Это известно как минимальная среднеквадратичная ошибка (MMSE) оценщик.

Байесовские оценки для сопряженных априорных вероятностей

Если нет причин предпочитать одно априорное распределение вероятностей другому, сопряженный предшествующий иногда выбирается для простоты. Сопряженное априорное распределение определяется как априорное распределение, принадлежащее некоторому параметрическая семья, для которого полученное апостериорное распределение также принадлежит к тому же семейству. Это важное свойство, поскольку байесовская оценка, а также ее статистические свойства (дисперсия, доверительный интервал и т. Д.) Могут быть получены из апостериорного распределения.

Сопряженные априорные значения особенно полезны для последовательной оценки, когда апостериорная величина текущего измерения используется в качестве апостериорной в следующем измерении. При последовательной оценке, если не используется сопряженное априорное распределение, апостериорное распределение обычно становится более сложным с каждым добавленным измерением, и байесовский оценщик обычно не может быть рассчитан без использования численных методов.

Ниже приведены некоторые примеры сопряженных априорных чисел.

• Если ${displaystyle x | heta}$ является Нормальный, ${displaystyle x | heta sim N (heta, sigma ^ {2})}$, а приора нормально, ${displaystyle heta sim N (mu, au ^ {2})}$, то апостериорная оценка также является нормальной, а байесовская оценка при MSE определяется выражением

${displaystyle {widehat {heta}} (x) = {frac {sigma ^ {2}} {sigma ^ {2} + au ^ {2}}} mu + {frac {au ^ {2}} {sigma ^ { 2} + au ^ {2}}} x.}$

• Если ${displaystyle x_ {1}, ..., x_ {n}}$ находятся iid Пуассон случайные переменные ${displaystyle x_ {i} | heta sim P (heta)}$, а если априор Гамма распределенная ${displaystyle heta sim G (a, b)}$, то апостериорная также имеет гамма-распределение, а байесовская оценка при MSE дается выражением

${displaystyle {widehat {heta}} (X) = {frac {n {overline {X}} + a} {n + b}}.}$

• Если ${displaystyle x_ {1}, ..., x_ {n}}$ iid равномерно распределены ${displaystyle x_ {i} | heta sim U (0, heta)}$, а если априор Распределенный по Парето ${displaystyle heta sim Pa (heta _ {0}, a)}$, то апостериорная также распределена по Парето, а байесовская оценка при MSE дается выражением

${displaystyle {widehat {heta}} (X) = {frac {(a + n) max {(heta _ {0}, x_ {1}, ..., x_ {n})}} {a + n- 1}}.}$

Альтернативные функции риска

Функции риска выбираются в зависимости от того, как измеряется расстояние между оценкой и неизвестным параметром. MSE - наиболее часто используемая функция риска, в первую очередь из-за ее простоты. Однако иногда используются альтернативные функции риска. Ниже приводится несколько примеров таких альтернатив. Обозначим апостериорную обобщенную функцию распределения через ${displaystyle F}$.

Задняя медиана и другие квантили

• «Линейная» функция потерь с ${displaystyle a> 0}$, что дает апостериорную медиану как оценку Байеса:

${displaystyle L (heta, {widehat {heta}}) = а | heta - {widehat {heta}} |}$

${displaystyle F ({widehat {heta}} (x) | X) = {frac {1} {2}}.}$

• Еще одна «линейная» функция потерь, которая присваивает разные «веса» ${displaystyle a, b> 0}$ к завышенной или заниженной оценке. Это дает квантиль из апостериорного распределения и является обобщением предыдущей функции потерь:

${displaystyle L (heta, {widehat {heta}}) = {egin {case} a | heta - {widehat {heta}} |, & {mbox {for}} heta - {widehat {heta}} geq 0 b | heta - {widehat {heta}} |, & {mbox {for}} heta - {widehat {heta}} <0end {case}}}$

${displaystyle F ({widehat {heta}} (x) | X) = {frac {a} {a + b}}.}$

Задний режим

• Следующая функция потерь более сложна: она дает либо задний режим, или близкая к нему точка в зависимости от кривизны и свойств апостериорного распределения. Малые значения параметра ${displaystyle K> 0}$ рекомендуются, чтобы использовать режим как приближение (${displaystyle L> 0}$):

${displaystyle L (heta, {widehat {heta}}) = {egin {case} 0, & {mbox {for}} | heta - {widehat {heta}} |$

Можно представить себе и другие функции потерь, хотя среднеквадратичная ошибка является наиболее широко используемым и проверенным. Другие функции потерь используются в статистике, особенно в надежная статистика.

Обобщенные байесовские оценки

Предыдущее распространение ${displaystyle p}$ до сих пор считалось истинным распределением вероятностей в том смысле, что

${displaystyle int p (heta) d heta = 1.}$

Однако иногда это может быть ограничительным требованием. Например, нет раздачи (покрывающей множество, риз всех действительных чисел), для которых все действительные числа равновероятны. Тем не менее, в некотором смысле такое «распределение» кажется естественным выбором для неинформативный приор, т.е. априорное распределение, которое не подразумевает предпочтения какого-либо конкретного значения неизвестного параметра. Еще можно определить функцию ${displaystyle p (heta) = 1}$, но это не было бы правильным распределением вероятностей, поскольку оно имеет бесконечную массу,

${displaystyle int {p (heta) d heta} = infty.}$

Такой меры ${displaystyle p (heta)}$, которые не являются распределениями вероятностей, называются неподходящие приоры.

Использование неправильного априорного значения означает, что байесовский риск не определен (поскольку априорный результат не является вероятностным распределением, и мы не можем принять за него математическое ожидание). Как следствие, бессмысленно говорить о байесовской оценке, которая минимизирует байесовский риск. Тем не менее во многих случаях можно определить апостериорное распределение

${displaystyle p (heta | x) = {frac {p (x | heta) p (heta)} {int p (x | heta) p (heta) d heta}}.}.$

Это определение, а не применение Теорема Байеса, поскольку теорема Байеса применима только тогда, когда все распределения правильные. Однако нередко полученное «апостериорное» распределение является допустимым распределением вероятностей. В этом случае апостериорный ожидаемый убыток

${displaystyle int {L (heta, a) p (heta | x) d heta}}$

обычно четко определен и конечен. Напомним, что для надлежащего априорного значения байесовская оценка минимизирует апостериорные ожидаемые потери. Когда априорное значение является неправильным, оценщик, который минимизирует апостериорные ожидаемые потери, называется оценкой обобщенная байесовская оценка.^[2]

Пример

Типичный пример - оценка параметр местоположения с функцией потерь типа ${displaystyle L (a- heta)}$. Здесь ${displaystyle heta}$ - параметр местоположения, т.е. ${displaystyle p (x | heta) = f (x- heta)}$.

Обычно используется неправильный предварительный ${displaystyle p (heta) = 1}$ в этом случае, особенно когда нет другой более субъективной информации. Это дает

${displaystyle p (heta | x) = {frac {p (x | heta) p (heta)} {p (x)}} = {frac {f (x- heta)} {p (x)}}}$

так что апостериорная ожидаемая потеря

${displaystyle E [L (a- heta) | x] = int {L (a- heta) p (heta | x) d heta} = {frac {1} {p (x)}} int L (a- heta) ) f (x- heta) d heta.}$

Обобщенная байесовская оценка - это значение ${displaystyle a (x)}$ который минимизирует это выражение для данного ${displaystyle x}$. Это эквивалентно минимизации

${displaystyle int L (a- heta) f (x- heta) d heta}$ для данного ${displaystyle x.}$        (1)

В этом случае можно показать, что обобщенная байесовская оценка имеет вид ${displaystyle x + a_ {0}}$, для некоторой постоянной ${displaystyle a_ {0}}$. Чтобы увидеть это, позвольте ${displaystyle a_ {0}}$ - значение, минимизирующее (1), когда ${displaystyle x = 0}$. Тогда, учитывая другое значение ${displaystyle x_ {1}}$, мы должны минимизировать

${displaystyle int L (a- heta) f (x_ {1} - heta) d heta = int L (a-x_ {1} - heta ') f (- heta') d heta '.}$        (2)

Это идентично (1), за исключением того, что ${displaystyle a}$ был заменен на ${displaystyle a-x_ {1}}$. Таким образом, минимизирующее выражение дается выражением ${displaystyle a-x_ {1} = a_ {0}}$, так что оптимальная оценка имеет вид

${displaystyle a (x) = a_ {0} + x.,!}$

Эмпирические байесовские оценки

Оценка Байеса, полученная через эмпирический метод Байеса называется эмпирическая байесовская оценка. Эмпирические байесовские методы позволяют использовать вспомогательные эмпирические данные из наблюдений за соответствующими параметрами при разработке байесовской оценки. Это делается в предположении, что предполагаемые параметры получены из общей априорной точки. Например, если выполняются независимые наблюдения различных параметров, то эффективность оценки конкретного параметра иногда может быть улучшена за счет использования данных из других наблюдений.

Есть параметрический и непараметрический подходы к эмпирическому байесовскому оцениванию. Параметрический эмпирический байесовский метод обычно предпочтительнее, поскольку он более применим и более точен для небольших объемов данных.^[4]

Пример

Ниже приводится простой пример параметрического эмпирического байесовского оценивания. Учитывая прошлые наблюдения ${displaystyle x_ {1}, ldots, x_ {n}}$ имеющий условное распределение ${displaystyle f (x_ {i} | heta _ {i})}$, интересно оценить ${displaystyle heta _ {n + 1}}$ на основе ${displaystyle x_ {n + 1}}$. Предположим, что ${displaystyle heta _ {i}}$есть общий приор ${displaystyle pi}$ которое зависит от неизвестных параметров. Например, предположим, что ${displaystyle pi}$ нормально с неизвестным средним ${displaystyle mu _ {pi} ,!}$ и дисперсия ${displaystyle sigma _ {pi},!.}$ Затем мы можем использовать прошлые наблюдения, чтобы определить среднее значение и дисперсию ${displaystyle pi}$ следующим образом.

Сначала оценим среднее ${displaystyle mu _ {m} ,!}$ и дисперсия ${displaystyle sigma _ {m} ,!}$ предельного распределения ${displaystyle x_ {1}, ldots, x_ {n}}$ с использованием максимальная вероятность подход:

${displaystyle {widehat {mu}} _ {m} = {frac {1} {n}} sum {x_ {i}},}$

${displaystyle {widehat {sigma}} _ {m} ^ {2} = {frac {1} {n}} sum {(x_ {i} - {widehat {mu}} _ {m}) ^ {2}} .}$

Далее воспользуемся соотношением

${displaystyle mu _ {m} = E_ {pi} [mu _ {f} (heta)],!,}$

${displaystyle sigma _ {m} ^ {2} = E_ {pi} [sigma _ {f} ^ {2} (heta)] + E_ {pi} [(mu _ {f} (heta) -mu _ {m }) ^ {2}],}$

куда ${displaystyle mu _ {f} (heta)}$ и ${displaystyle sigma _ {f} (heta)}$ моменты условного распределения ${displaystyle f (x_ {i} | heta _ {i})}$, которые считаются известными. В частности, предположим, что ${displaystyle mu _ {f} (heta) = heta}$ и это ${displaystyle sigma _ {f} ^ {2} (heta) = K}$; тогда у нас есть

${displaystyle mu _ {pi} = mu _ {m},!,}$

${displaystyle sigma _ {pi} ^ {2} = sigma _ {m} ^ {2} -sigma _ {f} ^ {2} = sigma _ {m} ^ {2} -K.}$

Наконец, мы получаем оценочные моменты априорной,

${displaystyle {widehat {mu}} _ {pi} = {widehat {mu}} _ {m},}$

${displaystyle {widehat {sigma}} _ {pi} ^ {2} = {widehat {sigma}} _ {m} ^ {2} -K.})$

Например, если ${displaystyle x_ {i} | heta _ {i} sim N (heta _ {i}, 1)}$, и если мы предполагаем нормальную априорность (которая в данном случае является сопряженной априорной), мы заключаем, что ${displaystyle heta _ {n + 1} sim N ({widehat {mu}} _ {pi}, {widehat {sigma}} _ {pi} ^ {2})}$, из которого байесовская оценка ${displaystyle heta _ {n + 1}}$ на основе ${displaystyle x_ {n + 1}}$ можно рассчитать.

Характеристики

Допустимость

Правила Байеса, имеющие конечный риск Байеса, обычно допустимый. Ниже приведены некоторые конкретные примеры теорем о допустимости.

• Если правило Байеса уникально, оно допустимо.^[5] Например, как указано выше, при среднеквадратической ошибке (MSE) правило Байеса является уникальным и, следовательно, допустимым.
• Если θ принадлежит дискретный набор, то допустимы все правила Байеса.
• Если θ принадлежит непрерывному (недискретному) множеству и если функция риска R (θ, δ) непрерывна по θ для любого δ, то все правила Байеса допустимы.

Напротив, обобщенные правила Байеса часто имеют неопределенный риск Байеса в случае неправильных априорных значений. Эти правила часто недопустимы, и проверка их приемлемости может быть затруднена. Например, обобщенная байесовская оценка параметра местоположения θ на основе гауссовых выборок (описанная выше в разделе «Обобщенная байесовская оценка») недопустима для ${displaystyle p> 2}$; это известно как Феномен Штейна.

Асимптотическая эффективность

Пусть θ - неизвестная случайная величина, и предположим, что ${displaystyle x_ {1}, x_ {2}, ldots}$ находятся iid образцы с плотностью ${displaystyle f (x_ {i} | heta)}$. Позволять ${displaystyle delta _ {n} = delta _ {n} (x_ {1}, ldots, x_ {n})}$ быть последовательностью байесовских оценок θ, основанной на увеличивающемся количестве измерений. Нас интересует анализ асимптотической производительности этой последовательности оценок, т. Е. Производительности ${displaystyle delta _ {n}}$ для больших п.

С этой целью принято рассматривать θ как детерминированный параметр, истинное значение которого ${displaystyle heta _ {0}}$. При определенных условиях^[6] для больших выборок (большие значения п) апостериорная плотность θ приблизительно нормальна. Другими словами, для больших п, влияние априорной вероятности на апостериорную вероятность незначительно. Более того, если δ - оценка Байеса при риске MSE, то она асимптотически несмещенный и это сходится в распределении к нормальное распределение:

${displaystyle {sqrt {n}} (delta _ {n} - heta _ {0}) o Nleft (0, {frac {1} {I (heta _ {0})}} ight),}$

куда я(θ₀) это информация рыболова из θ₀Отсюда следует, что байесовская оценка δ_п под MSE асимптотически эффективный.

Другой асимптотически нормальной и эффективной оценкой является оценка оценщик максимального правдоподобия (MLE). Связь между оценками максимального правдоподобия и байесовскими оценками можно показать на следующем простом примере.

Пример: оценка п в биномиальном распределении

Рассмотрим оценку θ на основе биномиальной выборки Икс~ b (θ,п), где θ обозначает вероятность успеха. Предполагая, что θ распределяется согласно сопряженной априорной величине, которая в данном случае является Бета-распределение B (а,б) апостериорное распределение известно как B (a + x, b + n-x). Таким образом, байесовская оценка при MSE равна

${displaystyle delta _ {n} (x) = E [heta | x] = {frac {a + x} {a + b + n}}.}$

MLE в этом случае - x / n, поэтому мы получаем

${displaystyle delta _ {n} (x) = {frac {a + b} {a + b + n}} E [heta] + {frac {n} {a + b + n}} delta _ {MLE}. }$

Из последнего уравнения следует, что при п → ∞ байесовская оценка (в описываемой задаче) близка к MLE.

С другой стороны, когда п мала, априорная информация по-прежнему актуальна для решения проблемы и влияет на оценку. Чтобы увидеть относительный вес априорной информации, предположим, что а=б; в этом случае каждое измерение приносит 1 новый бит информации; формула выше показывает, что априорная информация имеет тот же вес, что и а + б биты новой информации. В приложениях часто очень мало известно о мелких деталях предшествующего распределения; в частности, нет оснований предполагать, что он совпадает с B (а,б) точно. В таком случае одна из возможных интерпретаций этого расчета: «имеется априорное непатологическое распределение со средним значением 0,5 и стандартным отклонением. d что дает вес априорной информации, равный 1 / (4d²) -1 бит новой информации ".

Другой пример того же явления - случай, когда априорная оценка и измерение имеют нормальное распределение. Если приор сосредоточен на B с отклонением Σ, а центр измерения б с отклонением σ, тогда задний центр сосредоточен в ${displaystyle {frac {alpha} {alpha + eta}} B + {frac {eta} {alpha + eta}} b}$, где веса в этом средневзвешенном значении равны α = σ², β = Σ². Кроме того, квадрат апостериорного отклонения равен Σ² + σ². Другими словами, априор совмещается с измерением в точно так же, как если бы это было дополнительное измерение, которое необходимо принять во внимание.

Например, если Σ = σ / 2, то отклонение четырех измерений, объединенных вместе, соответствует отклонению предыдущего (при условии, что ошибки измерений независимы). И веса α, β в формуле для апостериорной оценки соответствуют этому: вес априорной оценки в 4 раза больше веса измерения. Комбинируя это предшествующее с п измерения со средним v приводит к заднему центру ${displaystyle {frac {4} {4 + n}} V + {frac {n} {4 + n}} v}$; в частности, предварительная проверка играет ту же роль, что и 4 заранее выполненных измерения. Как правило, приор имеет вес (σ / Σ) ² измерений.

Сравните с примером биномиального распределения: там априор имеет вес (σ / Σ) ² − 1 измерений. Видно, что точный вес действительно зависит от деталей распределения, но когда σ≫Σ, разница становится небольшой.

Практический пример байесовских оценок

В База данных фильмов в Интернете использует формулу для расчета и сравнения рейтингов фильмов своих пользователей, в том числе их 250 лучших названий который, как утверждается, дает «истинную байесовскую оценку».^[7] Следующая байесовская формула изначально использовалась для расчета средневзвешенного балла для 250 лучших, хотя с тех пор формула изменилась:

${displaystyle W = {Rv + Cm over v + m}}$

куда:

${displaystyle W}$ = взвешенный рейтинг

${displaystyle R}$ = средний рейтинг фильма в виде числа от 1 до 10 (средний) = (Рейтинг)

${displaystyle v}$ = количество голосов / оценок за фильм = (голосов)

${displaystyle m}$ = вес, присвоенный предыдущей оценке (в данном случае количество голосов, которое IMDB считает необходимым для приближения средней оценки к статистической достоверности)

${displaystyle C}$ = средний голос по всему пулу (в настоящее время 7.0)

Обратите внимание, что W это просто средневзвешенное арифметическое из р и C с вектором веса (v, м). По количеству оценок превосходит м, достоверность среднего рейтинга превосходит достоверность априорных знаний, а взвешенный байесовский рейтинг (W) приближается к прямому среднему (R). Чем ближе v (количество оценок к фильму) равно нулю, тем ближе W добирается до C, где W - взвешенный рейтинг, а C - средний рейтинг всех фильмов. Таким образом, проще говоря, чем меньше оценок / голосов отдано фильму, тем больше взвешенный рейтинг этого фильма будет отклоняться от среднего по всем фильмам, в то время как фильмы с большим количеством оценок / голосов будут иметь рейтинг, приближающийся к его чистому среднему арифметическому рейтингу.

Подход IMDb гарантирует, что фильм с несколькими рейтингами, все из которых составляет 10, не будет иметь рейтинга выше «Крестного отца», например, со средним значением 9,2 из более чем 500 000 оценок.

Смотрите также

• Рекурсивная байесовская оценка
• Обобщенная ожидаемая полезность

Примечания

Рекомендации

• Lehmann, E. L .; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Springer. ISBN  0-387-98502-6.
• Бергер, Джеймс О. (1985). Теория статистических решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN  0-387-96098-8. МИСТЕР  0804611.

внешняя ссылка

• Байесовская оценка на cnx.org
• «Байесовская оценка», Энциклопедия математики, EMS Press, 2001 [1994]