Байесовская статистика - Википедия - Bayesian statistics

Байесовская статистика это теория в области статистика на основе Байесовская интерпретация вероятности куда вероятность выражает степень веры в мероприятие. Степень уверенности может основываться на предварительных знаниях о событии, таких как результаты предыдущих экспериментов, или на личных убеждениях о событии. Это отличается от ряда других интерпретации вероятности, такой как частотник интерпретация, которая рассматривает вероятность как предел относительной частоты события после многих испытаний.^[1]

Использование байесовских статистических методов Теорема Байеса для вычисления и обновления вероятностей после получения новых данных. Теорема Байеса описывает условная возможность события на основе данных, а также предыдущей информации или убеждений о событии или условиях, связанных с событием^[2]^[3] Например, в Байесовский вывод, Теорему Байеса можно использовать для оценки параметров распределение вероятностей или же статистическая модель. Поскольку байесовская статистика рассматривает вероятность как степень уверенности, теорема Байеса может напрямую назначить распределение вероятностей, которое количественно определяет веру параметру или набору параметров.^[1]^[2]

Байесовская статистика была названа в честь Томас Байес, который сформулировал частный случай теоремы Байеса в его газета опубликовано в 1763 году. В нескольких статьях, относящихся к концу 18 - началу 19 веков, Пьер-Симон Лаплас разработал байесовскую интерпретацию вероятности.^[4] Лаплас использовал методы, которые теперь стали бы считаться байесовскими, для решения ряда статистических задач. Многие байесовские методы были разработаны более поздними авторами, но этот термин обычно не использовался для описания таких методов до 1950-х годов. На протяжении большей части 20-го века многие статистики отрицательно относились к байесовским методам из-за философских и практических соображений. Многие байесовские методы требовали большого количества вычислений для завершения, и большинство методов, которые широко использовались в течение столетия, были основаны на частотной интерпретации. Однако с появлением мощных компьютеров и новых алгоритмы подобно Цепь Маркова Монте-Карло, Байесовские методы все чаще используются в статистике в 21 веке.^[1]^[5]

Теорема Байеса

Теорема Байеса является фундаментальной теоремой в байесовской статистике, поскольку она используется байесовскими методами для обновления вероятностей, которые представляют собой степени уверенности, после получения новых данных. Учитывая два события ${ displaystyle A}$ и ${ displaystyle B}$ , условная вероятность ${ displaystyle A}$ при условии ${ displaystyle B}$ верно выражается следующим образом:^[6]

${ Displaystyle P (A mid B) = { гидроразрыва {P (B mid A) P (A)} {P (B)}}}$

куда ${ Displaystyle P (B) neq 0}$ . Хотя теорема Байеса является фундаментальным результатом теория вероятности, оно имеет специфическую интерпретацию в байесовской статистике. В приведенном выше уравнении ${ displaystyle A}$ обычно представляет собой предложение (например, утверждение, что монета выпадает орлом в пятидесяти процентах случаев) и ${ displaystyle B}$ представляет собой свидетельство или новые данные, которые необходимо принять во внимание (например, результат серии подбрасываний монеты). ${ Displaystyle P (A)}$ это априорная вероятность из ${ displaystyle A}$ который выражает свои убеждения о ${ displaystyle A}$ до того, как доказательства будут приняты во внимание. Априорная вероятность также может количественно определять предварительные знания или информацию о ${ displaystyle A}$ . ${ displaystyle P (B mid A)}$ это функция правдоподобия, что можно интерпретировать как вероятность доказательства ${ displaystyle B}$ при условии ${ displaystyle A}$ правда. Вероятность количественно определяет степень, в которой доказательства ${ displaystyle B}$ поддерживает предложение ${ displaystyle A}$ . ${ Displaystyle P (A середина B)}$ это апостериорная вероятность, вероятность предложения ${ displaystyle A}$ после сбора доказательств ${ displaystyle B}$ в учетную запись. По сути, теорема Байеса обновляет предыдущие убеждения. ${ Displaystyle P (A)}$ после рассмотрения новых доказательств ${ displaystyle B}$ .^[1]

Вероятность доказательства ${ Displaystyle P (B)}$ можно рассчитать с помощью закон полной вероятности. Если ${ displaystyle {A_ {1}, A_ {2}, dots, A_ {n} }}$ это раздел из пространство образца, который представляет собой набор всех результаты эксперимента, то^[1]^[6]

${ Displaystyle P (B) = P (B mid A_ {1}) P (A_ {1}) + P (B mid A_ {2}) P (A_ {2}) + dots + P (B mid A_ {n}) P (A_ {n}) = sum _ {i} P (B mid A_ {i}) P (A_ {i})}$

Когда существует бесконечное количество результатов, необходимо интегрировать по всем исходам для расчета ${ Displaystyle P (B)}$ используя закон полной вероятности. Часто, ${ Displaystyle P (B)}$ трудно вычислить, так как расчет будет включать в себя суммы или интегралы, оценка которых потребует много времени, поэтому часто учитывается только произведение априорной вероятности и вероятности, поскольку свидетельства не меняются в одном и том же анализе. Задняя часть пропорциональна этому продукту:^[1]

${ Displaystyle P (A середина B) propto P (B mid A) P (A)}$

В максимум апостериори, какой Режим апостериорной и часто вычисляется в байесовской статистике с использованием математическая оптимизация методы, остается прежним. Апостериор можно аппроксимировать даже без вычисления точного значения ${ Displaystyle P (B)}$ с такими методами, как цепь Маркова Монте-Карло или вариационные байесовские методы.^[1]

Краткое описание байесовских методов

Общий набор статистических методов можно разделить на ряд действий, многие из которых имеют специальные байесовские версии.

Байесовский вывод

Байесовский вывод относится к статистические выводы где неопределенность в выводах количественно оценивается с использованием вероятности. В классическом частотный вывод, модель параметры и гипотезы считаются зафиксированными. Вероятности не приписываются параметрам или гипотезам в частотном выводе. Например, при частотном выводе было бы нецелесообразно напрямую приписывать вероятность событию, которое может произойти только один раз, например результату следующего подбрасывания справедливой монеты. Однако имеет смысл констатировать, что доля голов приближается к половине по мере увеличения количества подбрасываемых монет.^[7]

Статистические модели укажите набор статистических допущений и процессов, которые представляют, как генерируются данные выборки. Статистические модели имеют ряд параметров, которые можно изменять. Например, монету можно представить в виде образцов из Распределение Бернулли, который моделирует два возможных исхода. Распределение Бернулли имеет единственный параметр, равный вероятности одного исхода, который в большинстве случаев является вероятностью выпадения орла. Разработка хорошей модели данных является центральным элементом байесовского вывода. В большинстве случаев модели только приближают истинный процесс и могут не учитывать определенные факторы, влияющие на данные.^[1] В байесовском выводе вероятности могут быть присвоены параметрам модели. Параметры можно представить в виде случайные переменные. Байесовский вывод использует теорему Байеса для обновления вероятностей после того, как будет получено или известно больше доказательств.^[1]^[8]

Статистическое моделирование

Формулировка статистические модели использование байесовской статистики имеет отличительную особенность, требующую спецификации предыдущие распределения для любых неизвестных параметров. В самом деле, параметры априорных распределений могут сами иметь априорные распределения, что приводит к Байесовское иерархическое моделирование,^[9] или могут быть взаимосвязаны, что приводит к Байесовские сети.

Дизайн экспериментов

В Байесовский дизайн экспериментов включает понятие, называемое «влияние предшествующих убеждений». Этот подход использует последовательный анализ методы включения результатов предыдущих экспериментов в план следующего эксперимента. Это достигается обновлением «убеждений» за счет использования предшествующих и апостериорное распределение. Это позволяет при разработке экспериментов эффективно использовать ресурсы всех типов. Примером этого является проблема многорукого бандита.

Исследовательский анализ байесовских моделей

Исследовательский анализ байесовских моделей - это адаптация или расширение разведочный анализ данных подход к потребностям и особенностям байесовского моделирования. По словам Перси Диакониса:^[10]

Исследовательский анализ данных стремится выявить структуру или простые описания данных. Мы смотрим на числа или графики и пытаемся найти закономерности. Мы ищем варианты, подсказанные исходной информацией, воображением, восприятием моделей и опытом анализа других данных.

В процесс вывода генерирует апостериорное распределение, которое играет центральную роль в байесовской статистике, вместе с другими распределениями, такими как апостериорное предсказывающее распределение и априорное предсказывающее распределение. Правильная визуализация, анализ и интерпретация этих распределений являются ключом к правильному ответу на вопросы, которые мотивируют процесс вывода.^[11]

При работе с байесовскими моделями, помимо самого вывода, необходимо решить ряд связанных задач:

Диагностика качества вывода, это необходимо при использовании численных методов, таких как Цепь Маркова Монте-Карло техники
Критика модели, включая оценку как допущений модели, так и прогнозов модели
Сравнение моделей, включая выбор модели или усреднение модели
Подготовка результатов для конкретной аудитории

Все эти задачи являются частью подхода исследовательского анализа байесовских моделей, и их успешное выполнение имеет центральное значение для процесса итеративного и интерактивного моделирования. Эти задачи требуют как числовых, так и визуальных сводок.^[12]^[13]^[14]

дальнейшее чтение

Думай Байеса, Аллен Б. Дауни
Байесовская статистика: почему и как
Пуга Дж. Л., Кшивинский М., Альтман Н. (май 2015 г.). «Байесовская статистика». Важные моменты. Методы природы. 12 (5): 377–8. Дои:10.1038 / nmeth.3368. PMID 26120626. S2CID 30636134.

внешняя ссылка

Элиэзер С. Юдковский. «Интуитивное объяснение теоремы Байеса» (страница в Интернете). Получено 2015-06-15.
Тео Кипрайос. «Мягкое руководство по байесовской статистике» (PDF). Получено 2013-11-03.
Хорди Валлверду. «Байесовцы против частотников. Философские дебаты о статистических рассуждениях».
Байесовская статистика Дэвид Шпигельхальтер, Кеннет Райс Scholarpedia 4(8):5230. DOI: 10.4249 / scholarpedia.5230
Книга по байесовскому моделированию и примеры доступны для скачивания.
Ренс Ван Де Шут. «Мягкое введение в байесовский анализ» (PDF).
Калькулятор байесовского A / B-тестирования Динамическая доходность

[bda-1] а ^б ^c ^d ^е ^ж ^грамм ^час ^я Гельман, Андрей; Карлин, Джон Б.; Стерн, Хэл С .; Дансон, Дэвид Б .; Вехтари, Аки; Рубин, Дональд Б. (2013). Байесовский анализ данных, третье издание. Чепмен и Холл / CRC. ISBN 978-1-4398-4095-5.

[rethinking-2] а ^б Макэлрит, Ричард (2015). Статистическое переосмысление, первое издание. Чепмен и Холл / CRC. ISBN 978-1-4822-5344-3.

[3] Крушке, Джон (2014). Байесовский анализ данных, второе издание. Академическая пресса. ISBN 978-0-1240-5888-0.

[4] МакГрейн, Шэрон (2012). Теория, которая не умрет: как правило Байеса раскрыло код загадки, выследило российские подводные лодки и вышло победителем из двух столетий споров, первое издание. Чепмен и Холл / CRC. ISBN 978-0-3001-8822-6.

[5] Финберг, Стивен Э. (2006). «Когда байесовский вывод стал« байесовским »?». Байесовский анализ. 1 (1): 1–40. Дои:10.1214 / 06-BA101.

[grinsteadsnell2006-6] а ^б Гринстед, Чарльз М .; Снелл, Дж. Лори (2006). Введение в вероятность (2-е изд.). Провиденс, Род-Айленд: Американское математическое общество. ISBN 978-0-8218-9414-9.

[wakefield2013-7] Уэйкфилд, Джон (2013). Байесовские и частотные методы регрессии. Нью-Йорк, штат Нью-Йорк: Спрингер. ISBN 978-1-4419-0924-4.

[congdon2014-8] Конгдон, Питер (2014). Прикладное байесовское моделирование (2-е изд.). Вайли. ISBN 978-1119951513.

[:bmdl-9] Хаджирамезанали, Э., Дадане, С. З., Кербалайгара, А., Чжоу, З., Цянь, X. Байесовское многодоменное обучение для обнаружения подтипов рака на основе данных подсчета секвенирования следующего поколения. 32-я конференция по системам обработки нейронной информации (NIPS 2018), Монреаль, Канада. arXiv:1810.09433

[10] Диаконис, Перси (2011) Теории анализа данных: от магического мышления до классической статистики. John Wiley & Sons, Ltd 2: e55 10.1002 / 9781118150702.ch1

[11] Кумар, Равин; Кэрролл, Колин; Хартикайнен, Ари; Мартин, Освальдо (2019). «ArviZ - унифицированная библиотека для исследовательского анализа байесовских моделей на Python». Журнал открытого программного обеспечения. 4 (33): 1143. Bibcode:2019JOSS .... 4.1143K. Дои:10.21105 / joss.01143.

[12] Габри, Иона; Симпсон, Дэниел; Вехтари, Аки; Бетанкур, Майкл; Гельман, Андрей (2019). «Визуализация в байесовском рабочем процессе». Журнал Королевского статистического общества: серия A (Статистика в обществе). 182 (2): 389–402. arXiv:1709.01449. Дои:10.1111 / rssa.12378. S2CID 26590874.

[13] Вехтари, Аки; Гельман, Андрей; Симпсон, Дэниел; Карпентер, Боб; Бюркнер, Пауль-Кристиан (2019). «Ранговая нормализация, сворачивание и локализация: улучшенный $ widehat {R} $ для оценки сходимости MCMC». arXiv:1903.08008. Цитировать журнал требует | журнал = (помощь)

[Martin2018-14] Мартин, Освальдо (2018). Байесовский анализ с использованием Python: введение в статистическое моделирование и вероятностное программирование с использованием PyMC3 и ArviZ. Packt Publishing Ltd. ISBN 9781789341652.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]