Байесовская вероятность - Википедия - Bayesian probability

Для более широкого освещения этой темы см. Байесовская статистика.
Часть серии по
Байесовская статистика
Байесовский значок.svg
Теория
Методы
  • Приложения Nuvola edu Mathematics blue-p.svg Математический портал

Байесовская вероятность является толкование понятия вероятности, в котором вместо частота или же склонность некоторого явления вероятность интерпретируется как разумное ожидание[1] представляя состояние знаний[2] или как количественная оценка личного убеждения.[3]

Байесовскую интерпретацию вероятности можно рассматривать как расширение логика высказываний что позволяет рассуждать с гипотезами;[4] то есть с предложениями, правда или ложь неизвестно. С байесовской точки зрения гипотезе присваивается вероятность, тогда как в частотный вывод гипотеза обычно проверяется без присвоения вероятности.

Байесовская вероятность относится к категории доказательных вероятностей; чтобы оценить вероятность гипотезы, байесовский вероятностник указывает априорная вероятность. Это, в свою очередь, затем обновляется до апостериорная вероятность в свете новых актуальных данные (свидетельство).[5] Байесовская интерпретация предоставляет стандартный набор процедур и формул для выполнения этого вычисления.

Период, термин Байесовский происходит от математика и теолога 18 века Томас Байес, который впервые математически обработал нетривиальную задачу статистической анализ данных используя то, что сейчас известно как Байесовский вывод.[6]:131 Математик Пьер-Симон Лаплас впервые и популяризировал то, что сейчас называется байесовской вероятностью.[6]:97–98

Байесовская методология

Байесовские методы характеризуются следующими концепциями и процедурами:

  • Использование случайные переменные, или в более общем случае неизвестные количества,[7] моделировать все источники неуверенность в статистических моделях, включая неопределенность из-за недостатка информации (см. также алеаторическая и эпистемическая неопределенность ).
  • Необходимость определения априорного распределения вероятностей с учетом имеющейся (априорной) информации.
  • Последовательное использование Формула Байеса: когда станет доступно больше данных, рассчитайте апостериорное распределение по формуле Байеса; впоследствии апостериорное распределение становится следующим апостериорным.
  • В то время как для частотника гипотеза это предложение (что должно быть либо правда, либо ложь ), так что частотная вероятность гипотезы равна 0 или 1, в байесовской статистике вероятность, которая может быть приписана гипотезе, также может находиться в диапазоне от 0 до 1, если значение истинности является неопределенным.

Объективные и субъективные байесовские вероятности

Вообще говоря, существует две интерпретации байесовской вероятности. Для объективистов, которые интерпретируют вероятность как расширение логика, вероятность количественно оценивает разумное ожидание, что каждый (даже «робот»), обладающий одинаковыми знаниями, должен делиться в соответствии с правилами байесовской статистики, что может быть оправдано Теорема Кокса.[2][8] Для субъективистов, вероятность соответствует личному убеждению.[3] Рациональность и согласованность допускают существенные вариации в рамках ограничений, которые они создают; ограничения оправдываются Голландская книга аргумент или теория принятия решений и теорема де Финетти.[3] Объективный и субъективный варианты байесовской вероятности различаются в основном своей интерпретацией и построением априорной вероятности.

История

Основная статья: История статистики § Байесовская статистика

Период, термин Байесовский происходит от Томас Байес (1702–1761), которые доказали частный случай того, что сейчас называется Теорема Байеса в статье под названием "Эссе к решению проблемы в Доктрине Шанса ".[9] В этом частном случае априорное и апостериорное распределения были бета-версии и данные поступили из Бернулли испытания. Это было Пьер-Симон Лаплас (1749–1827), который ввел общую версию теоремы и использовал ее для решения проблем в небесная механика, медицинская статистика, надежность, и юриспруденция.[10] Ранний байесовский вывод, в котором использовались единые априорные значения, следующие за Лапласом. принцип недостаточной причины, назывался "обратная вероятность " (потому что это делает вывод назад от наблюдений к параметрам или от следствий к причинам).[11] После 1920-х годов «обратная вероятность» была в значительной степени вытеснена набором методов, которые стали называть частотная статистика.[11]

В ХХ веке идеи Лапласа развивались в двух направлениях, породив цель и субъективный течения в байесовской практике.Гарольд Джеффрис ' Теория вероятности (впервые опубликовано в 1939 г.) сыграли важную роль в возрождении байесовского взгляда на вероятность, за которым последовали работы Авраам Вальд (1950) и Леонард Дж. Сэвидж (1954). Прилагательное Байесовский сам датируется 1950-ми годами; производный Байесовство, необайесианство Чеканка 1960-х годов.[12][13][14] В потоке объективистов статистический анализ зависит только от принятой модели и проанализированных данных.[15] Не нужно принимать никаких субъективных решений. Напротив, «субъективные» статистики отрицают возможность полностью объективного анализа для общего случая.

В 1980-х годах наблюдался резкий рост исследований и приложений байесовских методов, в основном связанный с открытием Цепь Маркова Монте-Карло методы и, как следствие, устранение многих вычислительных проблем, а также растущий интерес к нестандартным, сложным приложениям.[16] Хотя частотная статистика остается сильной (о чем свидетельствует тот факт, что большая часть обучения студентов по-прежнему основана на ней [17][нужна цитата ]), Байесовские методы широко распространены и используются, например, в области машинное обучение.[18]

Обоснование байесовских вероятностей

Использование байесовских вероятностей в качестве основы Байесовский вывод был поддержан несколькими аргументами, такими как Аксиомы Кокса, то Голландский книжный аргумент, аргументы, основанные на теория принятия решений и теорема де Финетти.

Аксиоматический подход

Ричард Т. Кокс показало, что[8] Байесовское обновление следует из нескольких аксиом, в том числе двух функциональные уравнения и гипотеза дифференцируемости. Предположение о дифференцируемости или даже непрерывности является спорным; Халперн нашел контрпример, основанный на своем наблюдении, что булева алгебра утверждений может быть конечной.[19] Различные авторы предлагали другие аксиоматизации с целью сделать теорию более строгой.[7]

Голландский книжный подход

Аргумент голландской книги был предложен де Финетти; он основан на ставках. А Голландская книга совершается, когда умный игрок делает набор ставок, которые гарантируют прибыль независимо от результата ставок. Если букмекерская контора следует правилам байесовского исчисления при построении своих шансов, голландская книга не может быть составлена.

Тем не мение, Ян Хакинг отметил, что традиционные аргументы в пользу голландских книг не определяют байесовское обновление: они оставляют открытой возможность того, что небайесовские правила обновления могут избежать голландских книг. Например, Взлом пишет[20][21] «И ни аргумент в голландской книге, ни какой-либо другой аргумент в персоналистском арсенале доказательств аксиом вероятности не влечет за собой динамическое допущение. Ни одно из них не влечет за собой байесианство. Таким образом, персоналист требует, чтобы динамическое допущение было байесовским. Это правда, что в последовательности персоналист может отказаться от байесовской модели обучения на собственном опыте. Соль может потерять свой вкус ».

Фактически, существуют небайесовские правила обновления, которые также избегают голландских книг (как обсуждается в литературе по теме "вероятностная кинематика "[22] после публикации Ричард С. Джеффрис 'правило, которое само считается байесовским[23]). Дополнительные гипотезы, достаточные для (однозначного) определения байесовского обновления, существенны.[24] и не всегда считается удовлетворительным.[25]

Подход теории принятия решений

А теоретико-решающий обоснование использования байесовского вывода (и, следовательно, байесовских вероятностей) было дано Авраам Вальд, которые доказали, что каждый допустимый Статистическая процедура - это либо байесовская процедура, либо предел байесовских процедур.[26] И наоборот, каждая байесовская процедура допустимый.[27]

Личные вероятности и объективные методы построения априорных точек.

После работы над ожидаемая полезность теория из Рэмси и фон Нейман теоретики принятия решений учли рациональное поведение используя распределение вероятностей для агент. Иоганн Пфанцагл завершил Теория игр и экономического поведения предоставив аксиоматизацию субъективной вероятности и полезности, задачу, оставленную фон Нейманом и Оскар Моргенштерн: их первоначальная теория предполагала, что для удобства у всех агентов было одинаковое распределение вероятностей.[28] Аксиоматизация Пфанцагля была поддержана Оскаром Моргенштерном: «Фон Нейман и я предвидели ... [вопрос о том, могут ли вероятности] быть, возможно, более типично, субъективными, и специально заявили, что в последнем случае можно найти аксиомы, из которых можно вывести желаемая числовая полезность вместе с числом вероятностей (см. стр. 19 Теория игр и экономического поведения ). Мы этого не сделали; это было продемонстрировано Pfanzagl ... со всей необходимой строгостью ".[29]

Рэмси и дикий отметил, что распределение вероятностей отдельного агента может быть объективно изучено в экспериментах. Процедуры для проверка гипотез о вероятностях (с использованием конечных выборок) связаны с Рэмси (1931) и де Финетти (1931, 1937, 1964, 1970). Обе Бруно де Финетти[30][31] и Фрэнк П. Рэмси[31][32] признать свои долги перед прагматическая философия, особенно (для Рэмси) Чарльз С. Пирс.[31][32]

«Тест Рэмси» для оценки вероятностных распределений теоретически реализуем и занимал психологов-экспериментаторов в течение полувека.[33]Эта работа демонстрирует, что предложения с байесовской вероятностью могут быть фальсифицированный, и, следовательно, соответствуют эмпирическому критерию Чарльз С. Пирс, работа которого вдохновила Рэмси. (Этот фальсифицируемость -критерий популяризировал Карл Поппер.[34][35])

Современная работа по экспериментальной оценке личных вероятностей использует рандомизацию, ослепляющий, и процедуры логического решения эксперимента Пирса-Ястроу.[36] Поскольку люди действуют в соответствии с различными вероятностными суждениями, вероятности этих агентов являются «личными» (но поддаются объективному изучению).

Личные вероятности проблематичны для науки и для некоторых приложений, где лицам, принимающим решения, не хватает знаний или времени для определения информированного распределения вероятностей (на основе которого они готовы действовать). Чтобы удовлетворить потребности науки и человеческие ограничения, байесовские статистики разработали «объективные» методы для определения априорных вероятностей.

Действительно, некоторые байесовцы утверждали, что предшествующий уровень знаний определяет то (уникальное) априорное распределение вероятностей для "обычных" статистических задач; ср. хорошо поставленные задачи. Поиск подходящего метода для построения таких «объективных» априорных значений (для соответствующих классов регулярных задач) был задачей статистических теоретиков от Лапласа до Джон Мейнард Кейнс, Гарольд Джеффрис, и Эдвин Томпсон Джейнс. Эти теоретики и их последователи предложили несколько методов построения «объективных» априорных значений (к сожалению, неясно, как оценить относительную «объективность» априорных оценок, предложенных этими методами):

Каждый из этих методов дает полезные априорные значения для "обычных" однопараметрических задач, и каждый из них может справиться с некоторыми сложными статистические модели (с «неравномерностью» или несколькими параметрами). Каждый из этих методов был полезен в байесовской практике. В самом деле, методы построения «объективных» (альтернативно «по умолчанию» или «незнание») априорных значений были разработаны признанными субъективными (или «личными») байесовцами, такими как Джеймс Бергер (Университет Дьюка ) и Хосе-Мигель Бернардо (Universitat de València ) просто потому, что такие априорные значения необходимы для байесовской практики, особенно в науке.[37] Поиски «универсального метода построения априорных значений» продолжают привлекать теоретиков статистики.[37]

Таким образом, байесовскому статистику необходимо либо использовать информированные априорные значения (используя соответствующий опыт или предыдущие данные), либо выбирать среди конкурирующих методов построения «объективных» априорных значений.

Смотрите также

Рекомендации

  1. ^ Кокс, Р. (1946). «Вероятность, частота и разумные ожидания». Американский журнал физики. 14 (1): 1–10. Bibcode:1946AmJPh..14 .... 1С. Дои:10.1119/1.1990764.CS1 maint: ref = harv (связь)
  2. ^ а б Джейнс, Э. (1986). «Байесовские методы: общие сведения». В Справедливости, Дж. Х. (ред.). Максимально-энтропийные и байесовские методы в прикладной статистике. Кембридж: Издательство Кембриджского университета. CiteSeerX  10.1.1.41.1055.
  3. ^ а б c де Финетти, Бруно (2017). Теория вероятности: важное вводное лечение. Чичестер: John Wiley & Sons Ltd. ISBN  9781119286370.
  4. ^ Хаильперин, Теодор (1996). Логика предположительной вероятности: происхождение, развитие, текущее состояние и технические приложения. Лондон: Associated University Press. ISBN  0934223459.
  5. ^ Паулос, Джон Аллен (5 августа 2011 г.). "Математика изменения вашего ума [Шэрон Берч МакГрейн]". Книжное обозрение. Нью-Йорк Таймс. Получено 2011-08-06.
  6. ^ а б Стиглер, Стивен М. (март 1990 г.). История статистики. Издательство Гарвардского университета. ISBN  9780674403413.
  7. ^ а б Дюпре, Морис Дж .; Типлер, Фрэнк Дж. (2009). «Новые аксиомы строгой байесовской вероятности». Байесовский анализ. 4 (3): 599–606. CiteSeerX  10.1.1.612.3036. Дои:10.1214 / 09-BA422.
  8. ^ а б Кокс, Ричард Т. (1961). Алгебра вероятного вывода (Перепечатка ред.). Балтимор, Мэриленд; Лондон, Великобритания: Johns Hopkins Press; Oxford University Press [дистрибьютор]. ISBN  9780801869822.
  9. ^ МакГрейн, Шэрон Бертч (2011). Теория, которая не умрет. [https://archive.org/details/theorythatwouldn0000mcgr/page/10 10  ], п. 10, в Google Книги.
  10. ^ Стиглер, Стивен М. (1986). "Глава 3". История статистики. Издательство Гарвардского университета.
  11. ^ а б Финберг, Стивен. Э. (2006). «Когда байесовский вывод стал« байесовским »?» (PDF). Байесовский анализ. 1 (1): 5, 1–40. Дои:10.1214 / 06-BA101. Архивировано из оригинал (PDF) 10 сентября 2014 г.
  12. ^ Харрис, Маршалл Дис (1959). «Последние разработки так называемого байесовского подхода к статистике». Центр аграрного права. Юридические и экономические исследования. Университет Айовы: 125 (fn. # 52), 126. Работы Вальд, Статистические функции принятия решений (1950) и дикий, Фонд статистики (1954) обычно считаются отправными точками для современных байесовских подходов.
  13. ^ Летопись вычислительной лаборатории Гарвардского университета. 31. 1962. с. 180. Эта революция, которая может иметь успех, а может и не удастся, и есть необайесианство. Джеффрис попытался внедрить этот подход, но в то время не смог придать ему всеобщую привлекательность.
  14. ^ Кемпторн, Оскар (1967). Классическая проблема вывода - степень соответствия. Пятый симпозиум по математической статистике и теории вероятностей в Беркли. п. 235. Любопытно, что даже в своей деятельности, не связанной с этикой, человечество ищет религию. В настоящее время сильнее всего «проталкивается» религия - это байесовство.
  15. ^ Бернардо, Дж. (2005). «Справочный анализ». Байесовское мышление - моделирование и вычисления. Справочник по статистике. 25. С. 17–90. Дои:10.1016 / S0169-7161 (05) 25002-2. ISBN  9780444515391.
  16. ^ Вольперт, Р.Л. (2004). «Разговор с Джеймсом О. Бергером». Статистическая наука. 9: 205–218. Дои:10.1214/088342304000000053.
  17. ^ Бернардо, Хосе М. (2006). Учебник по байесовской математической статистике (PDF). ИКОТ-7. Берн.
  18. ^ Бишоп, К. (2007). Распознавание образов и машинное обучение. Springer.
  19. ^ Халперн, Дж. (1999). «Контрпример к теоремам Кокса и Файна» (PDF). Журнал исследований искусственного интеллекта. 10: 67–85. Дои:10.1613 / jair.536. S2CID  1538503.
  20. ^ Взлом (1967), раздел 3, стр. 316
  21. ^ Взлом (1988, стр.124)
  22. ^ Скирмс, Брайан (1 января 1987 г.). «Динамическая когерентность и вероятностная кинематика». Философия науки. 54 (1): 1–20. CiteSeerX  10.1.1.395.5723. Дои:10.1086/289350. JSTOR  187470.
  23. ^ Джойс, Джеймс (30 сентября 2003 г.). «Теорема Байеса». Стэнфордская энциклопедия философии. stanford.edu.
  24. ^ Fuchs, Christopher A .; Шак, Рюдигер (1 января 2012 г.). Бен-Менахем, Йемима; Хеммо, Меир (ред.). Вероятность в физике. Коллекция Frontiers. Springer Berlin Heidelberg. стр.233 –247. arXiv:1103.5950. Дои:10.1007/978-3-642-21329-8_15. ISBN  9783642213281. S2CID  119215115.
  25. ^ ван Фрассен, Бас (1989). Законы и симметрия. Издательство Оксфордского университета. ISBN  0-19-824860-1.
  26. ^ Уолд, Абрахам (1950). Статистические функции принятия решений. Вайли.
  27. ^ Бернардо, Хосе М .; Смит, Адриан Ф. (1994). Байесовская теория. Джон Вили. ISBN  0-471-92416-4.
  28. ^ Пфанцагль (1967, 1968)
  29. ^ Моргенштерн (1976, стр. 65)
  30. ^ Галавотти, Мария Карла (1 января 1989 г.). «Антиреализм в философии вероятности: субъективизм Бруно де Финетти». Erkenntnis. 31 (2/3): 239–261. Дои:10.1007 / bf01236565. JSTOR  20012239. S2CID  170802937.
  31. ^ а б c Галавотти, Мария Карла (1 декабря 1991 г.). «Понятие субъективной вероятности в творчестве Рэмси и де Финетти». Теория. 57 (3): 239–259. Дои:10.1111 / j.1755-2567.1991.tb00839.x. ISSN  1755-2567.
  32. ^ а б Докич, Жером; Энгель, Паскаль (2003). Фрэнк Рэмси: правда и успех. Рутледж. ISBN  9781134445936.
  33. ^ Davidson et al. (1957)
  34. ^ Торнтон, Стивен (7 августа 2018 г.). «Карл Поппер». Стэнфордская энциклопедия философии.
  35. ^ Поппер, Карл (2002) [1959]. Логика научных открытий (2-е изд.). Рутледж. п. 57. ISBN  0-415-27843-0 - через Google Книги. (перевод оригинала 1935 г. на немецком языке).
  36. ^ Пирс и Джастроу (1885)
  37. ^ а б Бернардо, Дж. М. (2005). «Справочный анализ». In Dey, D.K .; Рао, К. (ред.). Справочник по статистике (PDF). 25. Амстердам: Эльзевир. С. 17–90.

Библиография