Парадокс Линдли - Википедия - Lindleys paradox

Парадокс Линдли это нелогичный ситуация в статистика в которой Байесовский и частотник подходы к проверка гипотезы проблема дает разные результаты для определенных вариантов выбора предварительное распространение. Проблема несовпадения двух подходов обсуждалась в Гарольд Джеффрис 'Учебник 1939 г .;^[1] он стал известен как парадокс Линдли после Деннис Линдли назвал разногласие парадокс в статье 1957 года.^[2]

Хотя упоминается как парадокс, разные результаты байесовского и частотного подходов можно объяснить их использованием для ответа на принципиально разные вопросы, а не фактического несогласия между двумя методами.

Тем не менее, для большого класса априорных подходов различия между частотным и байесовским подходами вызваны сохранением фиксированного уровня значимости: как признавал даже Линдли, «теория не оправдывает практику сохранения фиксированного уровня значимости» и даже «некоторые вычисления профессора Пирсона в обсуждении этого документа подчеркнули, как уровень значимости должен измениться с размером выборки, если бы потери и априорные вероятности оставались фиксированными ''.^[2] Фактически, если критическое значение увеличивается с увеличением размера выборки достаточно быстро, то расхождение между частотным и байесовским подходами становится незначительным по мере увеличения размера выборки.^[3]

Описание парадокса

Результат ${ displaystyle textstyle x}$ некоторого эксперимента имеет два возможных объяснения, гипотезы ${ displaystyle textstyle H_ {0}}$ и ${ displaystyle textstyle H_ {1}}$, и некоторое предварительное распространение ${ displaystyle textstyle pi}$ представление неопределенности относительно того, какая гипотеза более точна, прежде чем принимать во внимание ${ displaystyle textstyle x}$.

Парадокс Линдли возникает, когда

1. Результат ${ displaystyle textstyle x}$ "значимо" по частотному тесту ${ displaystyle textstyle H_ {0}}$с указанием достаточных доказательств для отклонения ${ displaystyle textstyle H_ {0}}$, скажем, на уровне 5%, и
2. В апостериорная вероятность из ${ displaystyle textstyle H_ {0}}$ данный ${ displaystyle textstyle x}$ высокий, что указывает на веские доказательства того, что ${ displaystyle textstyle H_ {0}}$ лучше согласуется с ${ displaystyle textstyle x}$ чем ${ displaystyle textstyle H_ {1}}$.

Эти результаты могут возникнуть одновременно с ${ displaystyle textstyle H_ {0}}$ очень специфично, ${ displaystyle textstyle H_ {1}}$ более расплывчатые, и предварительное распределение не сильно способствует тому или другому, как показано ниже.

Числовой пример

Следующий числовой пример иллюстрирует парадокс Линдли. В одном городе за определенный период времени родился 49 581 мальчик и 48 870 девочек. Наблюдаемая пропорция ${ displaystyle textstyle x}$ рождений мальчиков составляет 49 581/98 451 ≈ 0,5036. Мы предполагаем, что доля рождений мужского пола составляет биномиальная переменная с параметром ${ displaystyle textstyle theta}$. Мы заинтересованы в том, чтобы проверить, ${ displaystyle textstyle theta}$ составляет 0,5 или другое значение. То есть наша нулевая гипотеза ${ displaystyle textstyle H_ {0}: theta = 0,5}$ и альтернатива ${ displaystyle textstyle H_ {1}: theta neq 0,5}$.

Частотный подход

Частотный подход к тестированию ${ displaystyle textstyle H_ {0}}$ заключается в вычислении p-значение, вероятность увидеть долю мальчиков не меньше, чем ${ displaystyle textstyle x}$ предполагая ${ displaystyle textstyle H_ {0}}$ правда. Поскольку число рождений очень велико, мы можем использовать нормальное приближение для доли мужских рождений ${ displaystyle textstyle X sim N ( mu, sigma ^ {2})}$, с ${ displaystyle textstyle mu = np = n theta = 98 451 times 0,5 = 49 225,5}$ и ${ displaystyle textstyle sigma ^ {2} = n theta (1- theta) = 98 451 times 0,5 times 0,5 = 24 612,75}$, вычислить

${ displaystyle { begin {align} P (X geq x mid mu = 49225,5) = int _ {x = 49581} ^ {98451} { frac {1} { sqrt {2 pi sigma ^ {2}}}} e ^ {- ({ frac {u- mu} { sigma}}) ^ {2} / 2} du = int _ {x = 49581} ^ {98451} { frac {1} { sqrt {2 pi (24 612,75)}}} e ^ {- { frac {(u-49225.5) ^ {2}} {24612.75}} / 2} du приблизительно 0,0117. конец {выровнен}}}$

Мы были бы в равной степени удивлены, если бы увидели 49 581 родов женского пола, т.е. ${ displaystyle textstyle x приблизительно 0,4964}$, поэтому частотный специалист обычно выполняет двусторонний тест, для которого p-значение будет ${ displaystyle textstyle p примерно 2 раза 0,0117 = 0,0235}$. В обоих случаях p-значение ниже уровня значимости α, равного 5%, поэтому частотный подход отвергает ${ displaystyle textstyle H_ {0}}$ поскольку это не согласуется с наблюдаемыми данными.

Байесовский подход

При отсутствии причин отдавать предпочтение одной гипотезе другой, байесовский подход заключался бы в назначении априорных вероятностей ${ displaystyle textstyle pi (H_ {0}) = pi (H_ {1}) = 0,5}$ и равномерное распределение по ${ displaystyle textstyle theta}$ под ${ displaystyle H_ {1}}$, а затем вычислить апостериорную вероятность ${ displaystyle textstyle H_ {0}}$ с помощью Теорема Байеса,

${ Displaystyle P (H_ {0} mid k) = { frac {P (k mid H_ {0}) pi (H_ {0})} {P (k mid H_ {0}) pi (H_ {0}) + P (k mid H_ {1}) pi (H_ {1})}}.}$

После наблюдения ${ displaystyle textstyle k = 49 581}$ мальчики из ${ displaystyle textstyle n = 98 451}$ рождений, мы можем вычислить апостериорную вероятность каждой гипотезы, используя функция массы вероятности для биномиальной переменной,

${ displaystyle { begin {align} P (k mid H_ {0}) & = {n choose k} (0,5) ^ {k} (1-0,5) ^ {nk} приблизительно 1,95 times 10 ^ {-4} P (k mid H_ {1}) & = int _ {0} ^ {1} {n choose k} theta ^ {k} (1- theta) ^ {nk} d theta = {n choose k} mathrm { mathrm {B}} (k + 1, n-k + 1) = 1 / (n + 1) приблизительно 1,02 times 10 ^ {- 5} конец {выровнен}}}$

куда ${ Displaystyle textstyle mathrm { mathrm {B}} (а, б)}$ это Бета-функция.

Из этих значений находим апостериорную вероятность ${ Displaystyle P ( textstyle H_ {0} mid k) приблизительно 0,95}$, что сильно способствует ${ displaystyle textstyle H_ {0}}$ над ${ displaystyle textstyle H_ {1}}$.

Два подхода - байесовский и частотный - кажутся конфликтующими, и это «парадокс».

Согласование байесовского и частотного подходов

Однако, по крайней мере, в примере Линдли, если мы возьмем последовательность уровней значимости, α_п, так что α_п = п^−k с k > 1/2, то апостериорная вероятность нуля сходится к 0, что согласуется с отклонением нуля.^[3] В этом числовом примере взяв k = 1/2, приводит к уровню значимости 0,00318, поэтому частотный специалист не отвергнет нулевую гипотезу, которая примерно соответствует байесовскому подходу.

Распределение п при нулевой гипотезе и апостериорном распределении п.

Если мы используем малоинформативный приор и проверить гипотезу, более похожую на гипотезу частотного подхода, парадокс исчезает.

Например, если мы рассчитаем апостериорное распределение ${ displaystyle textstyle P ( theta mid x, n)}$, используя равномерное предварительное распределение на ${ displaystyle textstyle theta}$ (т.е. ${ displaystyle textstyle pi ( theta in [0,1]) = 1}$), мы нашли

${ Displaystyle P ( theta mid k, n) = mathrm { mathrm {B}} (k + 1, n-k + 1).}$

Если мы используем это, чтобы проверить вероятность того, что новорожденный, скорее всего, будет мальчиком, чем девочкой, т.е. ${ Displaystyle Р ( тета> 0,5 середина к, п)}$, мы нашли

${ displaystyle  int _ {0.5} ^ {1}  mathrm { mathrm {B}} (49582,48871)  приблизительно 0,983.}$

Другими словами, очень вероятно, что доля рождений мужского пола выше 0,5.

Ни один из анализов не дает оценки размер эффекта, напрямую, но оба могут использоваться для определения, например, того, будет ли доля рождений мальчиков выше определенного порогового значения.

Отсутствие настоящего парадокса

Этот раздел включает Список ссылок, связанное чтение или внешняя ссылка, но его источники остаются неясными, потому что в нем отсутствует встроенные цитаты. Пожалуйста, помогите улучшать этот раздел введение более точные цитаты. (Июль 2012 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

Очевидное расхождение между двумя подходами вызвано сочетанием факторов. Во-первых, частотный подход, описанный выше. ${ displaystyle textstyle H_ {0}}$ без ссылки на ${ displaystyle textstyle H_ {1}}$. Байесовский подход оценивает ${ displaystyle textstyle H_ {0}}$ как альтернатива ${ displaystyle textstyle H_ {1}}$, и обнаружил, что первая лучше согласуется с наблюдениями. Это потому, что последняя гипотеза гораздо более расплывчата, поскольку ${ displaystyle textstyle theta}$ может быть где угодно в ${ displaystyle textstyle [0,1]}$, что приводит к очень низкой апостериорной вероятности. Чтобы понять, почему, полезно рассмотреть две гипотезы как генераторы наблюдений:

• Под ${ displaystyle textstyle H_ {0}}$, мы выбрали ${ displaystyle textstyle theta приблизительно 0,500}$и спросите, какова вероятность увидеть 49 581 мальчика при 98 451 рождении.
• Под ${ displaystyle textstyle H_ {1}}$, мы выбрали ${ displaystyle textstyle theta}$ случайным образом от 0 до 1 и задайте тот же вопрос.

Большинство возможных значений для ${ displaystyle textstyle theta}$ под ${ displaystyle textstyle H_ {1}}$ очень слабо подтверждаются наблюдениями. По сути, очевидное расхождение между методами - это вовсе не разногласия, а, скорее, два разных утверждения о том, как гипотезы соотносятся с данными:

• Частотел считает, что ${ displaystyle textstyle H_ {0}}$ является плохим объяснением наблюдения.
• Байесовец считает, что ${ displaystyle textstyle H_ {0}}$ - гораздо лучшее объяснение наблюдения, чем ${ displaystyle textstyle H_ {1}}$.

Согласно частотному тесту соотношение полов новорожденных маловероятно 50/50. Тем не менее 50/50 - лучшее приближение, чем большинство, но не все, другие соотношения. Гипотеза ${ displaystyle textstyle theta приблизительно 0,504}$ соответствовали бы наблюдениям намного лучше, чем почти все другие соотношения, включая ${ displaystyle textstyle theta приблизительно 0,500}$.

Например, этот выбор гипотез и априорных вероятностей подразумевает утверждение: «если ${ displaystyle textstyle theta}$ > 0,49 и ${ displaystyle textstyle theta}$ <0,51, то априорная вероятность ${ displaystyle theta}$ быть точно 0,5 равно 0,50 / 0,51 ${ Displaystyle приблизительно}$ 98% ". Учитывая такое сильное предпочтение ${ displaystyle theta = 0,5}$, легко понять, почему байесовский подход отдает предпочтение ${ displaystyle H_ {0}}$ перед лицом ${ displaystyle x приблизительно 0,5036}$, хотя наблюдаемое значение ${ displaystyle x}$ ложь ${ displaystyle 2.28 sigma}$ от 0,5. Отклонение более 2 сигм от ${ displaystyle H_ {0}}$ считается важным в частотном подходе, но его значение отвергается предшествующим в байесовском подходе.

Посмотрев на это с другой стороны, мы можем увидеть, что априорное распределение по существу является плоским с дельта-функцией на ${ displaystyle textstyle theta = 0,5}$. Ясно, что это сомнительно. Фактически, если бы вы представили действительные числа как непрерывные, то было бы более логичным предположить, что никакое данное число не могло бы быть точным значением параметра, т.е. мы должны принять P (theta = 0,5) = 0.

Более реалистичное распределение для ${ displaystyle textstyle theta}$ в альтернативной гипотезе дает менее удивительный результат для апостериорной части ${ displaystyle textstyle H_ {0}}$. Например, если мы заменим ${ displaystyle textstyle H_ {1}}$ с ${ displaystyle textstyle H_ {2}: theta = x}$, т.е. оценка максимального правдоподобия за ${ displaystyle textstyle theta}$, апостериорная вероятность ${ displaystyle textstyle H_ {0}}$ будет всего 0,07 по сравнению с 0,93 для ${ displaystyle textstyle H_ {2}}$ (Конечно, на самом деле нельзя использовать MLE как часть предыдущего распространения).

Недавнее обсуждение

Парадокс продолжает оставаться предметом активных дискуссий.^[3][4][5][6]

Смотрите также

• Фактор Байеса

Примечания

дальнейшее чтение

• Шафер, Гленн (1982). «Парадокс Линдли». Журнал Американской статистической ассоциации. 77 (378): 325–334. Дои:10.2307/2287244. JSTOR  2287244. МИСТЕР  0664677.