Точный тест Фишера - Википедия - Fishers exact test

Точный тест Фишера это Статистическая значимость тест, используемый при анализе таблицы непредвиденных обстоятельств.^[1][2][3] Хотя на практике он применяется, когда образец размеры небольшие, это действительно для всех размеров выборки. Он назван в честь своего изобретателя, Рональд Фишер, и является одним из класса точные тесты, названный так потому, что значение отклонения от нулевая гипотеза (например., P-значение ) можно рассчитать точно, вместо того, чтобы полагаться на приближение, которое становится точным в пределе, когда размер выборки увеличивается до бесконечности, как во многих статистических тестах.

Говорят, что Фишер разработал тест после комментария Мюриэль Бристоль, которая утверждала, что смогла определить, было ли сначала добавлено в ее чашку чай или молоко. Он проверил ее утверждение в "дама дегустирует чай "эксперимент.^[4]

Цель и сфера применения

А заварочный чайник, а сливочник и чашка полный чая с молоко - может ли дегустатор сказать, поступало ли молоко первым?

Тест полезен для категориальные данные которые возникают в результате классификации объектов двумя разными способами; он используется для изучения значимости связи (случайности) между двумя видами классификации. Итак, в исходном примере Фишера одним из критериев классификации может быть то, наливают ли в чашку первым молоко или чай; другой может быть, думает ли Бристоль, что молоко или чай были налиты первыми. Мы хотим знать, связаны ли эти две классификации, то есть действительно ли Бристоль может определить, налили ли сначала молоко или чай. В большинстве случаев использования теста Фишера, как в этом примере, используется таблица непредвиденных обстоятельств 2 × 2. В p-значение из теста вычисляется так, как если бы поля таблицы были фиксированными, т. е. как если бы в примере с дегустацией чая Бристоль знает количество чашек с каждой обработкой (сначала молоко или чай) и, следовательно, дает догадки с правильным числом в каждой категории. Как указал Фишер, при нулевой гипотезе независимости это приводит к гипергеометрическое распределение чисел в ячейках таблицы.

При больших выборках критерий хи-квадрат (или еще лучше, G-тест ) можно использовать в этой ситуации. Однако значение значимости, которое он обеспечивает, является лишь приблизительным, поскольку выборочное распределение вычисляемой тестовой статистики только приблизительно равно теоретическому распределению хи-квадрат. Приближение неадекватно, когда размеры выборки малы или данные очень неравномерно распределены между ячейками таблицы, в результате чего количество ячеек, предсказанное на основании нулевой гипотезы («ожидаемые значения»), оказывается низким. Обычное эмпирическое правило для определения того, является ли приближение хи-квадрат достаточно хорошим, состоит в том, что критерий хи-квадрат не подходит, когда ожидаемые значения в любой из ячеек таблицы непредвиденных обстоятельств ниже 5, или ниже 10, когда есть только один степень свободы (это правило сейчас известно как слишком консервативное^[5]). Фактически, для небольших, разреженных или несбалансированных данных точные и асимптотические п-значения могут быть совершенно разными и могут привести к противоположным выводам относительно интересующей гипотезы.^[6][7] В отличие от этого, точный тест Фишера, как следует из его названия, является точным до тех пор, пока экспериментальная процедура сохраняет фиксированные итоговые значения строк и столбцов, и поэтому его можно использовать независимо от характеристик выборки. С большими выборками или хорошо сбалансированными таблицами становится трудно производить расчеты, но, к счастью, это именно те условия, при которых подходит критерий хи-квадрат.

Для ручных расчетов проверка возможна только в случае таблицы непредвиденных обстоятельств 2 × 2. Однако принцип теста можно распространить на общий случай м × п стол,^[8][9] и немного статистические пакеты предоставить расчет (иногда используя Метод Монте-Карло для получения приближения) для более общего случая.^[10]

Пример

Например, выборку подростков можно разделить на мужчин и женщин, с одной стороны, и тех, кто готовится и не готовится в настоящее время к экзамену по статистике, с другой. Мы предполагаем, например, что доля изучающих людей выше среди женщин, чем среди мужчин, и мы хотим проверить, является ли какое-либо различие в пропорциях, которое мы наблюдаем, значительным. Данные могут выглядеть так:

Вопрос, который мы задаем по поводу этих данных: зная, что 10 из этих 24 подростков учатся, а 12 из 24 - женщины, и принимая нулевую гипотезу о том, что мужчины и женщины с равной вероятностью будут учиться, какова вероятность того, что эти 10 подростков подростки, которые учатся, будут так неравномерно распределены между женщинами и мужчинами? Если бы мы выбрали 10 подростков наугад, какова вероятность того, что 9 или более из них окажутся среди 12 женщин и только 1 или меньше среди 12 мужчин?

Прежде чем перейти к тесту Фишера, мы сначала введем некоторые обозначения. Обозначим клетки буквами а, б, в и d, вызовите итоги по строкам и столбцам предельные итоги, а общую сумму представляют как п. Итак, таблица теперь выглядит так:

Фишер показал, что вероятность получения любого такого набора значений определяется гипергеометрическое распределение:

куда ${ displaystyle { tbinom {n} {k}}}$ это биномиальный коэффициент и символ! указывает на факториальный оператор В этом можно убедиться следующим образом. Если предельные суммы (т.е. ${ displaystyle a + b}$, ${ displaystyle c + d}$, ${ displaystyle a + c}$, и ${ displaystyle b + d}$) известны, осталась только одна степень свободы: значение, например, из ${ displaystyle a}$ достаточно, чтобы вывести другие значения. Сейчас же, ${ Displaystyle р = р (а)}$ вероятность того, что ${ displaystyle a}$ элементы положительны при случайном выборе (без замены) ${ displaystyle a + c}$ элементы из большего набора, содержащего ${ displaystyle n}$ всего элементов, из которых ${ displaystyle a + b}$ положительны, что и является определением гипергеометрического распределения.

С приведенными выше данными (с использованием первой из эквивалентных форм) это дает:

Приведенная выше формула дает точную гипергеометрическую вероятность наблюдения этого конкретного расположения данных при заданных предельных итоговых значениях на нулевая гипотеза что мужчины и женщины с одинаковой вероятностью будут учиться. Другими словами, если мы предположим, что вероятность того, что мужчина является исследователем, равна ${ Displaystyle { mathfrak {p}}}$, вероятность того, что женщина учится, также ${ Displaystyle { mathfrak {p}}}$, и мы предполагаем, что и мужчины, и женщины входят в нашу выборку независимо от того, являются ли они исследователями, тогда эта гипергеометрическая формула дает условную вероятность наблюдения значений а, б, в, г в четырех ячейках, в зависимости от наблюдаемых маржинальных значений (т. е. при условии, что указаны итоговые значения по строкам и столбцам, показанные на полях таблицы). Это остается верным, даже если мужчины входят в нашу выборку с другой вероятностью, чем женщины. Требование состоит лишь в том, чтобы две классификационные характеристики - пол и студент (или нет) - не были связаны.

Например, предположим, что мы знали вероятности ${ displaystyle P, Q, { mathfrak {p, q}}}$ с ${ Displaystyle P + Q = { mathfrak {p}} + { mathfrak {q}} = 1}$ таким образом, что (мужчина-студент, мужчина, не обучающийся, женщина-студент, женщина, не обучающийся) имели соответствующие вероятности ${ displaystyle (P { mathfrak {p}}, P { mathfrak {q}}, Q { mathfrak {p}}, Q { mathfrak {q}})}$ для каждого человека, встреченного в рамках нашей процедуры отбора проб. Тем не менее, если бы мы вычислили распределение элементов ячеек, условно заданных маргиналами, мы получили бы формулу выше, в которой ни ${ Displaystyle { mathfrak {p}}}$ ни ${ displaystyle P}$ происходит. Таким образом, мы можем вычислить точную вероятность любого размещения 24 подростков в четырех ячейках таблицы, но Фишер показал, что для получения уровня значимости нам нужно рассматривать только те случаи, когда предельные итоговые значения такие же, как в наблюдаемых таблица, и среди них только те случаи, когда расположение настолько же экстремально, как наблюдаемое расположение, или даже больше. (Тест Барнарда ослабляет это ограничение для одного набора предельных итогов.) В примере имеется 11 таких случаев. Из них только один является более радикальным в том же направлении, что и наши данные; это выглядит так:

Для этой таблицы (с крайне неравными пропорциями изучения) вероятность равна${ displaystyle {p = { tbinom {10} {0}} { tbinom {14} {12}}} / { tbinom {24} {12}} приблизительно 0,000033652}$.

Чтобы рассчитать значимость наблюдаемых данных, то есть общую вероятность наблюдения данных как экстремальных или более экстремальных, если нулевая гипотеза верно, мы должны вычислить значения п для обеих этих таблиц и сложите их вместе. Это дает односторонний тест, с п приблизительно 0,001346076 + 0,000033652 = 0,001379728. Например, в Среда статистических вычислений R, это значение можно получить как fisher.test (rbind (c (1,9), c (11,3)), alternate = "less") $ p.value. Это значение можно интерпретировать как сумму свидетельств, предоставленных наблюдаемыми данными - или любой другой экстремальной таблицей - для нулевая гипотеза (что нет разницы в пропорциях студентов между мужчинами и женщинами). Чем меньше значение п, тем больше доказательств для отклонения нулевой гипотезы; Итак, здесь есть убедительные доказательства того, что мужчины и женщины не в равной степени занимаются изучением.

Для двусторонний тест мы также должны рассматривать таблицы, которые столь же экстремальны, но в противоположном направлении. К сожалению, классификация таблиц в зависимости от того, являются ли они «экстремальными» или нет, является проблематичной. Подход, используемый fisher.test функционировать в р заключается в вычислении p-значения путем суммирования вероятностей для всех таблиц с вероятностями, меньшими или равными вероятности наблюдаемой таблицы. В приведенном здесь примере двустороннее значение p в два раза больше одностороннего значения, но в целом они могут существенно отличаться для таблиц с небольшими счетчиками, в отличие от случая с тестовой статистикой, которая имеет симметричное распределение выборки.

Как отмечалось выше, самые современные статистические пакеты вычислит значимость критериев Фишера, в некоторых случаях, даже если приближение хи-квадрат также будет приемлемым. Фактические вычисления, выполняемые пакетами статистического программного обеспечения, как правило, будут отличаться от описанных выше, поскольку численные трудности могут возникнуть из-за больших значений факториалов. Простой, несколько лучший вычислительный подход основан на гамма-функция или логарифмическая гамма-функция, но методы точного вычисления гипергеометрических и биномиальных вероятностей остаются активной областью исследований.

Споры

Несмотря на то, что тест Фишера дает точные p-значения, некоторые авторы утверждали, что он консервативен, то есть что его фактический уровень отклонения ниже номинального уровня значимости.^[11][12][13] Очевидное противоречие возникает из-за комбинации дискретной статистики с фиксированными уровнями значимости.^[14][15] Чтобы быть более точным, рассмотрим следующее предложение для теста значимости на уровне 5%: отклонить нулевую гипотезу для каждой таблицы, которой тест Фишера присваивает значение p, равное или меньшее 5%. Поскольку набор всех таблиц дискретен, может не быть таблицы, для которой достигается равенство. Если ${ displaystyle alpha _ {e}}$ является наибольшим p-значением меньше 5%, которое действительно может иметь место для некоторой таблицы, тогда предлагаемый тест эффективно проверяет на ${ displaystyle alpha _ {e}}$-уровень. Для небольших выборок ${ displaystyle alpha _ {e}}$ может быть значительно ниже 5%.^[11][12][13] Хотя этот эффект имеет место для любой дискретной статистики (не только в таблицах непредвиденных обстоятельств или для теста Фишера), утверждается, что проблема усугубляется тем фактом, что условия теста Фишера на маргинальные.^[16] Чтобы избежать этой проблемы, многие авторы не рекомендуют использовать фиксированные уровни значимости при решении дискретных задач.^[14][15]

Решение о состоянии на полях таблицы также является спорным.^[17][18] Значения p, полученные с помощью теста Фишера, получены из распределения, которое обусловливает итоговую маржу. В этом смысле тест точен только для условного распределения, а не для исходной таблицы, где итоговые значения маржи могут изменяться от эксперимента к эксперименту. Можно получить точное значение p для таблицы 2 × 2, если поля не фиксируются. Тест Барнарда, например, допускает случайные поля. Однако некоторые авторы^[14][15][18] (включая, позже, самого Барнарда)^[14] раскритиковали тест Барнарда, основанный на этом свойстве. Они утверждают, что общий предельный успех - это (почти^[15]) вспомогательная статистика, не содержащий (почти) никакой информации о тестируемом объекте.

Можно показать, что действие обусловливания предельной вероятности успеха из таблицы 2 × 2 игнорирует некоторую информацию в данных о неизвестном отношении шансов.^[19] Аргумент, что предельные итоговые значения являются (почти) вспомогательными, подразумевает, что соответствующая функция правдоподобия для того, чтобы делать выводы об этом соотношении шансов, должна зависеть от предельного коэффициента успеха.^[19] Важна ли эта утерянная информация для целей вывода - суть спора.^[19]

Альтернативы

Альтернативный точный тест, Точный тест Барнарда, был разработан, и сторонники^{[согласно кому? ]} Из этого следует, что этот метод более мощный, особенно в таблицах 2 × 2.^[20] Более того, Тест Босхлоо является точным тестом, который по своей конструкции более мощный, чем точный тест Фишера.^[21] Другая альтернатива - использовать максимальная вероятность оценки для расчета p-значение из точного биномиальный или же полиномиальный распределения и отклонить или не отклонить на основании p-значение.^{[нужна цитата ]}

Для стратифицированных категориальных данных Тест Кокрана – Мантеля – Хензеля должен использоваться вместо теста Фишера.

Choi et al.^[19] предложить p-значение, полученное из теста отношения правдоподобия на основе условного распределения отношение шансов учитывая предельный уровень успеха. Это p-значение логически согласуется с классическими тестами нормально распределенных данных, а также с отношениями правдоподобия и поддерживающими интервалами, основанными на этой функции условного правдоподобия. Это также легко вычислимо.^[22]

Смотрите также

• Бернулли суд
• Тест Босхлоо

Рекомендации

внешняя ссылка

• Рассчитайте точный тест Фишера онлайн
• Статистика отношения правдоподобия для таблиц 2x2