Ошибки типа I и типа II - Type I and type II errors

В статистическая проверка гипотез, а ошибка типа I это отказ от истинного нулевая гипотеза (также известный как «ложноположительный» вывод или заключение; пример: «невиновный осужден»), а ошибка типа II - это неотверженность ложной нулевой гипотезы (также известной как «ложноотрицательный» вывод или вывод; пример: «виновный не признан виновным»).^[1] Большая часть статистической теории вращается вокруг минимизации одной или обеих этих ошибок, хотя полное исключение любой из них статистически невозможно для недетерминированные алгоритмы.Путем выбора низкого порогового значения (порогового значения) и изменения уровня альфа (p) можно повысить качество проверки гипотезы.^[2] Знание ошибок типа I и ошибок типа II широко используется в медицинская наука, биометрия и Информатика.

Интуитивно ошибки типа I можно рассматривать как ошибки комиссия, т.е. исследователь заключает, что что-то является фактом, хотя на самом деле это не подтверждается исследованием. Например, рассмотрим исследование, в котором исследователи сравнивают лекарство с плацебо. Если пациенты, которым вводили лекарство, выздоравливали случайно, чем пациенты, получившие плацебо, может показаться, что препарат эффективен, но на самом деле вывод неверен. И наоборот, ошибки типа II как ошибки упущение. В приведенном выше примере, если пациенты, получившие лекарство, не поправлялись быстрее, чем пациенты, получавшие плацебо, но это была случайная случайность, это будет ошибкой типа II.

Определение

Статистическая справка

В теория статистических тестов, понятие статистическая ошибка является неотъемлемой частью проверка гипотезы. Тест заключается в выборе двух конкурирующих предложений, называемых нулевая гипотеза, обозначаемый H₀ и Альтернативная гипотеза, обозначаемый H₁ . Это концептуально похоже на приговор в суде. Нулевая гипотеза соответствует позиции обвиняемого: так же, как он считается невиновным до тех пор, пока его вина не будет доказана, нулевая гипотеза считается верной до тех пор, пока данные не предоставят убедительные доказательства против нее. Альтернативная гипотеза соответствует позиции против подсудимого. В частности, нулевая гипотеза также предполагает отсутствие различия или отсутствие связи. Таким образом, нулевая гипотеза никогда не может заключаться в том, что существует различие или связь.

Если результат теста соответствует действительности, значит, решение принято. Однако если результат теста не соответствует действительности, значит, произошла ошибка. Есть две ситуации, в которых решение неверно. Нулевая гипотеза может быть верной, тогда как мы отвергаем H₀. С другой стороны, альтернативная гипотеза H₁ может быть правдой, тогда как мы не отвергаем H₀. Различают два типа ошибок: ошибка типа I и ошибка типа II.^[3]

Ошибка типа I

Первый вид ошибок - это отклонение истинной нулевой гипотезы в результате процедуры проверки. Этот вид ошибки называется ошибкой типа I (ложное срабатывание) и иногда называется ошибкой первого типа.

Что касается примера зала суда, ошибка типа I соответствует осуждению невиновного ответчика.

Ошибка типа II

Второй вид ошибок - это неспособность отвергнуть ложную нулевую гипотезу в результате процедуры тестирования. Этот вид ошибок называется ошибкой типа II (ложноотрицательный), а также ошибкой второго типа.

В случае с судом ошибка типа II соответствует оправданию преступника.^[4]

Частота ошибок кроссовера

Коэффициент перекрестных ошибок (CER) - это точка, в которой ошибки типа I и ошибки типа II равны, и представляет собой лучший способ измерения эффективности биометрии. Система с более низким значением CER обеспечивает большую точность, чем система с более высоким значением CER.

Ложноположительный и ложноотрицательный

См. Дополнительную информацию в: Ложноположительный и ложноотрицательный

Что касается ложноположительных и ложноотрицательных результатов, положительный результат соответствует отклонению нулевой гипотезы, а отрицательный результат соответствует неспособности отклонить нулевую гипотезу; «false» означает, что сделанный вывод неверен. Таким образом, ошибка типа I эквивалентна ложноположительному результату, а ошибка типа II эквивалентна ложноотрицательному результату.

Таблица типов ошибок

Табличные отношения между истинностью / ложностью нулевой гипотезы и результатами теста:^[5]

Таблица типов ошибок		Нулевая гипотеза (ЧАС₀) является
Таблица типов ошибок		Истинный	Ложь
Решение о нуле гипотеза (ЧАС₀)	Не надо отклонять	Правильный вывод (истинно отрицательный) (вероятность = 1−α)	Ошибка типа II (ложноотрицательный) (вероятность = β)
Решение о нуле гипотеза (ЧАС₀)	Отклонять	Ошибка типа I (ложный положительный результат) (вероятность = α)	Правильный вывод (истинно положительный) (вероятность = 1−β)

Частота ошибок

Результаты, полученные для отрицательного образца (левая кривая), перекрываются с результатами, полученными для положительного образца (правая кривая). Перемещая значение отсечения результата (вертикальная полоса), можно уменьшить количество ложных срабатываний (FP) за счет увеличения количества ложноотрицательных результатов (FN) или наоборот.

Идеальный тест будет иметь ноль ложных срабатываний и ноль ложноотрицательных результатов. Однако статистические методы являются вероятностными, и нельзя с уверенностью сказать, верны ли статистические выводы. Всякий раз, когда есть неуверенность, есть вероятность ошибки. Учитывая такую природу статистической науки, все проверки статистических гипотез имеют вероятность сделать ошибки типа I и типа II.^[6]

Частота ошибок типа I или уровень значимости - это вероятность отклонения нулевой гипотезы при условии, что она верна. Он обозначается греческой буквой α (альфа) и также называется альфа-уровнем. Обычно уровень значимости устанавливается равным 0,05 (5%), что означает приемлемость 5% вероятности ошибочного отклонения истинной нулевой гипотезы.^[7]
Скорость ошибки типа II обозначается греческой буквой β (бета) и связана с сила теста, что равно 1 − β.^[8]

Эти два типа коэффициентов ошибок противопоставляются друг другу: для любого заданного набора выборок попытка уменьшить один тип ошибки обычно приводит к увеличению другого типа ошибки.^[9]

Качество проверки гипотез

Та же идея может быть выражена в терминах скорости получения правильных результатов и, следовательно, использована для минимизации количества ошибок и повышения качества проверки гипотез. Чтобы снизить вероятность совершения ошибки типа I, сделать значение альфа (p) более строгим довольно просто и эффективно. Чтобы уменьшить вероятность совершения ошибки типа II, которая тесно связана с мощностью анализа, либо увеличение размера выборки теста, либо ослабление альфа-уровня может повысить мощность анализа.^[10] Статистика теста является устойчивой, если контролируется частота появления ошибок типа I.

Можно также использовать различные пороговые значения (пороговые значения), чтобы сделать тест более специфичным или более чувствительным, что, в свою очередь, повысит качество теста. Например, представьте себе медицинский тест, в котором экспериментатор может измерить концентрацию определенного белка в образце крови. Экспериментатор может отрегулировать порог (черная вертикальная линия на рисунке), и люди будут диагностированы как больные, если будет обнаружено какое-либо число, превышающее этот определенный порог. Согласно изображению, изменение порога приведет к изменению количества ложных срабатываний и ложных отрицательных результатов, соответствующих движению по кривой.^[11]

Пример

Поскольку в реальном эксперименте невозможно избежать всех ошибок типа I и типа II, поэтому важно учитывать величину риска, на который можно пойти, чтобы ложно отклонить H₀ или примите H₀. Решением этого вопроса было бы сообщить p-значение или же уровень значимости α статистики. Например, если мы говорим, что p-значение результата статистической проверки составляет 0,0596, тогда существует вероятность 5,96%, что мы ошибочно отклоняем H₀. Или, если мы говорим, что статистика выполняется на уровне α, например 0,05, то мы позволяем ложно отклонить H₀ в 5%. Обычно уровень значимости α устанавливается равным 0,05, но общего правила нет.

Измерение скорости автомобиля

Ограничение скорости на автостраде в США составляет 120 километров в час. Установлен прибор для измерения скорости проезжающих автомобилей. Предположим, что устройство будет проводить три измерения скорости проезжающего транспортного средства, записывая как случайную выборку X₁, ИКС₂, ИКС₃. В зависимости от средней скорости дорожная полиция оштрафует водителей. ${displaystyle {ar {X}}}$ . То есть тестовая статистика

${displaystyle T = {frac {X_ {1} + X_ {2} + X_ {3}} {3}} = {ar {X}}}$

Кроме того, мы предполагаем, что измерения X₁, ИКС₂, ИКС₃ моделируются как нормальное распределение N (μ, 4). Затем следует N (μ, 4/3), а параметр μ представляет истинную скорость проезжающего транспортного средства. В этом эксперименте нулевая гипотеза H₀ и альтернативная гипотеза H₁ должно быть

ЧАС₀: μ = 120 против H₁: μ₁>120.

Если мы выполним статистический уровень при α = 0,05, то критическое значение c следует вычислить для решения

${displaystyle P = (Zgeqslant {frac {c-120} {frac {2} {sqrt {3}}}}) = 0,05}$

Согласно правилу смены единиц для нормального распределения. Ссылаясь на Z-таблица, мы можем получить

${displaystyle {frac {c-120} {frac {2} {sqrt {3}}}} = 1,645Rightarrow c = 121,9}$

Здесь критическая область. То есть, если записанная скорость транспортного средства превышает критическое значение 121,9, водитель будет оштрафован. Тем не менее, 5% водителей по-прежнему подвергаются ложному штрафу, так как зарегистрированная средняя скорость превышает 121,9, но истинная скорость не превышает 120, что мы называем ошибкой типа I.

Ошибка типа II соответствует случаю, когда истинная скорость транспортного средства превышает 120 километров в час, но водитель не оштрафован. Например, если истинная скорость транспортного средства μ = 125, вероятность того, что водитель не оштрафован, можно рассчитать как

${displaystyle P = (T <121.9 | mu = 125) = P ({frac {T-125} {frac {2} {sqrt {3}}}} <{frac {121.9-125} {frac {2} { sqrt {3}}}}) = phi (-2,68) = 0,0036}$

это означает, что если истинная скорость транспортного средства составляет 125, привод имеет вероятность 0,36% избежать штрафа, когда статистика выполняется на уровне 125, поскольку зарегистрированная средняя скорость ниже 121,9. Если истинная скорость ближе к 121,9, чем к 125, то вероятность избежания штрафа также будет выше.

Также следует учитывать компромисс между ошибкой типа I и ошибкой типа II. То есть в этом случае, если дорожная полиция не хочет ложно штрафовать невиновных водителей, уровень α может быть установлен на меньшее значение, например 0,01. Однако в этом случае больше водителей, чья истинная скорость превышает 120 километров в час, например 125, с большей вероятностью избежит штрафа.

Этимология

В 1928 г. Ежи Нейман (1894–1981) и Эгон Пирсон (1895–1980), оба выдающихся статистика, обсуждали проблемы, связанные с «принятием решения о том, может ли определенная выборка считаться вероятной случайно выбранной из определенной совокупности»:^[12] и, как Флоренс Найтингейл Дэвид отметил, что «необходимо помнить, что прилагательное« случайный »[в термине« случайная выборка »] должно применяться к методу составления выборки, а не к самой выборке».^[13]

Они определили «два источника ошибок», а именно:

(а) ошибка отклонения гипотезы, которую не следовало отвергать, и

(б) ошибка отказа отвергнуть гипотезу, которую следовало отвергнуть.

В 1930 году они подробно остановились на этих двух источниках ошибок, отметив, что:

... при проверке гипотез необходимо учитывать два соображения: мы должны иметь возможность снизить вероятность отклонения истинной гипотезы до желаемого минимального значения; тест должен быть разработан таким образом, чтобы он отклонял проверяемую гипотезу, когда она, вероятно, окажется ложной.

В 1933 году они заметили, что эти «проблемы редко представлены в такой форме, что мы можем с уверенностью отличить истинную гипотезу от ложной». Они также отметили, что при принятии решения о том, не отклонить или отклонить конкретную гипотезу среди «набора альтернативных гипотез», H₁, H₂..., ошибиться было легко:

... [и] эти ошибки будут двух видов:
(I) мы отвергаем H₀ [т.е. гипотеза, которую нужно проверить], когда она верна,^[14]
(II) мы не можем отказаться от H₀ когда некоторая альтернативная гипотеза H_А или H₁ правда. (Есть разные обозначения для альтернативы).

Во всех статьях, написанных совместно Нейманом и Пирсоном, выражение H₀ всегда означает "гипотезу для проверки".

В той же статье они называют эти два источника ошибок: ошибки типа I и ошибки типа II соответственно.^[15]

Связанные термины

Нулевая гипотеза

Статистики обычно проводят тесты чтобы определить, является ли "спекулятивный гипотеза "относительно наблюдаемых явлений мира (или его обитателей) могут быть поддержаны. Результаты такого тестирования определяют, согласуется ли конкретный набор результатов разумно (или не согласуется) с предполагаемой гипотезой.

Исходя из того, что это всегда предполагается, статистическая конвенция, что выдвинутая гипотеза неверна, и так называемая "нулевая гипотеза«что наблюдаемые явления просто происходят случайно (и что, как следствие, предполагаемый агент не имеет никакого эффекта) - тест определит, верна эта гипотеза или нет. Вот почему проверяемая гипотеза часто называется нулевой гипотезой. (скорее всего, придуман Фишером (1935, с. 19)), потому что это это гипотеза, которая должна быть либо аннулированный или же не аннулирован по тесту. Когда нулевая гипотеза аннулируется, можно сделать вывод, что данные подтверждают "Альтернативная гипотеза"(что является первоначальным предположением).

Последовательное применение статистиками конвенции Неймана и Пирсона о представлении "гипотеза для проверки" (или же "гипотеза должна быть аннулирована") с выражением ЧАС₀ привело к обстоятельствам, когда многие понимают термин "нулевая гипотеза"как значение"то ноль гипотеза«- заявление о том, что рассматриваемые результаты возникли случайно. Это не обязательно так - ключевое ограничение, согласно Фишеру (1966), заключается в том, что»нулевая гипотеза должна быть точной, свободной от расплывчатости и двусмысленности, поскольку она должна служить основой «проблемы распределения», решением которой является проверка значимости."^[16] Как следствие этого, в экспериментальной науке нулевая гипотеза обычно является утверждением, что конкретное лечение имеет нет эффекта; в науке о наблюдениях это то, что нет разницы между значением конкретной измеряемой переменной и значением экспериментального предсказания.

Статистическая значимость

Если вероятность получения такого же экстремального результата, как полученный, при условии, что нулевая гипотеза верна, ниже, чем заранее заданная вероятность отсечения (например, 5%), то результат считается равным статистически значимый и нулевая гипотеза отклоняется.

Британский статистик Сэр Рональд Эйлмер Фишер (1890–1962) подчеркнул, что «нулевая гипотеза»:

... никогда не доказывается и не устанавливается, но, возможно, опровергается в ходе экспериментов. Можно сказать, что каждый эксперимент существует только для того, чтобы дать фактам шанс опровергнуть нулевую гипотезу.
— Фишер, 1935, стр.19.

Домены приложений

Лекарство

В практике медицины различия между применениями скрининг и тестирование значительны.

Медицинский осмотр

Скрининг включает относительно дешевые тесты, которые проводятся среди больших групп населения, ни у одного из которых нет клинических признаков заболевания (например, Пап-мазки ).

Тестирование включает в себя гораздо более дорогие, часто инвазивные процедуры, которые назначаются только тем, у кого есть некоторые клинические признаки заболевания, и чаще всего применяются для подтверждения подозреваемого диагноза.

Например, в большинстве штатов США требуется обследование новорожденных на предмет: фенилкетонурия и гипотиреоз, среди прочего врожденные нарушения.

Гипотеза: «У новорожденных фенилкетонурия и гипотиреоз».

Нулевая гипотеза (H₀): «У новорожденных нет фенилкетонурии и гипотиреоза»,

Ошибка I типа (ложноположительный результат). Верный факт заключается в том, что у новорожденных нет фенилкетонурии и гипотиреоза, но мы считаем, что у них есть нарушения в соответствии с данными.

Ошибка II типа (ложноотрицательный): Верный факт, что у новорожденных фенилкетонурия и гипотиреоз, но мы считаем, что у них нет нарушений согласно данным.

Несмотря на то, что они показывают высокий уровень ложноположительных результатов, скрининговые тесты считаются ценными, поскольку они значительно увеличивают вероятность выявления этих нарушений на гораздо более ранней стадии.

Простой анализы крови используется для скрининга возможно доноры крови за ВИЧ и гепатит иметь значительный процент ложных срабатываний; однако врачи используют гораздо более дорогие и гораздо более точные тесты, чтобы определить, действительно ли человек инфицирован каким-либо из этих вирусов.

Возможно, наиболее широко обсуждаемые ложноположительные результаты медицинского обследования связаны с процедурой скрининга на рак груди. маммография. Уровень ложноположительных результатов маммографии в США достигает 15%, это самый высокий показатель в мире. Одним из следствий высокого уровня ложноположительных результатов в США является то, что в течение любого 10-летнего периода половина обследованных американских женщин получает ложноположительную маммографию. Ложноположительные маммограммы обходятся дорого: в США ежегодно тратится более 100 миллионов долларов на последующее тестирование и лечение. Они также вызывают у женщин ненужное беспокойство. В результате высокого уровня ложноположительных результатов в США до 90–95% женщин, получивших положительную маммограмму, не страдают этим заболеванием. Самый низкий показатель в мире - в Нидерландах - 1%. Самые низкие показатели обычно в Северной Европе, где маммографические пленки читают дважды и устанавливают высокий порог для дополнительного тестирования (высокий порог снижает мощность теста).

Идеальный скрининговый тест для населения был бы дешевым, простым в применении и по возможности давал бы нулевые ложноотрицательные результаты. Такие тесты обычно дают больше ложноположительных результатов, которые впоследствии могут быть устранены более сложным (и дорогостоящим) тестированием.

Медицинское обследование

Ложноотрицательные и ложные срабатывания являются серьезными проблемами в медицинское обследование.

Гипотеза: «У пациентов конкретное заболевание».

Нулевая гипотеза (H₀): «У пациентов нет конкретного заболевания».

Ошибка типа I (ложноположительный результат): «Истинный факт заключается в том, что пациенты не страдают каким-либо конкретным заболеванием, но врачи судят, что пациенты были больны, согласно протоколам испытаний».

Ложные срабатывания могут также вызывать серьезные и противоречащие интуиции проблемы, когда ищущееся заболевание встречается редко, как при скрининге. Если показатель ложноположительных результатов теста составляет один из десяти тысяч, но только один из миллиона образцов (или людей) является истинно положительным, большинство положительных результатов, обнаруженных этим тестом, будут ложными. Вероятность того, что наблюдаемый положительный результат является ложноположительным, можно рассчитать с помощью Теорема Байеса.

Ошибка типа II (ложноотрицательный): «Истинный факт состоит в том, что болезнь действительно присутствует, но отчеты об испытаниях дают ложно обнадеживающее сообщение для пациентов и врачей о том, что болезнь отсутствует».

Ложноотрицательные результаты приводят к серьезным и нелогичным проблемам, особенно когда искомое состояние является обычным явлением. Если тест с ложноотрицательной частотой всего 10% используется для тестирования популяции с истинной частотой встречаемости 70%, многие из отрицательных результатов, обнаруженных тестом, будут ложными.

Иногда это приводит к ненадлежащему или неадекватному лечению как пациента, так и его болезни. Распространенный пример - использование кардиологических стресс-тестов для выявления коронарного атеросклероза, хотя сердечное напряжение известно, что тесты обнаруживают только ограничения Коронарная артерия кровоток из-за расширенного стеноз.

Биометрия

Биометрическое сопоставление, например, для распознавание отпечатков пальцев, распознавание лиц или же распознавание радужной оболочки глаза, подвержен ошибкам типа I и типа II.

Гипотеза: «Входные данные не идентифицируют кого-то в списке искомых людей»

Нулевая гипотеза: «Входные данные действительно идентифицируют кого-то в списке искомых людей»

Ошибка типа I (ложное отклонение): «Истинный факт состоит в том, что человек входит в список найденных, но система приходит к выводу, что это лицо не соответствует данным».

Ошибка типа II (коэффициент ложного совпадения): «Истинный факт заключается в том, что человек не входит в список поиска, но система приходит к выводу, что это человек, которого мы ищем в соответствии с данными».

Вероятность ошибок типа I называется «коэффициентом ложного отклонения» (FRR) или коэффициентом ложного несоответствия (FNMR), а вероятность ошибок типа II называется «коэффициентом ложного принятия» (FAR) или коэффициентом ложного совпадения FMR).

Если система разработана таким образом, чтобы редко сопоставлять подозреваемых, то вероятность ошибок типа II можно назвать "ложная тревога скорость ». С другой стороны, если система используется для проверки (и принятие является нормой), то FAR является мерой безопасности системы, а FRR - уровнем неудобства пользователя.

Проверка безопасности

Основные статьи: обнаружение взрывчатых веществ и металлоискатель

Ложные срабатывания обычно обнаруживаются каждый день в проверка безопасности в аэропорту, которые в конечном итоге визуальный осмотр системы. Установленная охранная сигнализация предназначена для предотвращения попадания оружия на самолет; тем не менее, они часто настроены на такую высокую чувствительность, что они тревожатся много раз в день о незначительных предметах, таких как ключи, пряжки ремня, мелочь, мобильные телефоны и гвоздики на обуви.

Здесь гипотеза: «Предмет - это оружие».

Нулевая гипотеза: «Предмет не является оружием».

Ошибка типа I (ложное срабатывание): «Истинный факт заключается в том, что предмет не является оружием, но система по-прежнему подает сигнал тревоги».

Ошибка типа II (ложноотрицательный) «Истинный факт заключается в том, что предмет является оружием, но в настоящее время система хранит молчание».

Соотношение ложных срабатываний (идентификация невинного путешественника как террориста) к истинным срабатываниям (обнаружение потенциального террориста) очень велико; и поскольку почти каждый сигнал тревоги является ложным срабатыванием, положительная прогностическая ценность этих скрининговых тестов очень мало.

Относительная стоимость ложных результатов определяет вероятность того, что создатели тестов допустят эти события. Поскольку стоимость ложноотрицательного результата в этом сценарии чрезвычайно высока (не обнаружение бомбы, которая была принесена в самолет, может привести к сотням смертей), в то время как стоимость ложного срабатывания относительно невысока (достаточно простая дополнительная проверка), наиболее подходящий тест - это тест с низкой статистической специфичностью, но с высокой статистической чувствительностью (тот, который допускает высокий уровень ложноположительных результатов в обмен на минимальное количество ложноотрицательных результатов).

Компьютеры

Представления о ложных срабатываниях и ложных отрицаниях получили широкое распространение в сфере компьютеров и компьютерных приложений, включая компьютерная безопасность, фильтрация спама, Вредоносное ПО, Оптическое распознавание символов и много других.

Например, в случае фильтрации спама гипотеза состоит в том, что сообщение является спамом.

Таким образом, нулевая гипотеза: «Сообщение не является спамом».

Ошибка типа I (ложное срабатывание): «Методы фильтрации спама или блокировки спама ошибочно классифицируют законное сообщение электронной почты как спам и, как следствие, препятствуют его доставке».

Хотя большинство тактик защиты от спама могут блокировать или фильтровать большой процент нежелательных писем, сделать это без значительных ложноположительных результатов - гораздо более сложная задача.

Ошибка типа II (ложноотрицательный): «Спам не определяется как спам, но классифицируется как не спам». Низкое количество ложноотрицательных результатов - показатель эффективности фильтрации спама.

Смотрите также

Библиография

Бец, М.А. и Габриэль, К., «Ошибки IV типа и анализ простых эффектов», Журнал образовательной статистики, Том 3, № 2, (лето 1978 г.), стр. 121–144.
Дэвид, Ф.Н., "Степенная функция для тестов на случайность в последовательности альтернатив", Биометрика, Vol.34, Nos.3 / 4, (декабрь 1947), стр. 335–339.
Фишер, Р.А., План экспериментов, Оливер и Бойд (Эдинбург), 1935 г.
Гэмбрилл, У., "Ложные срабатывания тестов на заболевания новорожденных беспокоят родителей", День здоровья, (5 июня 2006 г.). [1]
Кайзер, Х.Ф., "Направленные статистические решения", Психологический обзор, Vol.67, No. 3, (May 1960), pp. 160–167.
Кимбалл, A.W., "Ошибки третьего рода в статистическом консультировании", Журнал Американской статистической ассоциации, Том 52, № 278, (июнь 1957 г.), стр. 133–142.
Любин, А., "Интерпретация значимого взаимодействия", Образовательные и психологические измерения, Том 21, № 4, (зима 1961 г.), стр. 807–817.
Мараскуило, Л.А., Левин, Дж. Р., "Соответствующие постфактуальные сравнения для взаимодействия и вложенных гипотез в анализе вариационных схем: устранение ошибок типа IV", Американский журнал исследований в области образования, Том 7., №3, (май 1970 г.), стр. 397–421.
Митрофф, И. И Фезерингем, T.R., "О решении системных проблем и ошибках третьего рода", Поведенческая наука, Vol.19, No. 6, (ноябрь 1974 г.), стр. 383–393.
Мостеллер, Ф., "А k- Образец теста на проскальзывание для экстремальной популяции », Анналы математической статистики, Том 19, № 1, (март 1948 г.), стр. 58–65.
Моултон, Р.Т., «Сетевая безопасность», Датамация, Vol.29, No. 7, (июль 1983 г.), стр. 121–127.
Райффа, Х., Анализ решений: вводные лекции о выборе в условиях неопределенности, Эддисон – Уэсли, (чтение), 1968.

внешняя ссылка

Предвзятость и смешение - презентация Найджела Панета, Высшая школа общественного здравоохранения, Университет Питтсбурга.

[1] «Ошибка типа I и ошибка типа II». explorable.com. Получено 14 декабря 2019.

[2] Чоу, Ю. В .; Pietranico, R .; Мукерджи, А. (27 октября 1975 г.). «Исследования энергии связи кислорода с молекулой гемоглобина». Сообщения о биохимических и биофизических исследованиях. 66 (4): 1424–1431. Дои:10.1016 / 0006-291x (75) 90518-5. ISSN 0006-291X. PMID 6.

[3] Современное введение в вероятность и статистику: понимание, почему и как. Деккинг, Мишель, 1946-. Лондон: Спрингер. 2005 г. ISBN 978-1-85233-896-1. OCLC 262680588.CS1 maint: другие (связь)

[4] Современное введение в вероятность и статистику: понимание, почему и как. Деккинг, Мишель, 1946-. Лондон: Спрингер. 2005 г. ISBN 978-1-85233-896-1. OCLC 262680588.CS1 maint: другие (связь)

[Sheskin-5] Шескин, Дэвид (2004). Справочник по параметрическим и непараметрическим статистическим процедурам. CRC Press. п.54. ISBN 1584884401.

[6] Smith, R.J .; Брайант, Р. Г. (27 октября 1975 г.). «Замещения металлов в карбоновой ангидразе: исследование зонда галогенидных ионов». Сообщения о биохимических и биофизических исследованиях. 66 (4): 1281–1286. Дои:10.1016 / 0006-291x (75) 90498-2. ISSN 0006-291X. PMID 3.

[7] Линденмайер, Дэвид. (2005). Практическая биология сохранения. Бургман, Марк А. Коллингвуд, Vic: CSIRO Pub. ISBN 0-643-09310-9. OCLC 65216357.

[8] Чоу, Ю. В .; Pietranico, R .; Мукерджи, А. (27 октября 1975 г.). «Исследования энергии связи кислорода с молекулой гемоглобина». Сообщения о биохимических и биофизических исследованиях. 66 (4): 1424–1431. Дои:10.1016 / 0006-291x (75) 90518-5. ISSN 0006-291X. PMID 6.

[9] Smith, R.J .; Брайант, Р. Г. (27 октября 1975 г.). «Замещения металлов в карбоновой ангидразе: исследование зонда галогенидных ионов». Сообщения о биохимических и биофизических исследованиях. 66 (4): 1281–1286. Дои:10.1016 / 0006-291x (75) 90498-2. ISSN 0006-291X. PMID 3.

[10] Smith, R.J .; Брайант, Р. Г. (27 октября 1975 г.). «Замещения металлов в карбоновой ангидразе: исследование зонда галогенидных ионов». Сообщения о биохимических и биофизических исследованиях. 66 (4): 1281–1286. Дои:10.1016 / 0006-291x (75) 90498-2. ISSN 0006-291X. PMID 3.

[11] Морой, К .; Сато, Т. (15 августа 1975 г.). «Сравнение метаболизма прокаина и изокарбоксазида in vitro с помощью микросомальной амидазы-эстеразы печени». Биохимическая фармакология. 24 (16): 1517–1521. Дои:10.1016/0006-2952(75)90029-5. ISSN 1873-2968. PMID 8.

[12] NEYMAN, J .; ПИРСОН, Э. С. (1928). «Об использовании и интерпретации определенных критериев тестирования для целей статистического вывода, часть I». Биометрика. 20А (1–2): 175–240. Дои:10.1093 / biomet / 20a.1-2.175. ISSN 0006-3444.

[13] C.I.K.F. (Июль 1951 г.). "Теория вероятностей для статистических методов. Ф. Н. Дэвид. [Стр. Ix + 230. Cambridge University Press. 1949. Цена 155.]". Журнал актуарного общества Staple Inn. 10 (3): 243–244. Дои:10,1017 / с0020269x00004564. ISSN 0020-269X.

[14] Обратите внимание, что нижний индекс в выражении ЧАС₀ это ноль (указывающий ноль) и не является "O" (что означает оригинал).

[15] Neyman, J .; Пирсон, Э. С. (30 октября 1933 г.). «Проверка статистических гипотез относительно априорных вероятностей». Математические труды Кембриджского философского общества. 29 (4): 492–510. Bibcode:1933PCPS ... 29..492N. Дои:10,1017 / с030500410001152x. ISSN 0305-0041.

[16] Фишер, Р.А. (1966). Дизайн экспериментов. 8-е издание. Хафнер: Эдинбург.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]