Ошибка базовой ставки - Base rate fallacy

В ошибка базовой ставки, также называемый пренебрежение базовой ставкой или же систематическая ошибка базовой ставки, это заблуждение. Если представлены связанные базовая ставка информации (т. е. общей информации о распространенности) и конкретной информации (т. е. информации, относящейся только к конкретному случаю), люди склонны игнорировать базовую ставку в пользу индивидуальной информации, вместо того, чтобы правильно их объединять.^[1]

Пренебрежение базовой ставкой - это особая форма более общего пренебрежение расширением.

Ложноположительный парадокс

Примером ошибки базовой ставки является ложноположительный парадокс. Этот парадокс описывает ситуации, когда есть больше ложный положительный результат результаты тестов, чем истинно положительные. Например, 50 из 1000 человек дали положительный результат на инфекцию, но только у 10 была инфекция, то есть 40 тестов были ложноположительными. Вероятность положительного результата теста определяется не только точностью теста, но и характеристиками выборки.^[2] Когда распространенность, доля тех, у кого есть данное заболевание, ниже, чем в тесте. ложный положительный результат рейтинг, даже тесты, которые имеют очень низкий шанс дать ложноположительный результат в индивидуальном случае даст больше ложных, чем истинных срабатываний общий.^[3] Парадокс удивляет большинство людей.^[4]

Это особенно противоречит интуиции при интерпретации положительного результата теста на низкую распространенность численность населения после получения положительных результатов, полученных в популяции с высокой распространенностью.^[3] Если ложный положительный результат скорость теста выше, чем доля новый популяция с этим заболеванием, то администратор тестирования, чей опыт был взят из тестирования в популяции с высокой распространенностью, может сделать вывод из опыта что положительный результат теста обычно указывает на положительный результат, тогда как на самом деле ложноположительный результат гораздо более вероятен.

Примеры

Пример 1: болезнь

Население с высокой заболеваемостью

Представьте, что вы проводите тест на инфекционные заболевания среди населения. А 1000 человек, из которых 40% инфицированы. Уровень ложноположительных результатов теста составляет 5% (0,05), а количество ложноотрицательных результатов отсутствует. В ожидаемый результат из 1000 тестов на популяции А было бы:

Заражены и тест указывает на болезнь (истинно положительный )

1000 × 40/100 = 400 человек получат истинный позитив

Неинфицирован, и тест указывает на болезнь (ложноположительный)

1000 × 100 – 40/100 × 0,05 = 30 человек получат ложное срабатывание

Остальные 570 тестов правильно отрицательны.

Итак, в популяции А, человек, получивший положительный результат теста, может быть уверен более 93% (400/30 + 400), что это правильно указывает на инфекцию.

Население с низкой заболеваемостью

Теперь рассмотрим тот же тест, применяемый к населению. B, у которых инфицировано только 2%. В ожидал результат 1000 тестов на популяции B было бы:

Заражены и тест указывает на болезнь (истинно положительный )

1000 × 2/100 = 20 человек получат настоящий позитив

Неинфицирован, и тест указывает на болезнь (ложноположительный)

1000 × 100 – 2/100 × 0,05 = 49 человек получат ложное срабатывание

Остальные 931 (= 1000 - (49 + 20)) тест положительно отрицательны.

В населении B, только 20 из 69 человек с положительным результатом теста действительно инфицированы. Таким образом, вероятность действительно заразиться после того, как человеку сказали, что он инфицирован, составляет всего 29% (20/20 + 49) для теста, который в противном случае кажется «точным на 95%».

Тестировщик с опытом работы в группе А может показаться парадоксальным, что в группе B, результат, который обычно правильно указывал на инфекцию, теперь обычно ложный положительный результат. Путаница апостериорная вероятность заражения априорная вероятность получения ложного срабатывания - естественное ошибка после получения опасного для здоровья результата теста.

Пример 2: Пьяные водители

Группа сотрудников полиции алкотестеры проявление ложного опьянения в 5% случаев, когда водитель трезв. Однако алкотестеры всегда обнаруживают по-настоящему пьяного человека. Один из тысячи водителей водит машину в нетрезвом виде. Предположим, полицейские наугад останавливают водителя, чтобы провести тест алкотестера. Это указывает на то, что водитель пьян. Мы предполагаем, что вы ничего о них не знаете. Насколько высока вероятность, что они действительно пьяны?

Многие ответят до 95%, но правильная вероятность составляет около 2%.

Объяснение этому следующее: в среднем на каждую 1000 протестированных водителей

• 1 водитель в нетрезвом виде, и 100% уверенность в том, что для этого водителя существует истинный положительный результат теста, значит есть 1 истинный положительный результат теста
• 999 водителей не пьяны, из них 5%. ложный положительные результаты тестирования, итого 49,95 ложный положительные результаты теста

Следовательно, вероятность того, что один из водителей среди положительных результатов теста 1 + 49,95 = 50,95 действительно пьян, составляет ${ displaystyle 1 / 50,95 приблизительно 0,019627}$.

Однако достоверность этого результата зависит от правильности первоначального предположения, что полицейский остановил водителя действительно случайно, а не из-за плохого вождения. Если присутствовала та или иная непроизвольная причина остановки водителя, то в расчет также включается вероятность того, что водитель в состоянии алкогольного опьянения будет управлять автомобилем грамотно, а водитель в нетрезвом виде водит (не) компетентно.

Более формально такую ​​же вероятность примерно 0,02 можно установить, используя Теорема Байеса. Цель состоит в том, чтобы найти вероятность того, что водитель пьян, учитывая, что алкотестер показал, что он пьян, что может быть представлено как

${ Displaystyle p ( mathrm {пьяный} mid D)}$

куда D означает, что алкотестер показывает, что водитель пьян. Теорема Байеса говорит нам, что

${ displaystyle p ( mathrm {drunk} mid D) = { frac {p (D mid mathrm {drunk}) , p ( mathrm {drunk})} {p (D)}}.}.$

В первом абзаце нам сказали следующее:

${ displaystyle p ( mathrm {drunk}) = 0,001,}$

${ Displaystyle р ( mathrm {трезвый}) = 0,999,}$

${ displaystyle p (D mid mathrm {drunk}) = 1,00,}$ и

${ displaystyle p (D mid mathrm {sober}) = 0,05.}$

Как видно из формулы, нужно п(D) для теоремы Байеса, которую можно вычислить из предыдущих значений, используя закон полной вероятности:

${ displaystyle p (D) = p (D mid mathrm {drunk}) , p ( mathrm {drunk}) + p (D mid mathrm {sober}) , p ( mathrm {sober}) )}$

который дает

${ displaystyle p (D) = (1,00 раз 0,001) + (0,05 раз 0,999) = 0,05095.}$

Подставляя эти числа в теорему Байеса, мы обнаруживаем, что

${ displaystyle p ( mathrm {drunk} mid D) = { frac {1,00 times 0,001} {0,05095}} = 0,019627.}$

Пример 3: идентификация террориста

В 1-миллионном городе пусть будет 100 террористов и 999 900 нетеррористов. Для упрощения примера предполагается, что все люди, присутствующие в городе, являются его жителями. Таким образом, базовая вероятность того, что случайно выбранный житель города является террористом, равна 0,0001, а базовая вероятность того, что этот же житель не является террористом, равна 0,9999. В попытке поймать террористов в городе устанавливают сигнализацию с камерой наблюдения и автоматикой. программное обеспечение для распознавания лиц.

Программное обеспечение имеет два уровня отказов по 1%:

• Уровень ложных отрицательных результатов: если камера сканирует террориста, звонок будет звонить в 99% случаев, а в 1% случаев он не будет звонить.
• Уровень ложных срабатываний: если камера сканирует человека, не являющегося террористом, звонок не будет звонить в 99% случаев, но он будет звонить в 1% случаев.

Предположим теперь, что житель вызывает тревогу. Какова вероятность того, что это террорист? Другими словами, что такое P (T | B), вероятность того, что террорист был обнаружен при звонке в колокол? Кто-то, делающий «ошибку базовой ставки», сделает вывод, что существует 99% -ная вероятность того, что обнаруженный человек является террористом. Хотя такой вывод кажется разумным, на самом деле это неверное рассуждение, и приведенный ниже расчет покажет, что вероятность того, что они террористы, на самом деле составляет около 1%, а не около 99%.

Заблуждение возникает из-за смешения природы двух разных коэффициентов отказов. «Количество не-колоколов на 100 террористов» и «количество нетеррористов на 100 колоколов» не связаны между собой. Один не обязательно равен другому, и они даже не обязательно должны быть почти равными. Чтобы продемонстрировать это, представьте, что произойдет, если во втором городе, где террористов вообще нет, была бы установлена ​​идентичная система сигнализации. Как и в первом городе, сигнал тревоги звучит для 1 из каждых 100 обнаруженных жителей, не являющихся террористами, но, в отличие от первого города, сигнал тревоги никогда не звучит для террористов. Таким образом, 100% всех случаев срабатывания сигнала тревоги относятся к нетеррористам, но ложноотрицательный показатель даже не может быть подсчитан. «Число нетеррористов на 100 колоколов» в этом городе равно 100, но P (T | B) = 0%. При звонке в колокол вероятность того, что террорист был обнаружен, равна нулю.

Представьте себе, что перед камерой проходит весь миллион жителей первого города. Около 99 из 100 террористов вызовут тревогу, равно как и около 9 999 из 999 900 нетеррористов. Таким образом, тревогу сработают около 10 098 человек, среди которых около 99 - террористы. Таким образом, вероятность того, что человек, вызвавший тревогу, на самом деле является террористом, составляет всего около 99 из 10 098, что меньше 1% и очень, очень сильно ниже нашего первоначального предположения в 99%.

Ошибка базовой ставки в этом примере вводит в заблуждение, потому что нетеррористов намного больше, чем террористов, а количество ложных срабатываний (нетеррористов, считающихся террористами) намного больше, чем истинных срабатываний (реальное количество террористов) .

Находки в психологии

В ходе экспериментов было обнаружено, что люди предпочитают индивидуальную информацию общей информации, когда первая доступна.^[5][6][7]

В некоторых экспериментах студентов просили оценить средний балл (GPA) гипотетических студентов. Получая соответствующую статистику о распределении среднего балла, учащиеся, как правило, игнорировали ее, если давали описательную информацию о конкретном учащемся, даже если новая описательная информация явно не имела отношения к успеваемости в школе.^[6] Этот вывод был использован, чтобы доказать, что интервью - ненужная часть поступление в колледж процесс, потому что интервьюеры не могут выбрать успешных кандидатов лучше, чем базовая статистика.

Психологи Даниэль Канеман и Амос Тверски попытался объяснить этот вывод с точки зрения простое правило или "эвристика" называется представительность. Они утверждали, что многие суждения, касающиеся вероятности или причинно-следственных связей, основаны на том, насколько одна вещь репрезентативна для другой или категории.^[6] Канеман считает пренебрежение базовой ставкой особой формой пренебрежение расширением.^[8] Ричард Нисбетт утверждал, что некоторые атрибуционные предубеждения словно Основная ошибка атрибуции являются примерами ошибки базовой ставки: люди не используют «консенсусную информацию» («базовую ставку») о том, как другие вели себя в аналогичных ситуациях, и вместо этого предпочитают более простые диспозиционная атрибуция.^[9]

В психологии ведутся серьезные споры об условиях, при которых люди ценят или не ценят базовую информацию.^[10][11] Исследователи программы эвристики и систематических ошибок подчеркнули эмпирические результаты, показывающие, что люди склонны игнорировать базовые ставки и делать выводы, нарушающие определенные нормы вероятностного рассуждения, такие как Теорема Байеса. Вывод, сделанный на основании этого направления исследований, заключался в том, что вероятностное мышление человека в корне ошибочно и подвержено ошибкам.^[12] Другие исследователи подчеркивали связь между когнитивными процессами и информационными форматами, утверждая, что такие выводы обычно необоснованны.^[13][14]

Снова рассмотрим пример 2 сверху. Требуемый вывод заключается в оценке (апостериорной) вероятности того, что (случайно выбранный) водитель пьян, при условии, что тест алкотестера положительный. Формально эту вероятность можно рассчитать с помощью Теорема Байеса, как показано выше. Однако существуют разные способы представления соответствующей информации. Рассмотрим следующий формально эквивалентный вариант задачи:

1 из 1000 водителей водит машину в нетрезвом виде. Алкотестеры никогда не перестают определять по-настоящему пьяного человека. Для 50 из 999 водителей, не находящихся в состоянии алкогольного опьянения, алкотестер ложно показывает состояние опьянения. Предположим, полицейские наугад останавливают водителя и заставляют его пройти тест алкотестером. Это указывает на то, что они пьяны. Мы предполагаем, что вы ничего о них не знаете. Насколько высока вероятность, что они действительно пьяны?

В этом случае соответствующая числовая информация -п(пьяный), п(D | пьяный), п(D | трезвый) - представлен в терминах собственных частот по отношению к определенному эталонному классу (см. проблема эталонного класса ). Эмпирические исследования показывают, что выводы людей в большей степени соответствуют правилу Байеса, когда информация представлена ​​таким образом, что помогает преодолеть пренебрежение базовой оценкой среди непрофессионалов.^[14] и эксперты.^[15] Как следствие, организации, подобные Кокрановское сотрудничество рекомендуют использовать такой формат для передачи статистики здоровья.^[16] Учить людей переводить подобные байесовские задачи мышления в форматы собственных частот более эффективно, чем просто учить их подставлять вероятности (или проценты) в теорему Байеса.^[17] Также было показано, что графические представления собственных частот (например, массивы значков) помогают людям делать более точные выводы.^[17][18][19]

Чем полезны форматы собственных частот? Одна из важных причин заключается в том, что этот формат информации облегчает требуемый вывод, поскольку упрощает необходимые вычисления. Это можно увидеть при использовании альтернативного способа вычисления требуемой вероятности п(пьяный |D):

${ displaystyle p ( mathrm {drunk} mid D) = { frac {N ( mathrm {drunk} cap D)} {N (D)}} = { frac {1} {51}} = 0,0196}$

куда N(пьяный ∩ D) обозначает количество пьяных водителей, получивших положительный результат алкотестера, и N(D) обозначает общее количество случаев с положительным результатом алкотестера. Эквивалентность этого уравнения предыдущему следует из аксиом теории вероятностей, согласно которой N(пьяный ∩ D) = N × п (D | пьяный) × п (пьяный). Важно отметить, что хотя это уравнение формально эквивалентно правилу Байеса, психологически оно не эквивалентно. Использование собственных частот упрощает вывод, поскольку требуемая математическая операция может выполняться с натуральными числами, а не с нормализованными дробями (т. Е. Вероятностями), поскольку это делает большое количество ложных срабатываний более прозрачным, и поскольку собственные частоты демонстрируют «вложенный набор» структура".^[20][21]

Не каждый частотный формат облегчает байесовские рассуждения.^[21][22] Собственные частоты относятся к частотной информации, которая получается из естественная выборка,^[23] который сохраняет информацию о базовой ставке (например, количество пьяных водителей при случайной выборке водителей). Это отличается от систематический отбор проб, в котором базовые ставки фиксированы априори (например, в научных экспериментах). В последнем случае невозможно вывести апостериорную вероятность п (пьяный | положительный тест) из сравнения количества пьяных водителей с положительным результатом теста по сравнению с общим количеством людей, получивших положительный результат алкотестера, потому что информация о базовой скорости не сохраняется и должна быть явно повторно введена с использованием теоремы Байеса .

Смотрите также

• Байесовская вероятность
• Теорема Байеса
• Дноуглубительные работы
• Индуктивный аргумент
• Список когнитивных предубеждений
• Список парадоксов
• Вводящая в заблуждение яркость
• Профилактика парадокса
• Ошибка прокурора, ошибка в рассуждениях, включающая игнорирование низкого априорная вероятность
• Парадокс Симпсона, еще одна ошибка в статистических рассуждениях, касающихся сравнения групп
• Стереотип

Рекомендации

внешняя ссылка

• Ошибка базовой ставки Файлы ошибок