Предубеждение в отношении выживаемости - Survivorship bias

Предубеждение в отношении выживаемости или же предвзятость выживания это логическая ошибка сосредоточения внимания на людях или вещах, прошедших некоторый процесс отбора, и игнорировании тех, кто этого не сделал, обычно из-за того, что они не заметны. Это может привести к ошибочным выводам по нескольким причинам. Это форма критерий отбора.

Предубеждение в отношении выживаемости может привести к чрезмерно оптимистичным убеждениям, поскольку неудачи игнорируются, например, когда компании, которые больше не существуют, исключаются из анализа финансовых результатов. Это также может привести к ложному убеждению, что успехи в группе имеют какое-то особое свойство, а не просто совпадение (корреляция «доказывает» причинность ). Например, если трое из пяти учеников с лучшими оценками в колледже ходили в одну и ту же среднюю школу, это может привести к мысли, что средняя школа должна предлагать отличное образование, хотя на самом деле это может быть просто гораздо более крупная школа. . На этот вопрос нельзя ответить, не посмотрев на оценки всех других учеников этой старшей школы, а не только тех, кто вошел в пятерку лучших. Еще один пример особого способа предубеждения в отношении выживания - это думать, что инцидента не было. как бы опасно это ни было, потому что все, с кем потом общались, выжили. Даже если бы кто-то знал, что некоторые люди мертвы, у них не было бы голоса, который мог бы добавить к разговору, что привело бы к предвзятости в разговоре.

Примеры

В бизнесе, финансах и экономике

В сфере финансов предвзятость в отношении выживаемости - это тенденция к тому, что обанкротившиеся компании исключаются из исследований эффективности, поскольку они больше не существуют. Это часто приводит к искажению результатов исследований, потому что учитываются только компании, которые были достаточно успешными, чтобы дожить до конца периода. Например, паевой фонд Компания отбирает сегодня только те фонды, которые успешны. Многие убыточные фонды закрываются и объединяются с другими фондами, чтобы скрыть низкую производительность. Теоретически 70% существующих фондов могут правдиво утверждать, что имеют результативность в первом квартиле своих аналогов, если в группу равных входят фонды, которые закрылись. [1]

В 1996 году Элтон, Грубер и Блейк показали, что предвзятость в отношении выживаемости больше в секторе малых фондов, чем в крупных паевых инвестиционных фондах (предположительно, потому что небольшие фонды имеют высокую вероятность свертывания).[2] Они оценивают размер смещения в индустрии взаимных фондов США в 0,9% в год, где смещение определяется и измеряется как:

«Смещение определяется как среднее значение α для оставшихся фондов минус среднее значение α для всех фондов» (где α это доходность с поправкой на риск сверх S&P 500. Это стандартный показатель результативности взаимного фонда).

Дополнительно в количественном бэктестинг В зависимости от показателей рынка или других характеристик систематическая ошибка выживаемости - это использование текущего набора членства в индексе, а не использование фактических изменений составляющих с течением времени. Рассмотрим бэктест до 1990 года, чтобы определить среднюю производительность (общий доход) членов S&P 500, которые выплатили дивиденды в течение предыдущего года. Использование только текущих 500 членов и построение исторической линии капитала для общей прибыли компаний, которые соответствовали критериям, добавило бы к результатам смещения выживаемости. S&P поддерживает индекс здоровых компаний, удаляя компании, которые больше не соответствуют их критериям как представителя фондового рынка США с большой капитализацией. Компании, у которых был хороший рост на пути к включению в S&P 500, будут учитываться так, как если бы они были в индексе в течение этого периода роста, а это не так. Вместо этого в индексе могла быть другая компания, которая теряла рыночную капитализацию и была предназначена для индекса S&P 600 Small-cap, который позже был удален и не будет учитываться в результатах. Использование фактического членства в индексе и применение дат входа и выхода для получения соответствующей доходности во время включения в индекс позволит получить результат без смещения.

Цитаты успешных руководителей в публичной библиотеке

Майкл Шермер в Scientific American[3] и Ларри Смит из Университет Ватерлоо[4] описали, как совет о коммерческом успехе искажает представление о нем, игнорируя все неудачные предприятия и бросившие колледж.[5] Журналист и писатель Дэвид Макрэйни отмечает, что «консультационный бизнес - это монополия, которой управляют оставшиеся в живых. Когда что-то становится невыжившим, оно либо полностью устраняется, либо любой голос, который он имеет, приглушается до нуля».[6]

В его книге Черный лебедь, финансовый писатель Нассим Талеб назвал данные, скрытые предубеждением о выживании, «молчаливым свидетельством».[7]

В истории

Диагорас Мелоса спросили о картинах тех, кто избежал кораблекрушения: «Послушайте, вы, кто думаете, что боги не заботятся о человеческих вещах, что вы скажете стольким людям, спасенным от смерти благодаря их особой милости?», на что Диагорас ответил: « Я говорю, что здесь нет их картин, которые были отброшены, которых гораздо больше ".[8]

Сьюзан Мамм описала, как предубеждение о выживании заставляет историков изучать организации, которые все еще существуют, больше, чем те, которые закрылись. Это означает, что крупные успешные организации, такие как Женский институт, которые были хорошо организованы и до сих пор имеют доступные архивы для работы историков, изучаются больше, чем более мелкие благотворительные организации, даже если они, возможно, проделали большую работу.[9]

В производстве и производстве товаров

У многих народов широко распространено мнение, что машины, оборудование и товары, произведенные в предыдущих поколениях, часто лучше построены и служат дольше, чем аналогичные современные предметы. (Это восприятие отражено в распространенном выражении «Они не делают их [их] такими, как раньше»). Опять же, из-за избирательного давления времени и использования неизбежно, что только те предметы, которые были созданы на долгий срок, дожили до наших дней. Следовательно, большая часть старого оборудования, которое все еще хорошо работает в наши дни, обязательно должно быть построено в соответствии со стандартами качества, необходимыми для выживания. Все машины, оборудование и товары, вышедшие из строя за прошедшие годы, больше не видны населению, так как они были списаны, утилизированы, переработаны или утилизированы иным образом.

В архитектуре и строительстве

Подобно тому, как новые здания строятся каждый день, а старые постройки постоянно сносятся, история большей части гражданской и городской архитектуры включает в себя процесс постоянного обновления, обновления и революций. Только самые (субъективно, но общепризнанно) красивые, самые полезные и структурно надежные здания выживают из поколения в поколение. Это создает еще один эффект выбора, когда самые уродливые и самые слабые здания в истории давно искоренены и, следовательно, не видны публике, и поэтому создается видимое впечатление, кажущееся правильным, но на самом деле ошибочное, что все здания в прошлом были одновременно более красивыми и красивыми. лучше построен.

В высококонкурентной карьере

Будь то кинозвезды, спортсмены, музыканты или руководители многомиллиардных корпораций, которые бросили школу, популярные СМИ часто рассказывают историю решительного человека, который преследует свои мечты и преодолевает трудности. Гораздо меньше внимания уделяется множеству людей, которые могут быть одинаково квалифицированными и решительными, но никогда не добиваются успеха из-за факторов, находящихся вне их контроля, или других (казалось бы) случайных событий.[10] Это создает ложное общественное мнение о том, что любой может добиться больших успехов, если у него есть способности и усилия. Подавляющее большинство неудач не видны общественности, и регулярно видны только те, кто переживает избирательное давление своей конкурентной среды.

В армии

Поврежденные части возвращающихся самолетов показывают места, где они могут получить повреждения и все же вернуться домой; попавшие в другие места не выживают. (Изображение показывает гипотетические данные.)

Во время Второй мировой войны статистик Авраам Вальд при рассмотрении вопроса о том, как свести к минимуму потери бомбардировщиков от вражеского огня, учитывал предвзятость выживаемости.[11] Группа статистических исследований (SRG) в Колумбийский университет, частью которого был Уолд, исследовали повреждения, нанесенные самолетам, вернувшимся с миссий, и рекомендовали добавить броню в области, которые показали наименьшие повреждения, на основе его рассуждений. Это противоречило выводам американских военных о том, что самый популярный районы самолета нуждались в дополнительной броне.[12][13][14] Вальд отметил, что военные рассматривали только самолеты, у которых выжил их миссии; любые бомбардировщики, которые были сбиты или иным образом потеряны, также, по логике, были недоступны для оценки. Таким образом, пулевые отверстия в возвращающемся самолете представляли собой области, где бомбардировщик мог получить повреждения и при этом лететь достаточно хорошо, чтобы безопасно вернуться на базу. Таким образом, Уолд предложил ВМС усилить районы, где возвращающиеся самолеты остались невредимыми.[11]:88 поскольку это были области, в которые в случае попадания самолет мог погибнуть. Его работа считается основополагающей для зарождающейся тогда дисциплины исследование операций.[15]

Другой пример, когда Шлем Броди был введен во время Первой мировой войны, резко увеличилось количество госпитализированных пациентов с тяжелыми травмами головы.[нужна цитата ] Это привело к тому, что армейское командование подумало о пересмотре схемы, пока статистик не заметил, что солдаты, которые ранее могли быть убиты некоторыми шрапнель удары в голову (и, следовательно, никогда не появлялись в полевом госпитале), теперь пережили те же попадания и, таким образом, добрались до полевого госпиталя.

В музыке и искусстве

Музыка из более ранних периодов часто считается лучше, чем музыка сейчас. Это может быть связано с тем, что сейчас играет только лучшая музыка того периода, тогда как сегодняшняя музыка, хорошая и плохая, гораздо более доступна. Таким образом, сохранение лучших песен создает предвзятость в восприятии.[16]

У кошек

В исследовании, проведенном в 1987 году, сообщалось, что кошки, упавшие с высоты менее шести этажей, но все еще живые, получают более серьезные травмы, чем кошки, упавшие с высоты более шести этажей.[17][18] Было высказано предположение, что это могло произойти, потому что кошки достигают предельная скорость выпрямляясь примерно на пяти этажах, и после этого они расслабляются, что приводит к менее серьезным травмам у кошек, упавших с шести или более этажей.[19] В 1996 г. Прямой допинг В газетной колонке было высказано предположение, что еще одним возможным объяснением этого явления может быть предубеждение в отношении выживаемости. Кошки, погибшие при падении, с меньшей вероятностью будут доставлены к ветеринару, чем раненые, и поэтому многие кошки, погибшие при падении с более высоких зданий, не упоминаются в исследованиях этого предмета.[20]

В тропических деревьях

Тропические лозы и лианы часто рассматриваются как макропаразиты деревьев, снижающие выживаемость дерева-хозяина. Было замечено, что доля деревьев, зараженных лианами, намного выше у теневыносливых, густолесистых, медленнорастущих древесных пород, в то время как светолюбивые, более легкие лесные и быстрорастущие виды часто лишены лиан. Такие наблюдения привели к предположению, что лианы оказывают более сильное негативное воздействие на теневыносливые виды.[21] Дальнейшие исследования, однако, показали, что заражение лианами гораздо более вредно для требовательных к свету быстрорастущих видов деревьев, где заражение лианами значительно снижает выживаемость, так что наблюдаемая выборка смещена в сторону тех, которые выжили и лишены лианы.[22] Следовательно, наблюдаемая выборка деревьев с лианами в кроне искажена из-за предвзятости выживаемости.

В исследованиях эволюции

Большие группы организмов называются клады которые выживают долгое время, подвержены различным предубеждениям, связанным с выживанием, таким как "толчок прошлого ", создавая иллюзию, которая складывается в Общее имеют тенденцию происходить с высоким уровнем диверсификация это затем замедляется со временем.[23]

Как общий экспериментальный недостаток

Систематическая ошибка выживаемости (или систематическая ошибка выжившего). артефакт в приложениях за пределами финансы, где исследования оставшейся популяции ошибочно сравниваются со средним историческим значением, несмотря на то, что выжившие имеют необычные свойства. В большинстве случаев рассматриваемая необычная собственность - это послужной список успеха (как и успешные фонды).[нужна цитата ]

Например, парапсихология Исследователь Джозеф Бэнкс Рейн считал, что он идентифицировал несколько человек из сотен потенциальных субъектов, обладающих способностями ESP. Его расчеты основывались на невероятность этих нескольких субъектов, догадывающихся Карты Зенера Показано партнеру случайно.[нужна цитата ]

Основная критика его расчетов заключалась в возможности бессознательной предвзятости при выборе субъектов. Его обвинили в том, что он не принял во внимание большой эффективный размер его выборки (всех людей, которых он отвергал как не «сильных»). телепаты «потому что они потерпели неудачу на более ранней стадии тестирования.) Если бы он сделал это, он, возможно, увидел бы, что из большой выборки один или два человека, вероятно, добьются успеха, которого он добился чисто случайно.

Написание о деле Рейна в Причуды и заблуждения во имя науки, Мартин Гарднер объяснил, что он не думал, что экспериментаторы сделали такие очевидные ошибки из-за статистический наивность, но в результате незаметного игнорирования некоторых плохих предметов. Он сказал, что без всяких уловок всегда найдутся люди, добившиеся невероятного успеха, если будет взята достаточно большая выборка. Чтобы проиллюстрировать это, он размышляет о том, что произошло бы, если бы сто профессоров психология прочитал работу Райна и решил провести свои собственные тесты; он сказал, что предвзятость выживаемости отсеивает типичные неудачные эксперименты, но поощряет счастливые успехи к продолжению испытаний. Он думал, что обычное нулевая гипотеза (без результата) не будет сообщаться, но:

В конце концов, остается один экспериментатор, субъект которого набрал высокие баллы за шесть или семь последовательных сессий. Ни экспериментатор, ни испытуемый не знают о других девяноста девяти проектах, поэтому оба сильно заблуждаются, что ESP работает.

Он заключает:

Экспериментатор пишет восторженную статью, отправляет ее Рейну, который публикует ее в своем журнале, и читатели получают большое впечатление.

[24]

Если достаточно ученые изучить явление, некоторые найдут статистически значимый результаты случайно, и это эксперименты, представленные для публикации. Кроме того, статьи, показывающие положительные результаты, могут быть более привлекательными для редакторов.[25] Эта проблема известна как предвзятость к положительным результатам, тип предвзятость публикации. Чтобы бороться с этим, некоторые редакторы теперь призывают к представлению «отрицательных» научных результатов, в которых «ничего не произошло».[нужна цитата ]

Предубеждение в отношении выживаемости - один из вопросов, обсуждаемых в провокационном документе 2005 года "Почему большинство опубликованных результатов исследований ложны ".[25]

Один известный пример бессмертного временного искажения был обнаружен в исследовании Редельмейера и Сингха и др. в Annals of Internal Medicine, в котором сообщалось, что удостоенные премии Оскар актеры и актрисы жили почти на 4 года дольше своих менее успешных сверстников.[26] Однако статистический метод, использованный для получения этой статистически значимой разницы, давал победителям несправедливое преимущество, потому что в нем учитывались годы жизни обладателя «Оскара» перед победой в сторону выживания после победы. Когда данные были повторно проанализированы с использованием методов, позволяющих избежать этой систематической ошибки «бессмертного времени», преимущество выживаемости было ближе к 1 году и не было статистически значимым.[27]

В хозяйственном праве

Предубеждение в отношении выживаемости может повысить правда в рекламе проблемы, когда показатель успеха рекламируемого продукта или услуги измеряется в отношении населения, состав которого отличается от состава целевой аудитории, на которую компания, предлагающая этот продукт или услугу, нацелена с помощью рекламы, утверждающей этот показатель успеха. Эти проблемы становятся особенно значительными, когда

  1. реклама либо не раскрывает существенных различий между двумя группами населения, либо описывает их недостаточно подробно;
  2. Эти различия возникают в результате преднамеренного "предварительного отбора" потенциальных клиентов, чтобы гарантировать, что только клиентам с чертами, повышающими их вероятность успеха, разрешено покупать продукт или услугу, особенно если соблюдаются процедуры отбора компании или стандарты оценки. секрет; и
  3. компания, предлагающая продукт или услугу, взимает плату, особенно такую, которая не подлежит возмещению или не раскрывается в рекламе, за привилегию попытки стать клиентом.

Например, реклама сервиса онлайн-знакомств. eHarmony.com проходят этот тест, потому что не справляются с первыми двумя критериями, но не по третьему: они заявляют, что уровень успеха значительно выше, чем у конкурирующих сервисов, при этом обычно не раскрывая, что этот показатель рассчитывается в отношении подмножества зрителей, обладающих чертами, которые увеличивают их вероятность поиск и поддержание отношений и отсутствие черт, которые создают препятствия для этого (1), и компания сознательно выбирает эти черты, применяя длительные предварительный отбор предназначен для отказа от потенциальных клиентов, у которых отсутствуют первые черты характера или которые обладают последними (2), но компания не взимает плату за проведение предварительного отборочного теста, в результате чего ее потенциальные клиенты не сталкиваются с другим «риском ухудшения» чем потеря времени и затраты усилий на завершение процесса предварительной проверки (отрицание 3).[28]

Смотрите также

Рекомендации

  1. ^ «Как думать о диверсификации - Страница 3 - Bogleheads.org». www.bogleheads.org. Получено 2020-10-26.
  2. ^ Элтон; Грубер; Блейк (1996). «Предвзятость по выживанию и результативность паевого инвестиционного фонда». Обзор финансовых исследований. 9 (4): 1097–1120. Дои:10.1093 / rfs / 9.4.1097. S2CID  154097782. В этой статье исследователи устраняют предвзятость выживаемости, отслеживая доходность всех фондов, существовавших на конец 1976 года. Они показывают, что другие исследователи сделали ложные выводы, не включив систематическую ошибку в регрессию результатов деятельности фонда.
  3. ^ Майкл Шермер (19.08.2014). "Как предубеждение выжившего искажает реальность". Scientific American.
  4. ^ Кармин Галло (2012-12-07). "Бросившие высокие технологии люди неверно истолковывают совет Стива Джобса". Forbes.
  5. ^ Роберт Дж. Циммер (1 марта 2013 г.). «Миф об успешном отчислении из колледжа: почему он может сделать миллионы молодых американцев беднее». Атлантический океан.
  6. ^ Карен Э. Кляйн. "Как предубеждение в отношении выживания обманывает предпринимателей". Блумберг.
  7. ^ Талеб, Нассим Николас (2010). Черный лебедь: влияние невероятного (2-е изд.). Нью-Йорк: Рэндом Хаус. п.101. ISBN  9780679604181.
  8. ^ Цицерон, De Natura Deor., Iii. 37.
  9. ^ Мумм, Сьюзен (2010). Женщины и филантропические культуры, женщины, гендерные и религиозные культуры в Великобритании, 1800-1940 годы, редакторы Сью Морган и Жаклин де Вриз. . Лондон: Рутледж.
  10. ^ Карен Э. Кляйн (11 августа 2014 г.). "Как предубеждение в отношении выживания обманывает предпринимателей". Bloomberg Business.
  11. ^ а б Вальд, Авраам. (1943). Метод оценки уязвимости самолета на основе повреждений выживших. Группа статистических исследований Колумбийского университета. CRC 432 - перепечатка с июля 1980 г.. Центр военно-морских анализов.
  12. ^ Уоллис, У. Аллен (1980). "Группа статистических исследований, 1942-1945: Реплика". Журнал Американской статистической ассоциации. 75 (370): 334–335. Дои:10.2307/2287454. JSTOR  2287454.
  13. ^ «Пулевые отверстия и уклон: история Авраама Вальда». McDreeamie-Musings. Получено 2020-05-29.
  14. ^ "AMS :: Рубрика: Легенда об Аврааме Вальде". Американское математическое общество. Получено 2020-05-29.
  15. ^ Мангель, Марк; Саманьего, Франциско (июнь 1984 г.). «Работа Абрахама Вальда по живучести самолетов». Журнал Американской статистической ассоциации. 79 (386): 259–267. Дои:10.2307/2288257. JSTOR  2288257. Перепечатка на сайте автора
  16. ^ Пратер, Мэг. «Что нужно знать каждому основателю о предвзятости в отношении выживания». blog.hubspot.com. Получено 2020-10-26.
  17. ^ Уитни, Вашингтон; Мельхафф, CJ (1987). «Синдром высотности у кошек». Журнал Американской ветеринарной медицинской ассоциации. 191 (11): 1399–403. PMID  3692980.
  18. ^ Синдром Хайрайза у кошек
  19. ^ Падающие кошки В архиве 2007-07-12 на Wayback Machine
  20. ^ «Всегда ли кошки приземляются целыми и невредимыми, независимо от того, как далеко они падают?». Прямой допинг. 19 июля 1996 г.. Получено 2008-03-13.
  21. ^ Шнитцер, С (2002). «Экология лиан и их роль в лесах». Тенденции в экологии и эволюции. 17 (5): 223–230. Дои:10.1016 / S0169-5347 (02) 02491-6. ISSN  0169-5347.
  22. ^ Visser, Marco D .; Schnitzer, Stefan A .; Muller-Landau, Helene C .; Йонгеянс, Элке; де Крун, Ханс; Comita, Liza S .; Хаббелл, Стивен П .; Райт, С. Джозеф; Зуидема, Питер (2018). «Виды деревьев широко различаются по своей толерантности к заражению лианами: тематическое исследование дифференцированной реакции хозяина на паразитов широкого профиля». Журнал экологии. 106 (2): 781–794. Дои:10.1111/1365-2745.12815. ISSN  0022-0477.
  23. ^ Budd, G.E .; Манн, Р. П. (2018). «Историю пишут победители: влияние прошлого на летопись окаменелостей» (PDF). Эволюция. 72 (11): 2276–2291. Дои:10.1111 / evo.13593. ЧВК  6282550. PMID  30257040.
  24. ^ Причуды и заблуждения во имя науки, Мартин Гарднер, стр. 303, 1957, Dover Publications Inc.
  25. ^ а б Иоаннидис, Дж. П. А. (2005). «Почему большинство опубликованных результатов исследований ложны». PLoS Med. 2 (8): e124. Дои:10.1371 / journal.pmed.0020124. ЧВК  1182327. PMID  16060722.
  26. ^ Редельмайер, Дональд А .; Сингх, Шелдон М. (15 мая 2001 г.). «Выживание среди актеров и актрис, получивших премию Оскар». Анналы внутренней медицины. 134 (10): 955–62. Дои:10.7326/0003-4819-134-10-200105150-00009. ISSN  0003-4819. PMID  11352696.
  27. ^ Сильвестр, Мари-Пьер; Хусти, Элла; Хэнли, Джеймс А. (05.09.2006). «Обладатели« Оскара »живут дольше, чем менее успешные сверстники? Повторный анализ свидетельств». Анналы внутренней медицины. 145 (5): 361–3, обсуждение 392. Дои:10.7326/0003-4819-145-5-200609050-00009. ISSN  0003-4819. PMID  16954361. S2CID  13724567.
  28. ^ Фархи, Пол (13 мая 2007 г.). «Они познакомились в Интернете, но определенно не нажали». Вашингтон Пост.
  29. ^ https://www.fhi.ox.ac.uk/wp-content/uploads/W6-Observer-selection-effects.pdf