Дноуглубительные работы - Википедия - Data dredging

Пример результата, полученного при копании данных, показывающий корреляцию между количеством букв в Национальная орфографическая пчела Скриппса победное слово и количество людей в Соединенных Штатах, убитых ядовитые пауки.

Дноуглубительные работы (также ловля данных, отслеживание данных, бойня данных, и п-хакерство) является неправильным использованием анализ данных найти закономерности в данных, которые можно представить как статистически значимый, что резко увеличивает и снижает риск ложных срабатываний. Это достигается путем выполнения множества статистические тесты на данных и сообщать только о тех, которые возвращаются со значительными результатами.[1]

Процесс извлечения данных включает проверку нескольких гипотез с использованием одного набор данных к исчерпывающий поиск - возможно, для комбинаций переменных, которые могут показывать корреляция и, возможно, для групп случаев или наблюдений, которые показывают различия в их средних значениях или в их разбивке по какой-либо другой переменной.

Обычные испытания Статистическая значимость основаны на вероятности того, что конкретный результат возник бы, если бы действовал только случай, и обязательно допускают некоторый риск ошибочных выводов определенного типа (ошибочное отклонение нулевой гипотезы). Этот уровень риска называется значение. Когда выполняется большое количество тестов, некоторые из них дают ложные результаты этого типа; следовательно, 5% случайно выбранных гипотез могут быть (ошибочно) признаны статистически значимыми на 5% уровне значимости, 1% могут быть (ошибочно) признаны статистически значимыми на уровне значимости 1%, и так далее, только случайно . Когда проверено достаточное количество гипотез, становится практически наверняка, что некоторые из них будут считаться статистически значимыми (даже если это вводит в заблуждение), поскольку почти каждый набор данных с любой степенью случайности может содержать (например) некоторые ложные корреляции. Если они не будут осторожны, эти результаты могут легко ввести в заблуждение исследователей, использующих методы интеллектуального анализа данных.

Дноуглубительные работы - пример игнорирования множественные сравнения проблема. Одна из форм - это когда подгруппы сравниваются без предупреждения читателя об общем количестве изученных сравнений подгрупп.[2]

Делаем выводы из данных

Обычный частотник статистическая проверка гипотез процедура заключается в формулировании исследовательской гипотезы, например, «люди из более высоких социальных классов живут дольше», затем сбор соответствующих данных с последующим проведением статистической тест значимости чтобы увидеть, насколько вероятны такие результаты, если бы действовал только случай. (Последний шаг называется тестированием на нулевая гипотеза.)

Ключевым моментом надлежащего статистического анализа является проверка гипотезы с помощью свидетельств (данных), которые не использовались при построении гипотезы. Это очень важно, потому что каждый набор данных содержит некоторые закономерности полностью случайно. Если гипотеза не проверяется на другом наборе данных из того же статистическая совокупность, невозможно оценить вероятность того, что одна случайность создаст такие модели. Увидеть проверка гипотез, предложенных данными.

Вот простой пример. Бросая монету пять раз, с результатом 2 орла и 3 решки, может привести к гипотезе о том, что монета благоприятствует решке от 3/5 до 2/5. Если эта гипотеза затем проверяется на существующем наборе данных, она подтверждается, но подтверждение бессмысленно. Надлежащая процедура заключалась бы в том, чтобы заранее сформировать гипотезу о вероятности решки, а затем несколько раз подбрасывать монету, чтобы увидеть, отклоняется ли гипотеза или нет. Если наблюдаются три решки и две решки, может быть сформирована другая гипотеза о том, что вероятность решки равна 3/5, но ее можно проверить только с помощью новой серии подбрасываний монеты. Важно понимать, что статистическая значимость при неправильной процедуре полностью ложна - тесты значимости не защищают от углубления данных.

Гипотеза, предложенная нерепрезентативными данными

Основная статья: Проверка гипотез на основе данных

Предположим, что в исследование случайной выборки людей включены ровно два человека с днем ​​рождения 7 августа: Мэри и Джон. Кто-то, занимающийся отслеживанием данных, может попытаться найти дополнительные сходства между Мэри и Джоном. Пройдя через сотни или тысячи потенциальных сходств между ними, каждое из которых имеет низкую вероятность быть правдой, почти наверняка можно найти необычное сходство. Возможно, Джон и Мэри - единственные два человека в исследовании, которые трижды меняли несовершеннолетних в колледже. Гипотеза, основанная на слежении за данными, могла бы быть такой: «Люди, родившиеся 7 августа, имеют гораздо более высокие шансы сменить несовершеннолетнего более чем дважды в колледже».

Сами данные, вырванные из контекста, можно рассматривать как убедительную поддержку этой корреляции, поскольку никто с другим днем ​​рождения не менял несовершеннолетних трижды в колледже. Однако, если (что вероятно) это ложная гипотеза, этот результат, скорее всего, не будет воспроизводимый; любая попытка проверить, есть ли у других, чей день рождения 7 августа, аналогичная скорость изменения несовершеннолетних, скорее всего, почти сразу же приведет к противоречивым результатам.

Предвзятость

Основная статья: Предвзятость

Смещение - это систематическая ошибка анализа. Например, врачи направили пациентов с ВИЧ с высоким риском сердечно-сосудистых заболеваний на конкретное лечение ВИЧ, абакавир, а пациенты с более низким риском - другие препараты, что препятствует простой оценке абакавира по сравнению с другими видами лечения. Анализ, который не исправил эту предвзятость, несправедливо наказал абакавир, поскольку его пациенты были более подвержены риску, поэтому у большего числа из них были сердечные приступы.[2] Эта проблема может быть очень серьезной, например, в наблюдательное исследование.[2][1]

Отсутствующие факторы, неизмеренные искажающие факторы и отказ от последующего наблюдения также могут привести к смещению.[2]Выбирая бумаги со значительным п-ценность, отбираются отрицательные исследования - что является предвзятость публикации. Это также известно как "смещение картотеки", поскольку п-значение результатов остается в картотеке и никогда не публикуется.

Множественное моделирование

Другой аспект кондиционирования статистические тесты по знанию данных можно увидеть при использовании частота потока данных в системе или машине при анализе данных линейная регрессия[прояснить ]. Решающий шаг в этом процессе - решить, какие ковариаты включить в отношения, объясняющие одну или несколько других переменных. Есть как статистические (см. Пошаговая регрессия ) и существенные соображения, которые побуждают авторов отдавать предпочтение одними из своих моделей по сравнению с другими, а также существует широкое использование статистических тестов. Однако исключение одной или нескольких переменных из объясняющего отношения на основе данных означает, что нельзя корректно применять стандартные статистические процедуры к оставшимся переменным в отношении, как будто ничего не произошло. По сути дела, сохраненные переменные должны были пройти какой-то предварительный тест (возможно, неточный интуитивно понятный), что отброшенные переменные не прошли. В 1966 году Селвин и Стюарт сравнили переменные, сохраняемые в модели, с рыбой, которая не проваливается через сеть - в том смысле, что их влияние обязательно будет больше, чем влияние тех, которые действительно падают через сеть. Это не только изменяет результативность всех последующих тестов сохраненной пояснительной модели, но и может внести систематическую ошибку и изменить среднеквадратичная ошибка в оценке.[3][4]

Примеры в метеорологии и эпидемиологии

В метеорология, гипотезы часто формулируются с использованием данных о погоде до настоящего времени и проверяются на данных о погоде в будущем, что гарантирует, что даже подсознательно будущие данные не могут повлиять на формулировку гипотезы. Конечно, такая дисциплина требует ожидания поступления новых данных, чтобы показать сформулированную теорию. предсказательная сила по сравнению с нулевая гипотеза. Этот процесс гарантирует, что никто не сможет обвинить исследователя в ручной подделке прогнозная модель к имеющимся данным, так как предстоящая погода пока недоступна.

В качестве другого примера предположим, что наблюдатели замечают, что в определенном городе есть кластер рака, но нет твердой гипотезы, почему это так. Однако у них есть доступ к большому количеству демографические данные о городе и его окрестностях, содержащие измерения для области сотен или тысяч различных переменных, в основном некоррелированных. Даже если все эти переменные не зависят от уровня заболеваемости раком, весьма вероятно, что по крайней мере одна переменная существенно коррелирует с заболеваемостью раком в данной местности. Хотя это может наводить на мысль о гипотезе, для подтверждения необходимо дальнейшее тестирование с использованием тех же переменных, но с данными из другого места. Обратите внимание, что п-ценность 0,01 предполагает, что в 1% случаев результат, по крайней мере, такой экстремальный, будет получен случайно; если проверяются сотни или тысячи гипотез (с относительно некоррелированными между собой независимыми переменными), то можно получить п-значение менее 0,01 для многих нулевых гипотез.

Средства

Поиск закономерностей в данных законен. Применяя статистический критерий значимости, или проверка гипотезы, к тем же данным, на основе которых возникает шаблон, неверны. Один из способов построить гипотезы, избегая при этом извлечения данных, - это провести рандомизированный тесты вне выборки. Исследователь собирает набор данных, затем случайным образом разделяет его на два подмножества, A и B. Только одно подмножество, скажем, подмножество A, исследуется для создания гипотез. После того как гипотеза сформулирована, ее необходимо проверить на подмножестве B, которое не использовалось для построения гипотезы. Только тогда, когда B также поддерживает такую ​​гипотезу, разумно полагать, что гипотеза может быть верной. (Это простой тип перекрестная проверка и часто называется тренировочным тестом или проверкой с разделением половин.)

Еще одно средство для извлечения данных - записать количество всех тестов значимости, проведенных во время исследования, и просто разделить критерий значимости («альфа») на это число; это Коррекция Бонферрони. Однако это очень консервативный показатель. Семейная альфа 0,05, разделенная таким образом на 1000, чтобы учесть 1000 тестов значимости, дает очень строгую альфа для каждой гипотезы, равную 0,00005. Методы, особенно полезные при анализе дисперсии и при построении одновременных доверительных интервалов для регрессий, включающих базисные функции: Метод Шеффе и, если исследователь имеет в виду только попарные сравнения, Метод Тьюки. Использование Бенджамини и Хохберга коэффициент ложного обнаружения - это более сложный подход, который стал популярным методом контроля множественных проверок гипотез.

Когда ни один из подходов не является практичным, можно провести четкое различие между анализом данных, который подтверждающий и анализы, которые исследовательский. Статистический вывод подходит только для первого.[4]

В конечном итоге статистическая значимость теста и статистическая достоверность вывода - это совместные свойства данных и метода, используемого для их изучения. Таким образом, если кто-то говорит, что определенное событие имеет вероятность 20% ± 2% в 19 случаях из 20, это означает, что если вероятность события оценивается тем же методом используется для получения оценки 20%, результат составляет от 18% до 22% с вероятностью 0,95. Невозможно претендовать на статистическую значимость, просто глядя, без должного учета метода, используемого для оценки данных.

Академические журналы все чаще переходят на зарегистрированный отчет формат, который направлен на противодействие очень серьезным проблемам, таким как углубление данных и HARKing, которые сделали исследования по проверке теорий очень ненадежными: например, Природа Человеческое поведение приняла зарегистрированный формат отчета, поскольку он «переносит акцент с результатов исследования на вопросы, которыми руководствуется исследование, и методы, используемые для ответа на них».[5] В Европейский журнал личности определяет этот формат следующим образом: «В зарегистрированном отчете авторы создают предложение по исследованию, которое включает теоретические и эмпирические данные, вопросы / гипотезы исследования и пилотные данные (если таковые имеются). После подачи это предложение будет рассмотрено до сбора данных, и в случае принятия документ, полученный в результате этой процедуры экспертной оценки, будет опубликован независимо от результатов исследования ».[6]

Методы и результаты также могут быть общедоступными, как в открытая наука подход, что еще больше затрудняет проведение дноуглубительных работ.[7]

Смотрите также

Рекомендации

  1. ^ а б Дэйви Смит, Г.; Эбрахим, С. (2002). «Извлечение данных, предвзятость или смешение». BMJ. 325 (7378): 1437–1438. Дои:10.1136 / bmj.325.7378.1437. ЧВК  1124898. PMID  12493654.
  2. ^ а б c d Янг, С. С .; Карр, А. (2011). «Деминг, данные и наблюдательные исследования» (PDF). Значимость. 8 (3): 116–120. Дои:10.1111 / j.1740-9713.2011.00506.x.
  3. ^ Selvin, H.C .; Стюарт, А. (1966). «Процедуры извлечения данных в изыскательском анализе». Американский статистик. 20 (3): 20–23. Дои:10.1080/00031305.1966.10480401. JSTOR  2681493.
  4. ^ а б Berk, R .; Brown, L .; Чжао, Л. (2009). «Статистический вывод после выбора модели». Дж Куант Криминол. 26 (2): 217–236. Дои:10.1007 / s10940-009-9077-7. S2CID  10350955.
  5. ^ «Содействие воспроизводимости зарегистрированных отчетов». Природа Человеческое поведение. 1 (1): 0034. 10 января 2017 г. Дои:10.1038 / s41562-016-0034. S2CID  28976450.
  6. ^ «Оптимизированный обзор и зарегистрированные отчеты скоро будут официально представлены на EJP». ejp-blog.com.
  7. ^ Вайс, Стюарт (2017). "Признания P-Hacker: Дэрил Бем и я". Скептически настроенный исследователь. 41 (5): 25–27. Архивировано из оригинал на 2018-08-05. Получено 5 августа 2018.

дальнейшее чтение

внешняя ссылка