ГРИМ тест - GRIM test

В критерий несогласованности средств, связанный с гранулярностью (GRIM) это простой статистический тест используется для выявления несоответствий при анализе наборов данных. Тест основан на том факте, что, учитывая набор данных, содержащий N целочисленные значения, среднее арифметическое (обычно называемое просто средним) ограничено несколькими возможными значениями: оно всегда должно быть выражено как дробная часть с целым числителем и знаменатель  N. Если полученное среднее значение не соответствует этому описанию, где-то должна быть ошибка; предпочтительный термин для таких ошибок - «несоответствия», чтобы подчеркнуть, что их происхождение при первом обнаружении обычно неизвестно. Несоответствия GRIM могут возникнуть в результате случайного ввода данных или опечатки или из научное мошенничество. Тест GRIM наиболее полезен в таких областях, как психология где исследователи обычно используют небольшие группы и измерения часто целые числа. Тест GRIM был предложен Ником Брауном и Джеймсом Хизерсом в 2016 году после повышения осведомленности о кризис репликации в некоторых областях науки.[1]

Процедура

Тест GRIM прост в выполнении. Для каждого сообщенного среднего в документе размер образца (N) найдено, и все дроби со знаминателем N рассчитаны. Затем среднее значение проверяется по этому списку (учитывая тот факт, что значения могут быть округлый непоследовательно: в зависимости от контекста среднее значение 1,125 может быть представлено как 1,12 или 1,13). Если среднего нет в этом списке, оно выделяется как математически невозможное.[2][3]

пример

Рассмотрим эксперимент, в котором честная смерть перекатывается 20 раз. Каждый рулон даст одно целое число от 1 до 6, а выдвинутый среднее значение составляет 3,5. Затем результаты бросков усредняются, и среднее значение составляет 3,48. Это близко к ожидаемому значению и, похоже, поддерживает гипотезу. Однако тест GRIM показывает, что полученное среднее математически невозможно: результат деления любого целого числа на 20, записанный в 2 десятичные знаки, должен иметь вид X.X0 или X.X5; невозможно разделить любое целое число на 20 и получить результат с «8» во втором десятичном разряде.[4]

Толкование и ограничения

Даже если данные не проходят тест GRIM, это не является автоматически признаком манипуляции. Ошибки в средних значениях могут возникать невиновно в результате ошибки со стороны тестировщика, опечаток, ошибок расчетов и программирования или неправильного отчета о размере выборки.[2] Однако это может быть признаком того, что некоторые данные были неправильно исключены или что среднее значение было незаконно сфальсифицировано. чтобы результаты казались более значительными. Расположение сбоев может указывать на основную причину: изолированное невозможное среднее значение может быть вызвано ошибкой, несколько невозможных значений в одной строке таблицы указывают на плохое Скорость отклика, а несколько невозможных значений в одном столбце указывают на неправильный размер выборки. Множественные ошибки, разбросанные по таблице, могут быть признаком более глубоких проблем, и для анализа подозрительных данных можно использовать другие статистические тесты.[5]

Тест GRIM лучше всего работает с наборами данных, в которых: размер выборки относительно небольшой, количество подкомпонентов в комплексные меры также мало, а среднее значение отображается с точностью до нескольких десятичных знаков.[2] В некоторых случаях допустимое среднее значение может не пройти тест, если входные данные не дискретизированный как и ожидалось - например, если людей спрашивают, сколько кусочков пиццы они съели в буфете, некоторые люди могут ответить дробью, такой как «три с половиной», вместо целого числа, как ожидалось.[5]

Приложения

Браун и Хизерс применили тест к 260 статьям, опубликованным в Психологическая наука, Журнал экспериментальной психологии: Общие, и Журнал личности и социальной психологии. 71 из этих статей подлежали тестированию GRIM; 36 из них содержали по крайней мере одно невозможное значение и 16 содержали несколько невозможных значений.[3]

Тестирование GRIM также сыграло значительную роль в выявлении ошибок в публикациях Корнелл Университет Лаборатория продуктов питания и брендов Брайан Вансинк. Тестирование GRIM показало, что серия статей о влиянии цены на потребление в буфете с пиццей «все, что ты можешь съесть» содержала множество невозможных средств - более глубокий анализ необработанных данных показал, что во многих случаях размеры выборки были неверно указаны и значения неправильно рассчитан.[1][5]

использованная литература

  1. ^ а б Бартлетт, Том (17 марта 2017 г.). «Избалованная наука». Хроника высшего образования. Получено 19 октября 2017.
  2. ^ а б c Хизерс, Джеймс (23 мая 2016 г.). «Тест GRIM - метод оценки опубликованных исследований». Средняя. Получено 19 октября 2017.
  3. ^ а б Brown, Nicholas J. L .; Хизерс, Джеймс А. Дж. (18 октября 2016 г.). «Тест GRIM: простая техника для обнаружения множества аномалий в сообщении результатов в психологии» (PDF). Социально-психологическая наука и наука о личности. 8 (4): 363–369. Дои:10.1177/1948550616673876.
  4. ^ "Участок GRIM (средний: 3,48, размер: 20)". PrePubMed. Получено 19 октября 2017.
  5. ^ а б c Анайя, Иордания; ван дер Зи, Тим; Браун, Ник (14 июня 2017 г.). «Статистический инфаркт: вскрытие публикаций лаборатории пиццы Cornell Food and Brand Lab». Препринты PeerJ. Дои:10.7287 / peerj.preprints.3025v1. Получено 19 октября 2017.

внешние ссылки