Statcheck - Википедия - Statcheck

Statcheck является Пакет R предназначен для обнаружения статистический ошибки в рецензируемый психология статьи[1] путем поиска статистических результатов в статьях, повторения вычислений, описанных в каждой статье, и сравнения двух значений, чтобы увидеть, совпадают ли они.[2] Он использует тот факт, что в психологических исследованиях результаты обычно сообщаются в соответствии с руководящими принципами, опубликованными Американская психологическая ассоциация (АПА).[3] Это приводит к нескольким недостаткам: он может обнаруживать только результаты, сообщенные полностью и в точном соответствии с рекомендациями APA,[4] и он не может обнаружить статистику, которая включена только в таблицы в документе.[5] Еще одно ограничение заключается в том, что Statcheck не может вносить статистические поправки в статистику тестирования, например Теплица – Гейссер или поправки Бонферрони, которые фактически делают тесты более консервативными.[6] Некоторые журналы начали апробировать Statcheck как часть своих экспертная оценка процесс. Statcheck - это бесплатно программное обеспечение опубликовано под GNU GPL v3.[7]

Срок действия

В 2017 году разработчики Statcheck опубликовали препринт документ, в котором делается вывод о том, что программа точно выявляла статистические ошибки в 95% случаев.[8] Это исследование достоверности включало более 1000 проверенных вручную тестов, из которых 5,00% оказались несоответствующими.[9] Исследование показало, что Statcheck распознает 60% всех статистических тестов. Повторный анализ этих данных показал, что если программа помечала тест как несогласованный, то в 60,4% случаев он был правильным. И наоборот, если тест действительно несогласован, Statcheck помечает его примерно в 51,8% случаев (эта оценка включала необнаруженные тесты и предполагала, что у них такой же уровень несоответствий, что и у обнаруженных тестов). В целом точность Statcheck составила 95,9%, что на полпроцента выше вероятности 95,4%, ожидаемой, когда все тесты принимаются просто за чистую монету. Statcheck был консервативно предвзят (примерно на одно стандартное отклонение) в отношении тестов с пометкой.[10]

Более поздние исследования использовали Statcheck для статей, опубликованных в Канадский психологические журналы, на основе 30-летней выборки таких статей, обнаружив, что уровень ошибок статистической отчетности такой же, как и у первоначальных авторов. В том же исследовании было обнаружено множество типографских ошибок в онлайн-версиях относительно старых документов, и исправление этих ошибок снизило расчетный процент тестов, о которых было сообщено с ошибками.[11]

История

Statcheck был впервые разработан в 2015 году Микеле Нуйтен из Тилбургский университет и Саша Эпскэмп из Амстердамский университет.[12][8] Позже в том же году Нуйтен и ее коллеги опубликовали статью с использованием Statcheck по более чем 30 000 статей по психологии и сообщили, что «половина всех опубликованных статей по психологии ... содержала по крайней мере одно значение p, несовместимое с его тестом».[13] Впоследствии исследование было положительно написано в Природа.[14][15] В 2016 году Нуйтен и Эпскамп получили Премию Лимера-Розенталя в области открытых социальных наук от Инициатива Беркли по прозрачности в социальных науках для создания Statcheck.[16]

В 2016 году исследователь Тилбургского университета Крис Хартгеринк использовал Statcheck для сканирования более 50 000 статей по психологии и опубликовал результаты в PubPeer; впоследствии он опубликовал данные, извлеченные из этих статей, в статье в журнале Данные.[14][17] Хартгеринк сказал Материнская плата что «мы проверяем, насколько достоверна реальная наука, которую представляет наука».[18] Он также сказал Vox что он намеревался использовать Statcheck для выполнения функции, аналогичной программа проверки орфографии программное обеспечение.[12] Действия Хартгеринка также отправили электронное письмо оповещает каждого исследователя, который является автором или соавтором статьи, отмеченной им. Эти сообщения и их размещение на публичном форуме вызвали споры, что побудило Немецкое психологическое общество выпустить заявление, осуждающее такое использование Statcheck.[14] Психолог Дороти В. Епископ, у которой были две собственные статьи, отмеченные Statcheck, критиковала программу за то, что она публично пометила многие статьи (включая одну из ее собственных), несмотря на то, что не обнаружила в ней никаких статистических ошибок.[19] Другие критики утверждали, что Statcheck сообщал о наличии ошибок в документах, которые на самом деле их не содержали, из-за неспособности инструмента правильно считывать статистику из определенных документов.[20]

Журналы, которые начали пилотное использование Statcheck в рамках процесса экспертной оценки, включают: Психологическая наука,[21] то Канадский журнал человеческой сексуальности,[22] и Журнал экспериментальной социальной психологии.[23] В открытый доступ издатель PsychOpen также использовал его во всех статьях, принятых для публикации в своих журналах с 2017 года.[24]

Смотрите также

Рекомендации

  1. ^ Нуйтен, Мишель Б. (28 февраля 2017 г.). «БайесМед и statcheck». Aps Observer. 30 (3). Получено 2018-10-18.
  2. ^ Бейкер, Моня (2016-11-25). «Программное обеспечение для проверки статистики будоражит психологию». Природа. 540 (7631): 151–152. Bibcode:2016Натура.540..151Б. Дои:10.1038 / 540151a. ISSN  0028-0836. PMID  27905454.
  3. ^ Рен, Джонатан Д. (15.06.2018). «Алгоритмический аутсорсинг обнаружения статистических ошибок и других проблем». Журнал EMBO. 37 (12): e99651. Дои:10.15252 / embj.201899651. ISSN  0261-4189. ЧВК  6003655. PMID  29794111.
  4. ^ Коломбо, Маттео; Дуэв, Георгий; Nuijten, Michèle B .; Шпренгер, янв (2018-04-12). «Несоответствия статистической отчетности в экспериментальной философии». PLOS ONE. 13 (4): e0194360. Bibcode:2018PLoSO..1394360C. Дои:10.1371 / journal.pone.0194360. ISSN  1932-6203. ЧВК  5896892. PMID  29649220.
  5. ^ ван дер Зи, Тим; Анайя, Иордания; Браун, Николас Дж. Л. (2017-07-10). «Статистическая изжога: попытка переварить четыре публикации о пицце из лаборатории Cornell Food and Brand Lab». BMC Nutrition. 3 (1): 54. Дои:10.1186 / s40795-017-0167-x. ISSN  2055-0928. ЧВК  7050813. PMID  32153834.
  6. ^ Шмидт, Томас (2016). «Источники ложных срабатываний и ложноотрицательных результатов в алгоритме Statcheck». arXiv:1610.01010 [q-bio.QM ].
  7. ^ https://github.com/MicheleNuijten/statcheck/blob/master/DESCRIPTION
  8. ^ а б Чавла, Далмит Сингх (28 ноября 2017 г.). «Сомнительное программное обеспечение на удивление точно обнаруживает ошибки в статьях по психологии». Наука. Получено 2018-10-18.
  9. ^ Нуйтен, Мишель Б. «Достоверность инструмента« Statcheck »в обнаружении несоответствий в статистической отчетности». PsyArXiv.
  10. ^ Шмидт, Томас. «Statcheck не работает: все числа». PsyArXiv.
  11. ^ Грин, Кристофер Д.; Аббас, Сахир; Белливо, Арли; Берибийский, Наталья; Дэвидсон, Ян Дж .; ДиДжованни, Джулиан; Хейдари, Кристалл; Мартин, Шейн М .; Осенбруг, Эрик (август 2018 г.). «Statcheck в Канаде: какая доля статей журнала CPA содержит ошибки в сообщении p-значений?». Канадская психология. 59 (3): 203–210. Дои:10,1037 / cap0000139. ISSN  1878-7304. S2CID  149813772.
  12. ^ а б Резник, Брайан (30.09.2016). «Бот просмотрел тысячи исследований в поисках простых математических ошибок. Результаты вызывают беспокойство». Vox. Получено 2018-10-18.
  13. ^ Nuijten, Michèle B .; Хартгеринк, Крис Х. Дж .; ван Ассен, Марсель А. Л. М .; Эпскамп, Саша; Wicherts, Jelte M. (2015-10-23). «Распространенность ошибок статистической отчетности в психологии (1985–2013)». Методы исследования поведения. 48 (4): 1205–1226. Дои:10.3758 / s13428-015-0664-2. ISSN  1554-3528. ЧВК  5101263. PMID  26497820.
  14. ^ а б c Бураний, Стивен (2017-02-01). «Высокотехнологичная война против научного мошенничества». Хранитель. Получено 2018-10-18.
  15. ^ Бейкер, Моня (2015-10-28). «Умное программное обеспечение обнаруживает статистические ошибки в статьях по психологии». Природа. Дои:10.1038 / nature.2015.18657. ISSN  1476-4687. S2CID  187878096. Получено 2018-10-19.
  16. ^ "Мишель Нуйтен". Инициатива Беркли по прозрачности в социальных науках. 2016-12-16. Получено 2018-10-19.
  17. ^ Хартгеринк, Крис (23.09.2016). «688 112 статистических результатов: статьи по психологии интеллектуального анализа данных для результатов статистических тестов». Данные. 1 (3): 14. Дои:10.3390 / data1030014.
  18. ^ Бураний, Стивен (05.09.2016). «Ученые обеспокоены экспертной оценкой алгоритмов'". Материнская плата. Получено 2018-10-18.
  19. ^ "Вот почему в PubPeer скоро появятся записи более чем 50 000 исследований по психологии". Часы с отводом. 2016-09-02. Получено 2018-10-18.
  20. ^ Стокстад, Эрик (21.09.2018). «Отряд правды». Наука. 361 (6408): 1189–1191. Bibcode:2018Научный ... 361.1189S. Дои:10.1126 / science.361.6408.1189. ISSN  0036-8075. PMID  30237339.
  21. ^ Фридман, Леонард П .; Венугопалан, Гаутам; Висман, Розанна (2017-05-02). «Воспроизводимость-2020: прогресс и приоритеты». F1000 Исследования. 6: 604. Дои:10.12688 / f1000research.11334.1. ISSN  2046-1402. ЧВК  5461896. PMID  28620458.
  22. ^ Сакалук, Джон К .; Грэм, Синтия А. (17 ноября 2017 г.). «Содействие прозрачному освещению конфликтов интересов и статистическому анализу в журнале Sex Research». Журнал сексуальных исследований. 55 (1): 1–6. Дои:10.1080/00224499.2017.1395387. ISSN  0022-4499. PMID  29148841.
  23. ^ JESP пилотирует использование statcheck. Журнал экспериментальной социальной психологии. Получено 2018-10-19.
  24. ^ «PsychOpen использует инструмент Statcheck для проверки качества». PsychOpen. 2017-04-10. Получено 2018-10-23.

внешняя ссылка