Компьютерная интерпретация тестов в психологической оценке - Computer-based test interpretation in psychological assessment

Компьютерная интерпретация теста (CBTI) программы - это технологические инструменты, которые обычно используются для интерпретации данных в психологические оценки с 1960-х гг. Программы CBTI используются для множества психологических тестов, таких как клинические интервью или оценка проблем, но чаще всего используются в психологических и психологических исследованиях. нейропсихологический оценки. Программы CBTI либо эмпирически на основе или клинически. Программы, основанные на эмпирическом опыте, или актуарный программы оценки используют статистический анализ для интерпретации данных, в то время как программы, основанные на клинических исследованиях или автоматизированные программы оценки, полагаются на информацию, полученную от опытных врачей и исследований. Хотя программы CBTI успешны в тест-ретест надежность, были серьезные опасения и критика относительно способности программ оценивать интерэксперт и Внутренняя согласованность надежность. Исследования показали, что срок действия программ CBTI не было подтверждено из-за различных отчетов по отдельным программам. Программы CBTI очень эффективны в том смысле, что они экономят время, сокращают количество человеческих ошибок, рентабельны и объективны / надежны, но ограничены тем, что не всегда используются адекватно подготовленными оценщиками или не интегрированы с несколькими источниками данных. По мере того как технологии продолжают преобразовывать наше современное общество, компьютерные программы интерпретации имеют возможность расширять свое программное обеспечение и даже снимать некоторые из текущих проблем с методологией программ.

История

Компьютеризированные методы тестирования были впервые внедрены более 60 лет назад. Первая программа, способная интерпретировать данные компьютеризированной оценки, была разработана в 1962 г. Клиника Майо.[1] Программа использовалась для оценки MMPI[2] данные от пациентов больницы и сгенерировал список из 110 возможных описательных утверждений, соответствующих конкретным высотам шкалы. Эта рудиментарная компьютеризированная интерпретация не далека от методов, используемых сегодня.[3] В 1969 году была выпущена первая программа, способная создавать описательные отчеты на основе конфигураций шкал.[4] К 1985 году было подсчитано, что около 1,5 миллиона протоколов MMPI были интерпретированы с помощью программ компьютерной интерпретации тестов (CBTI).[5] В 1987 году 72 отдельных поставщика из более 300 компьютерная оценка существуют продукты, почти половина которых была разработана для оценки личности.[6] С этого времени популярность и доступность компьютерных программ тестирования и CBTI резко возросла, и эта тенденция сохранится и в будущем по мере роста использования технологий в профессии психиатра.[7]

Текущий статус

В настоящее время программы CBTI делятся на две категории: программы актуарной оценки или программы автоматической оценки. Программы актуарной оценки основаны на статистическом или актуарном прогнозировании (например, статистический анализ, уравнения линейной регрессии и байесовские правила), которые основаны на эмпирическом опыте, в то время как автоматизированные программы оценки состоят из серии утверждений «если-то», составленных опытными клиницистами.[8] и основаны на опубликованных исследованиях и клиническом опыте.[9] Для целей этой статьи оба типа будут называться компьютерными интерпретациями тестов (CBTI). CBTI можно найти в различных психологических областях (например, в клинических интервью и оценке проблем), но чаще всего они используются при оценке личности и нейропсихологической оценке.[3] В этой статье основное внимание будет уделено использованию CBTI в оценке личности, чаще всего с использованием MMPI и его последующие исправленные издания.

Надежность

Способность CBTI устранять человеческую ошибку считается преимуществом, и в результате надежность CBTI считается лучше, чем у интерпретаций клиницистов.[7] Однако CBTI продемонстрировали низкую надежность. Исследования эквивалентности CBTI и бумажных и карандашных мер оказались неоднозначными (обзоры см.[9][10]). Кроме того, исследование CBTI подверглось критике за неспособность оценить межэкспертную оценку (сравнение интерпретации одного протокола двумя разными программами) и надежность внутренней согласованности.[11] (сравнение надежности разных разделов одной и той же интерпретации). С другой стороны, надежность CBTI при повторном тестировании считается идеальной (то есть один и тот же протокол будет многократно давать одну и ту же интерпретацию), если используется одна и та же программа.[7]

Срок действия

В исследовании валидности CBTI обычно используются три типа исследований: исследования внешних критериев (сравнение отчета CBTI с некоторыми внешними критериями измерения конструкции, такими как самоотчет или поведенческая мера), исследования удовлетворенности потребителей (выяснение у клиентов, отчеты являются точным представлением самих себя), и сравнение с клиническими заключениями (сравнение отчетов CBTI с интерпретациями клиницистов). Подробные обзоры валидности CBTI можно найти в других источниках (например,[12][13]). В целом, достоверность CBTI не была продемонстрирована,[7][8][11][13][14][15] и было установлено, что действительность отдельных систем CBTI варьируется.[9] Однако многие исследования валидности ошибочны из-за небольших выборок,[11] критерий загрязнения, Эффект Барнума, неадекватные входные данные для создания мощных правил статистического прогнозирования,[7] ненадежность показателей и практика обобщения для тестовых ситуаций и групп без учета потенциальных модераторов.[16]

Сильные и слабые стороны

Программы CBTI можно найти практически для каждого типа оценки личности, доступного сегодня. Программы CBTI, возможно, имеют много преимуществ по сравнению с традиционными оценками, выставляемыми вручную, и интерпретациями врачей, что может способствовать их популярности. Например, программы CBTI экономят время и исключают ошибки, связанные с ответами и оценками людей.[17] Кроме того, программы CBTI часто бывают более комплексными, чем интерпретация клиницистом, имеют тенденцию быть более надежными, чем интерпретация клинициста, являются экономически эффективными и более объективными, что может позволить клиентам лучше принимать отзывы.[18]Несмотря на эти преимущества, необходимо учитывать значительные ограничения CBTI. Например, отчеты CBTI могут создавать необоснованное впечатление о научной точности, а отчеты могут быть слишком общими, чтобы предоставлять различную информацию.[18] Кроме того, CBTI могут способствовать чрезмерно бесцеремонному отношению к клинической оценке и интерпретации, и, поскольку они становятся все более доступными для неадекватно подготовленных специалистов по оценке, высока вероятность неправильного использования.[10] Клиницистам рекомендуется обучать себя перед использованием программ CBTI, не интерпретировать слепо компьютерные отчеты как истинные или использовать CBTI как способ обойти свои обязанности клинициста по интеграции нескольких источников данных.[18]

Будущее

Поскольку наша система здравоохранения и общество в целом становятся все более зависимыми от технологий, неизбежно расширение доступности и использования программного обеспечения CBTI. Потенциал Интернета для расширения использования CBTI был признан, хотя потенциальные проблемы, связанные с этим методом, еще предстоит полностью понять, и их необходимо будет решить до того, как использование Интернет-технологий CBTI станет распространяться.[3] Кроме того, применение компьютерно-адаптивное тестирование, хотя и успешно применяется в других областях оценки (например, в способностях и способностях), представляет собой многообещающее, но недостаточно изученное дополнение к оценке личности.[3] Наконец, существует призыв к более эффективной интеграции клинических и компьютерных методов прогнозирования, начиная с партнерства между клиницистами и исследователями в разработке программ CBTI.[9][10]

Смотрите также

Рекомендации

  1. ^ Рим, Х. П., Свенсон, В. М., Матайя, П., Маккарти, К. Э., Пирсон, Дж. С., Китинг, Ф. Р. и Хэтэуэй, С. Р. (1962). Симпозиум по методам автоматизации в оценке личности. Труды совещаний персонала клиники Мэйо, 37, 61-82.
  2. ^ Хэтэуэй, С. Р., и Мак-Кинли, Дж. К. (1942). Миннесотский многофазный опросник личности. Миннеаполис: Университет Миннесоты Press.
  3. ^ а б c d Бутчер, Дж. Н., Перри, Дж. Н. и Хан, Дж. (2004). Компьютеры в клинической оценке: исторические события, текущее состояние и будущие проблемы. Журнал клинической психологии, 60 (3), 331-345.
  4. ^ Фаулер, Р. Д. (1969). Автоматическая интерпретация данных личностных тестов. В J. N. Butcher (Ed.), MMPI: Research development and Clinical Applications (pp. 105-126). Нью-Йорк: Макгроу-Хилл.
  5. ^ Фаулер, Р. Д. (1985). Ориентиры в компьютерной психологической оценке. Журнал консалтинговой и клинической психологии, 53, 748-759.
  6. ^ Круг, С. Э. (1987). Справочник по психологическому ПО 1987-1988 гг. Канзас-Сити, Миссури: Тестовая корпорация Америки.
  7. ^ а б c d е Гарб, Х. Н. (2000). Компьютеры будут приобретать все большее значение для психологической оценки: не то чтобы в этом что-то не так! Психологическая оценка, 12, 31-39.
  8. ^ а б Гарб, Х. Н. (1998). Изучение клинициста: суждение, исследование и психологическая оценка. Вашингтон, округ Колумбия: Американская психологическая ассоциация.
  9. ^ а б c d Лихтенбергер, Э. О. (2006). Использование компьютеров и клиническая оценка в отчетах психологической оценки. Журнал клинической психологии, 62 (1), 19-32.
  10. ^ а б c Снайдер, Д. К. (2000). Компьютерное решение: определение сильных и слабых сторон. Психологическая оценка, 12 (1), 52-60.
  11. ^ а б c Морленд, К. Л. (1985). Валидация компьютерных интерпретаций тестов: проблемы и перспективы. Журнал консалтинговой и клинической психологии, 53, 816-825.
  12. ^ Морленд, К. Л. (1987). Интерпретации компьютерных тестов: Совет потребителю. Прикладная психология: международный обзор, 36, 385-399.
  13. ^ а б Бутчер, Дж. Н., Перри, Дж. Н. и Атлис, М. М. (2000). Достоверность и полезность компьютерного перевода. Психологическая оценка, 12, 6-18.
  14. ^ Адамс, К. М., и Хитон, Р. К. (1985). Автоматическая интерпретация данных нейропсихологических тестов. Журнал консалтинговой и клинической психологии, 53, 790-802.
  15. ^ Матараццо, Дж. Д. (1986). Интерпретации компьютеризированных клинических психологических тестов: не подтверждено плюс все средние значения и нет сигмы. Американский психолог, 41, 14-24.
  16. ^ Ланьон, Р. И. (1987). Обоснованность продуктов компьютерной оценки личности: рекомендации на будущее. Компьютеры в человеческом поведении, 3, 225-238.
  17. ^ Аллард, Г., Батлер, Дж., Фауст, Д., и Ши, М. Т. (1995). Ошибки при ручной оценке объективных личностных тестов: случай пересмотренной анкеты диагностики личности (PDQ-R). Профессиональная психология: исследования и практика, 26, 304-308.
  18. ^ а б c Бутчер, Дж. Н. (2002). Как пользоваться компьютерными отчетами. В Дж. Н. Бутчер (ред.), Клиническая оценка личности: практические подходы (2-е изд.). Нью-Йорк: Издательство Оксфордского университета.

дальнейшее чтение

  • Специальная секция психологической оценки использования компьютеров для принятия суждений и решений, 2000, 12 (1)