Классическая теория тестирования - Classical test theory

Классическая теория тестирования (CTT) это совокупность связанных психометрический теория, предсказывающая результаты психологических тестирование например, сложность заданий или способности тестируемых. Это теория тестирования, основанная на идее, что наблюдаемая или полученная человеком оценка на тесте является суммой истинной оценки (безошибочной оценки) и оценки ошибок.^[1] Вообще говоря, цель классической теории тестирования - понять и улучшить надежность психологических тестов.

Классическая теория тестирования можно рассматривать как примерно синоним истинная теория счета. Термин «классическая» относится не только к хронологии этих моделей, но и контрастирует с более поздними психометрическими теориями, которые обычно вместе именуются теория ответа элемента, которые иногда имеют наименование «современные», как в «современной теории скрытых черт».

Классическая теория тестов в том виде, в каком мы ее знаем сегодня, была систематизирована Новиком (1966) и описана в классических текстах, таких как Lord & Novick (1968) и Allen & Yen (1979/2002). Описание классической теории тестирования, приведенное ниже, следует за этими основополагающими публикациями.

История

Классическая теория тестирования родилась только после осмысления следующих трех достижений или идей:

1. признание наличия ошибок в измерениях,

2. представление об этой ошибке как о случайной величине,

3. Концепция корреляции и способы ее индексации.

В 1904 г. Чарльз Спирман отвечал за выяснение того, как исправить коэффициент корреляции для ослабления из-за ошибки измерения и как получить индекс надежности, необходимый для внесения коррекции.^[2] Некоторые считают, что открытие Спирмена положило начало классической теории испытаний (Traub, 1997). Другие, кто оказал влияние на структуру классической теории тестирования, включают: Георгий Удный Юл, Трумэн Ли Келли, Фриц Кудер & Мэрион Ричардсон участвует в создании Формулы Кудера – Ричардсона, Луи Гутман, и совсем недавно Мелвин Новик, не говоря уже о других, появившихся в течение следующей четверти века после первых открытий Спирмена.

Определения

Классическая теория тестирования предполагает, что у каждого человека есть истинный счет,Т, что было бы получено, если бы не было ошибок измерения. Истинная оценка человека определяется как ожидаемая оценка с правильным числом, полученная в результате бесконечного числа независимых проведений теста. К сожалению, тестовые пользователи никогда не наблюдают истинную оценку человека, только наблюдаемая оценка, Икс. Предполагается, что наблюдаемая оценка = истинный счет плюс некоторые ошибка:

                X = T + E наблюдаемая оценка истинная ошибка оценки

Классическая теория тестирования изучает отношения между тремя переменными. ${ displaystyle X}$ , ${ displaystyle T}$ , и ${ displaystyle E}$ в населении. Эти отношения используются, чтобы что-то сказать о качестве результатов тестов. В этом отношении наиболее важным является понятие надежность. Достоверность наблюдаемых результатов тестов ${ displaystyle X}$ , который обозначается как ${ displaystyle { rho _ {XT} ^ {2}}}$ , определяется как отношение истинной дисперсии оценок ${ displaystyle { sigma _ {T} ^ {2}}}$ к наблюдаемой дисперсии оценок ${ displaystyle { sigma _ {X} ^ {2}}}$ :

{ displaystyle rho _ {XT} ^ {2} = { frac { sigma _ {T} ^ {2}} { sigma _ {X} ^ {2}}}}

Поскольку можно показать, что дисперсия наблюдаемых оценок равна сумме дисперсии истинных оценок и дисперсии оценок ошибок, это эквивалентно

{ displaystyle rho _ {XT} ^ {2} = { frac { sigma _ {T} ^ {2}} { sigma _ {X} ^ {2}}} = { frac { sigma _ {T} ^ {2}} { sigma _ {T} ^ {2} + sigma _ {E} ^ {2}}}}

Это уравнение, которое формулирует отношение сигнал / шум, имеет интуитивно понятную привлекательность: надежность результатов тестов становится выше по мере того, как доля дисперсии ошибок в оценках тестов становится ниже, и наоборот. Надежность равна пропорции дисперсии результатов теста, которую мы могли бы объяснить, если бы знали истинные результаты. Квадратный корень из надежности - это абсолютное значение корреляции между истинными и наблюдаемыми оценками.

Оценка тестов и баллов: надежность

Надежность нельзя оценить напрямую, так как для этого нужно знать истинные баллы, что в соответствии с классической теорией тестирования невозможно. Однако оценки надежности можно получить разными способами. Одним из способов оценки надежности является построение так называемого параллельный тест. Основным свойством параллельного теста является то, что он дает тот же истинный балл и такую же наблюдаемую дисперсию баллов, что и исходный тест для каждого человека. Если у нас есть параллельные тесты x и x ', то это означает, что

{ Displaystyle varepsilon (X_ {i}) = varepsilon (X '_ {i})}

и

{ displaystyle sigma _ {E_ {i}} ^ {2} = sigma _ {E '_ {i}} ^ {2}}

Из этих предположений следует, что корреляция между результатами параллельных тестов равна надежности (см. Lord & Novick, 1968, гл. 2, для доказательства).

{ displaystyle rho _ {XX '} = { frac { sigma _ {XX'}} { sigma _ {X} sigma _ {X '}}} = { frac { sigma _ {T} ^ {2}} { sigma _ {X} ^ {2}}} = rho _ {XT} ^ {2}}

Использование параллельных тестов для оценки надежности затруднительно, потому что параллельные тесты очень трудно найти. На практике метод применяется редко. Вместо этого исследователи используют показатель внутренней согласованности, известный как Кронбаха ${ displaystyle { alpha}}$ . Рассмотрим тест, состоящий из ${ displaystyle k}$ Предметы ${ displaystyle u_ {j}}$ , ${ displaystyle j = 1, ldots, k}$ . Общий балл за тест определяется как сумма баллов по отдельным предметам, поэтому ${ displaystyle i}$

{ Displaystyle X_ {я} = сумма _ {j = 1} ^ {k} U_ {ij}}

потом Альфа Кронбаха равно

{ displaystyle alpha = { frac {k} {k-1}} left (1 - { frac { sum _ {j = 1} ^ {k} sigma _ {U_ {j}} ^ { 2}} { sigma _ {X} ^ {2}}} right)}

Кронбаха ${ displaystyle { alpha}}$ можно показать, что она обеспечивает нижнюю границу надежности при довольно мягких предположениях.^{[нужна цитата ]} Таким образом, надежность результатов тестов в популяции всегда выше, чем значение оценки Кронбаха. ${ displaystyle { alpha}}$ в этом населении. Таким образом, этот метод эмпирически осуществим и, как следствие, пользуется большой популярностью среди исследователей. Расчет Кронбаха ${ displaystyle { alpha}}$ включен во многие стандартные статистические пакеты, такие как SPSS и SAS.^[3]

Как было отмечено выше, все упражнения классической теории тестирования проводятся для того, чтобы прийти к подходящему определению надежности. Надежность должна кое-что сказать об общем качестве рассматриваемых тестов. По общему мнению, чем выше надежность, тем лучше. Классическая теория тестирования не говорит о том, насколько высокой должна быть надежность. Слишком высокое значение для ${ displaystyle { alpha}}$ , скажем более 0,9, указывает на избыточность элементов. Около 0,8 рекомендуется для исследования личности, тогда как .9+ желательно для индивидуального тестирования с высокими ставками.^[4] Эти «критерии» не основаны на формальных аргументах, а являются результатом условностей и профессиональной практики. Неясно, в какой степени они могут быть сопоставлены с формальными принципами статистического вывода.

Оценка заданий: P и корреляции между заданиями и общим количеством

Надежность обеспечивает удобный показатель качества тестирования в единой цифре - надежность. Однако он не предоставляет никакой информации для оценки отдельных элементов. Анализ предметов в рамках классического подхода часто полагаются на две статистики: P-значение (пропорция) и корреляция между элементами (точечно-бисериальный коэффициент корреляции ). P-значение представляет собой долю испытуемых, отвечающих в заданном направлении, и обычно обозначается как сложность предмета. Корреляция элемента-всего обеспечивает индекс способности различения или дифференциации элемента и обычно называется различение предметов. Кроме того, эта статистика рассчитывается для каждого ответа часто используемых множественный выбор item, которые используются для оценки предметов и диагностики возможных проблем, таких как сбивающий с толку отвлекающий фактор. Такой ценный анализ предоставляется специально разработанным психометрическое программное обеспечение.

Альтернативы

Классическая теория тестов - влиятельная теория результатов тестов в социальных науках. В психометрия, теория была заменена более сложными моделями в теория ответа элемента (IRT) и теория обобщаемости (G-теория). Однако IRT не входит в стандартные статистические пакеты, такие как SPSS, но SAS может оценивать модели IRT через PROC IRT и PROC MCMC, и есть Пакеты IRT для языка статистического программирования с открытым исходным кодом р (например, CTT). В то время как коммерческие пакеты обычно предоставляют оценки Кронбаха ${ displaystyle { alpha}}$ , специализированный психометрическое программное обеспечение может быть предпочтительным для IRT или G-теории. Однако общие статистические пакеты часто не обеспечивают полного классического анализа (Кронбаха ${ displaystyle { alpha}}$ это только одна из многих важных статистических данных), и во многих случаях также необходимо специализированное программное обеспечение для классического анализа.

Недостатки

Одним из наиболее важных или хорошо известных недостатков классической теории тестирования является то, что характеристики экзаменуемого и характеристики теста нельзя разделить: каждое из них можно интерпретировать только в контексте другого. Другой недостаток заключается в определении надежности, которое существует в классической теории тестирования, которая гласит, что надежность - это «корреляция между результатами тестов по параллельным формам теста».^[5] Проблема в том, что существуют разные мнения о том, что такое параллельные тесты. Различные коэффициенты надежности обеспечивают либо нижнюю границу оценки надежности, либо оценки надежности с неизвестными смещениями. Третий недостаток связан со стандартной ошибкой измерения. Проблема здесь в том, что, согласно классической теории тестирования, стандартная ошибка измерения считается одинаковой для всех испытуемых. Однако, как объясняет Хэмблтон в своей книге, оценки по любому тесту являются неодинаково точными мерами для испытуемых с разными способностями, что делает предположение об одинаковых ошибках измерения для всех испытуемых маловероятным (Hambleton, Swaminathan, Rogers, 1991, p. 4). Четвертый и последний недостаток классической теории тестирования состоит в том, что она ориентирована на тесты, а не на задания. Другими словами, классическая теория тестирования не может помочь нам сделать предположения о том, насколько хорошо отдельные испытуемые или даже группа испытуемых могут справиться с заданием теста.^[5]

Смотрите также

Примечания

^ Национальный совет по измерениям в образовании http://www.ncme.org/ncme/NCME/Resource_Center/Glossary/NCME/Resource_Center/Glossary1.aspx?hkey=4bb87415-44dc-4088-9ed9-e8515326a061#anchorC В архиве 2017-07-22 в Wayback Machine
^ Трауб, Р. (1997). Классическая теория тестов в исторической перспективе. Образовательные измерения: проблемы и практика 16 (4), 8–14. DOI: DOI: 10.1111 / j.1745-3992.1997.tb00603.x
^ Пуй-Ва Лей и Цюн Ву (2007). "CTTITEM: макрос SAS и синтаксис SPSS для классического анализа элементов" (PDF). Методы исследования поведения. 39 (3): 527–530. Дои:10.3758 / BF03193021. PMID 17958163.^{[постоянная мертвая ссылка ]}
^ Штрайнер, Д. Л. (2003). «Начиная с начала: введение в коэффициент альфа и внутреннюю согласованность». Журнал оценки личности. 80 (1): 99–103. Дои:10.1207 / S15327752JPA8001_18. PMID 12584072.
^ ^а ^б Хэмблтон, Р., Сваминатан, Х., Роджерс, Х. (1991). Основы теории отклика на предмет. Ньюбери-Парк, Калифорния: Sage Publications, Inc.

дальнейшее чтение

Грегори, Роберт Дж. (2011). Психологическое тестирование: история, принципы и применение (Шестое изд.). Бостон: Аллин и Бэкон. ISBN 978-0-205-78214-7. Сложить резюме (7 ноября 2010 г.).CS1 maint: ref = harv (связь)
Хоган, Томас П .; Брук Кэннон (2007). Психологическое тестирование: практическое введение (Второе изд.). Хобокен (Нью-Джерси): John Wiley & Sons. ISBN 978-0-471-73807-7. Сложить резюме (21 ноября 2010 г.).CS1 maint: ref = harv (связь)

внешняя ссылка

[1] Национальный совет по измерениям в образовании http://www.ncme.org/ncme/NCME/Resource_Center/Glossary/NCME/Resource_Center/Glossary1.aspx?hkey=4bb87415-44dc-4088-9ed9-e8515326a061#anchorC В архиве 2017-07-22 в Wayback Machine

[2] Трауб, Р. (1997). Классическая теория тестов в исторической перспективе. Образовательные измерения: проблемы и практика 16 (4), 8–14. DOI: DOI: 10.1111 / j.1745-3992.1997.tb00603.x

[Lei2007-3] Пуй-Ва Лей и Цюн Ву (2007). "CTTITEM: макрос SAS и синтаксис SPSS для классического анализа элементов" (PDF). Методы исследования поведения. 39 (3): 527–530. Дои:10.3758 / BF03193021. PMID 17958163.^{[постоянная мертвая ссылка ]}

[4] Штрайнер, Д. Л. (2003). «Начиная с начала: введение в коэффициент альфа и внутреннюю согласованность». Журнал оценки личности. 80 (1): 99–103. Дои:10.1207 / S15327752JPA8001_18. PMID 12584072.

[Hambleton,_R._1991-5] а ^б Хэмблтон, Р., Сваминатан, Х., Роджерс, Х. (1991). Основы теории отклика на предмет. Ньюбери-Парк, Калифорния: Sage Publications, Inc.

[1]

[2]

[3]

[4]

[5]