Теория обобщаемости - Generalizability theory
 | Эта статья требует внимания специалиста по статистике. (Февраль 2017 г.) |
 | Эта статья включает в себя список общих Рекомендации, но он остается в основном непроверенным, потому что ему не хватает соответствующих встроенные цитаты. (Август 2012 г.) (Узнайте, как и когда удалить этот шаблон сообщения) |
Теория обобщаемости, или же Теория G, представляет собой статистическую основу для концептуализации, исследования и проектирования надежных наблюдения. Он используется для определения надежность (т.е. воспроизводимость) измерений при определенных условиях. Это особенно полезно для оценки надежности оценок производительности. Первоначально он был представлен в Кронбах, Л.Дж., Nageswari, R., & Gleser, G.C. (1963).
Обзор
В теории G источники вариации называются грани. Фасеты похожи на "факторы", используемые в дисперсионный анализ, и может включать людей, оценщиков, элементы / формы, время и настройки среди других возможностей. Эти аспекты являются потенциальными источниками ошибок, и цель теории обобщаемости состоит в том, чтобы количественно оценить количество ошибок, вызванных каждым аспектом и взаимодействием аспектов. Полезность данных, полученных в результате исследования G, в решающей степени зависит от дизайна исследования. Следовательно, исследователь должен тщательно продумать способы, которыми он / она надеется обобщить какие-либо конкретные результаты. Важно ли переходить от одной настройки к большему количеству настроек? От одного оценщика к большему количеству оценщиков? От одного набора предметов к большему набору предметов? Ответы на эти вопросы будут варьироваться от одного исследователя к другому и будут влиять на дизайн исследования G по-разному.
В дополнение к решению, какие аспекты обычно желает изучить исследователь, необходимо определить, какой аспект будет служить объектом измерения (например, систематический источник отклонений) в целях анализа. Остальные представляющие интерес аспекты затем рассматриваются как источники ошибок измерения. В большинстве случаев объектом измерения будет человек, которому присвоен номер / балл. В других случаях это может быть группа или исполнители, такие как команда или класс. В идеале, почти вся измеренная дисперсия будет относиться к объекту измерения (например, индивидуальные различия), и только незначительная дисперсия будет относиться к остальным аспектам (например, оценщику, времени, настройке).
Результаты исследования G также могут быть использованы для принятия решения или исследования D. В исследовании D мы можем задать гипотетический вопрос: «Что бы произошло, если бы различные аспекты этого исследования были изменены?» Например, компания по производству безалкогольных напитков может быть заинтересована в оценке качества нового продукта с использованием шкалы оценки потребителей. Используя исследование D, можно было бы оценить, как изменится согласованность оценок качества, если потребителям будет задано 10 вопросов вместо 2 или если 1000 потребителей оценили безалкогольный напиток вместо 100. Используя моделируемые исследования D, следовательно, можно исследовать, как коэффициенты обобщаемости (аналогичные коэффициентам надежности в Классическая теория тестирования ) может измениться при различных обстоятельствах и, следовательно, определить идеальные условия, при которых наши измерения будут наиболее надежными.
Сравнение с классической теорией тестирования
В центре внимания классическая теория тестирования (CTT) - определение погрешности измерения. Пожалуй, самая известная модель CTT - это уравнение , где X - наблюдаемая оценка, T - истинная оценка, а e - ошибка измерения. Несмотря на то что е может представлять множество различных типов ошибок, таких как ошибка рейтера или прибора, CTT позволяет нам оценивать только один тип ошибки за раз. По сути, он объединяет все источники ошибок в один термин ошибки. Это может быть подходящим в контексте строго контролируемых лабораторных условий, но вариативность является частью повседневной жизни. В полевых исследованиях, например, нереально ожидать, что условия измерения останутся постоянными. Теория обобщаемости признает и допускает вариативность условий оценки, которые могут повлиять на измерения. Преимущество теории G заключается в том, что исследователи могут оценить, какая доля общей дисперсии результатов связана с отдельными факторами, которые часто различаются в оценке, такими как обстановка, время, вопросы и участники исследования.
Еще одно важное различие между CTT и теорией G заключается в том, что последний подход учитывает, как последовательность результатов может измениться, если мера используется для принятия абсолютных или относительных решений. Примером абсолютного решения или решения, основанного на критериях, может быть сравнение результатов теста человека с пороговым значением для определения права на участие или диагноза (т. Е. Оценка ребенка на тесте достижений используется для определения права на участие в программе для одаренных детей. ). Напротив, примером относительного или ориентированного на норму решения может быть случай, когда результат теста человека используется для (а) определения относительного положения по сравнению с его / ее сверстниками (т. Е. Используется оценка ребенка по подтесту чтения. для определения того, в какую группу чтения он / она помещен), или (b) провести внутрииндивидуальные сравнения (т.е. сравнить предыдущие и текущие результаты одного и того же человека). Тип решения, которое интересует исследователя, будет определять, какую формулу следует использовать для расчета коэффициента обобщаемости (аналогично коэффициенту надежности в CTT).
Примечания
Рекомендации
- Бреннан, Р. Л. (2001). Теория обобщаемости. Нью-Йорк: Springer-Verlag.
- Чиу, C.W.C. (2001). Балльная оценка результатов деятельности на основе суждений: теория обобщаемости. Нью-Йорк: Клувер.
- Крокер, Л., и Альгина, Дж. (1986). Введение в классическую и современную теорию тестирования. Нью-Йорк: Харкорт Брейс.
- Кронбах, Л.Дж., Глезер, Г.К., Нанда, Х., и Раджаратнам, Н. (1972). Надежность поведенческих измерений: теория обобщаемости оценок и профилей. Нью-Йорк: Джон Вили.
- Кронбах, L.J., Nageswari, R., & Gleser, G.C. (1963). Теория обобщаемости: освобождение теории надежности. Британский журнал статистической психологии, 16, 137-163.
- Шраут П. Э. и Флейсс Дж. Л. (1979). Внутриклассовые корреляции: используются при оценке надежности оценщика. Психологический бюллетень, 86 (2), 420–428. DOI: 10.1037 / 0033-2909.86.2.420
- Шавелсон, Р.Дж., и Уэбб, Н.М. (1991). Теория обобщаемости: учебник. Таузенд-Оукс, Калифорния: Сейдж.