Нормативное исследование - Standard-setting study

Нормативное исследование официальное исследование, проведенное организацией, спонсирующей тесты чтобы определить оценку теста. Чтобы быть юридически защищенным в США, в частности, для оценки с высокими ставками, и познакомьтесь с Стандарты образовательного и психологического тестирования, оценка не может быть определена произвольно; это должно быть обосновано эмпирически. Например, организация не может просто решить, что оценка будет правильной на 70%. Вместо этого проводится исследование, чтобы определить, какой балл лучше всего различает классификацию испытуемых, например, компетентный или некомпетентный. Такие исследования требуют значительных ресурсов с привлечением ряда профессионалов, в частности, с психометрическим образованием. По этой причине исследования по установлению стандартов непрактичны для обычных учебных аудиторий, однако на каждом уровне образования устанавливаются стандарты и существует несколько методов.

Стандартные исследования обычно проводятся с использованием фокус-групп из 5-15 экспертов в предметной области, которые представляют ключевые заинтересованные стороны для тестирования. Например, при установке сокращенных баллов для образовательного тестирования эксперты могут быть инструкторами, знакомыми с возможностями учащихся для прохождения теста.

Типы нормативных исследований

Исследования по установлению стандартов делятся на две категории: ориентированные на предметы и ориентированные на человека. Примеры методов, ориентированных на элемент, включают Angoff, Ebel, Nedelsky,[1] Закладки и сопоставления идентификаторов, а примеры личностно-ориентированных методов включают подходы Borderline Survey и Contrasting Groups. Они так категоризированы по фокусу анализа; в исследованиях, ориентированных на элементы, организация оценивает элементы применительно к данной популяции людей, и наоборот для исследований, ориентированных на человека.

Исследования, ориентированные на предметы, связаны с критериальные тесты и чтобы нормативные тесты.

Исследования, ориентированные на предметы

  • Метод Ангоффа[2] (по заданию): для этого метода требуется собрать группу экспертов в предметной области (SME), которых просят оценить каждый пункт и оценить долю минимально компетентных испытуемых, которые правильно ответят на этот вопрос. Оценки усредняются по каждому пункту, а затем суммируются, чтобы получить рекомендованный группой необработанный результат. Затем этот сокращенный результат представляет собой оценку, которую, по оценке комиссии, получит минимально компетентный кандидат. Это, конечно, зависит от предубеждения в принятии решений такой как самоуверенность предвзятость. Предпочтительна калибровка с другими, более объективными источниками данных. Существует несколько вариантов метода.
  • Модифицированный метод Ангоффа (по элементам): Эксперты в предметной области, как правило, знакомятся с методом Ангоффа и им разрешается проходить тест с учетом уровней производительности. Затем МСП просят предоставить оценки по каждому вопросу доли пограничных или «минимально приемлемых» участников, которые, по их мнению, ответят правильно. Как правило, оценки представлены в виде p-значения (например, 0,6 для пункта 1: 60% проходящих границу участников ответили бы на этот вопрос правильно). Как правило, проводится несколько раундов, когда МСП разрешается изменять свои оценки с учетом различных типов информации (например, информации о фактических результатах работы участников по каждому вопросу, других оценок МСП и т. Д.). Затем производится окончательное определение сокращенной оценки (например, путем усреднения оценок или взятия медианы). Этот метод обычно используется с вопросами с несколькими вариантами ответов.
  • Дихотомический модифицированный метод Ангофа (по элементам): в дихотомическом модифицированном подходе Ангоффа вместо использования статистики типа уровня сложности (обычно p-значения) МСП просят просто указать 0/1 для каждого вопроса («0», если пограничный приемлемый участник будет неправильно задали вопрос и «1», если погранично приемлемый участник получил бы задание правильно)
  • Метод Недельского (по пунктам): МСП принимают решения по каждому вопросу, в зависимости от того, какие из вопросов, отвлекающих внимание пограничных участников, могли бы устранить как неправильные. Этот метод обычно используется только с вопросами с несколькими вариантами ответов.
  • Закладка Метод (по элементам): элементы теста (или репрезентативного подмножества элементов) отсортированы по сложности (например, значению вероятности ответа IRT) от самого простого к самому сложному. SME размещают «закладку» в «буклете заказанных элементов», чтобы от учащегося, находящегося на пороге уровня успеваемости, можно было ожидать, что он успешно ответит на элементы, предшествующие закладке, с вероятностью, равной или большей, чем указанное значение вероятности ответа. (и с вероятностью меньше этого значения для элементов после закладки). Например, для вероятности ответа 0,67 (RP67) малые и средние предприятия разместят закладку так, чтобы экзаменуемый на пороге уровня успеваемости имел, по крайней мере, 2/3 вероятности успеха по заданиям до закладки и менее 2/3 вероятности успеха по элементам после закладки «Этот метод считается эффективным в отношении установки нескольких оценок сокращения в одном тесте и может использоваться с тестами, состоящими из нескольких типов элементов (например, множественный выбор, построение ответа, так далее.).[3][4][5]
  • Соответствие дескриптора элемента (ID) [6] (по центру элемента): Сопоставление идентификаторов (а) сочетает в себе преимущества метода закладок; то есть книгу заказанных элементов и информацию об эмпирической сложности элементов, передаваемую в этом порядке; и (б) гипотетическая более низкая когнитивная сложность и когнитивная нагрузка других методов; то есть не требуется вероятностных суждений, подверженных ошибкам;[7] сопоставление характеристик предметов с характеристиками описаний уровней достижений, что хорошо подходит для людей в целом,[8] и особенно знаниям и опыту преподавателей; и нет необходимости держать в уме пограничного экзаменуемого при вынесении заключения.

Личностно-ориентированные исследования

В исследованиях, ориентированных на человека, оценивают самих экзаменуемых, а не элементы, по которым выделяются компетентные кандидаты. Хотя это может показаться более подходящим, это часто бывает сложнее, потому что испытуемые не являются связанной популяцией, как список предметов. Например, если новый тест выходит в отношении нового контента (как часто бывает в информационные технологии tests), тест может быть предоставлен исходной выборке, называемой бета-выборкой, вместе с обзором профессиональных характеристик. Затем тестирующая организация может проанализировать и оценить взаимосвязь между результатами тестов и важной статистикой, такой как навыки, образование и опыт. Оценку можно установить как оценку, которая лучше всего различает тех экзаменуемых, которых охарактеризовали как «сдавших», и тех, кто «не сдал».

  • Метод пограничных групп (ориентировано на человека): описание подготовлено для каждой категории производительности. МСП просят представить список участников, результаты которых на тесте должны быть близки к стандарту производительности (пограничный уровень). Тест проводится для этих пограничных групп, и средний балл теста используется в качестве сокращенного балла. Этот метод можно использовать практически с любым типом вопросов (например, с множественным выбором, множественным ответом, эссе и т. Д.).
  • Метод контрастных групп (ориентированный на человека): МСБ просят распределить участников по классам в соответствии с описанием категорий эффективности. Тест проводится для всех участников, распределенных по категориям, и сравниваются распределения результатов теста для каждой из групп. Где пересекаются распределения контрастирующих групп, это то место, где будет располагаться сокращенная оценка. Этот метод можно использовать практически с любым типом вопросов (например, с множественным выбором, множественным ответом, эссе и т. Д.).

Рекомендации

  1. ^ Недельский, Л. (1954). Абсолютные стандарты оценки объективных тестов. Образовательные и психологические измерения, 14, 3–19.
  2. ^ Зики, М.Дж. (2001). Так много изменилось: как изменились настройки срезов с 1980-х годов. В Cizek, G.J. (Ред.), Установка стандартов производительности, п. 19-52. Махва, Нью-Джерси: Лоуренс Эрлбаум Ассошиэйтс.
  3. ^ Льюис, Д. М., Мицель, Х. К., Грин, Д. Р. (июнь 1996 г.). Стандартные настройки: подход с закладками. В Д. Р. Грин (председатель), Процедуры установления стандартов на основе IRT с использованием поведенческой привязки. Документ, представленный на Национальной конференции Совета директоров государственных школ по крупномасштабной оценке в 1996 г., Феникс, Аризона.
  4. ^ Мицель, Х. С., Льюис, Д. М., Патц, Р. Дж., И Грин, Д. Р. (2000). Процедура закладки: когнитивные перспективы установления стандартов. Глава в Установлении стандартов эффективности: концепции, методы и перспективы (Г. Дж. Чижек, ред.). Махва, Нью-Джерси: Лоуренс Эрлбаум Ассошиэйтс.
  5. ^ Льюис, Д. М., Мицель, Х. К., Меркадо, Р. Л., и Шульц, Э. М. (2012). Стандартная процедура установки закладок. Глава в Установлении стандартов эффективности: основы, методы и инновации, второе издание (под ред. Г. Дж. Чижека). Махва, Нью-Джерси: Лоуренс Эрлбаум Ассошиэйтс.
  6. ^ Феррара, С., и Льюис, Д. (2012). Метод сопоставления дескриптора элемента (ID). В Г. Дж. Чижек (ред.), Установление стандартов производительности: основы, методы и инновации (2-е изд., Стр. 255-282).
  7. ^ Никерсон, Р. С. (2005). Познание и шанс: психология вероятностного мышления. Махва, Нью-Джерси: Лоуренс Эрлбаум Ассошиэйтс.
  8. ^ Мерфи, Г. Л. (2002). Большая книга концепций. Кембридж, Массачусетс: MIT Press