Оценка коллег - Википедия - Peer assessment

Оценка коллег, или же самооценка, это процесс, при котором учащиеся или их сверстники оценивают задания или тесты на основе ориентиры.^[1] Эта практика используется, чтобы сэкономить время учителей и улучшить понимание студентами материалов курса, а также улучшить их метакогнитивный навыки. Рубрики часто используются вместе с самооценкой и оценкой коллег.^[2]

Преимущества самооценки и оценки коллег

Экономит время учителей

Задания учеников могут сэкономить время учителя^[3] потому что весь класс можно поставить вместе за время, которое потребуется учителю, чтобы оценить одну работу. Более того, вместо того, чтобы заставлять учителя торопиться с каждой работой, учащиеся могут не торопиться, чтобы исправить их. Студенты могут тратить больше времени на работу, потому что им нужно поставить только одну оценку и, следовательно, они могут выполнять работу более тщательно.^[4]

Более быстрая обратная связь

Просьба учащихся оценивать работы в классе или оценивать устные презентации своих сверстников.^[5] уменьшает время, необходимое учащимся для получения отзывов. Вместо того, чтобы ждать отзывов о своей работе, самооценка и коллегиальная оценка позволяют оценивать задания вскоре после завершения. Тогда студентам не нужно ждать, пока они перейдут к новому материалу, и информация больше не будет свежей в их сознании.^[6]

Было также показано, что более быстрое время обработки обратной связи увеличивает вероятность принятия ее получателем. Контролируемый эксперимент, проведенный в режиме массового открытого онлайн-курса (MOOC), показал, что итоговые оценки учащихся улучшаются, если обратная связь предоставляется быстро, но не при задержке на 24 часа.^[7]

Педагогический

Роль учителя по оценке заставляет учеников больше сосредотачиваться на оценках, не ища отзывов.^[8] Студенты могут учиться, оценивая работы^[6] или оценка устных презентаций других.^[9] Часто учителя не повторяют ответы на тесты и не дают ученикам узнать, что они сделали не так. Самооценка и оценка коллег позволяют учителям помочь ученикам понять ошибки, которые они сделали. Это улучшит последующую работу и даст студентам время для усвоения информации и может привести к лучшему пониманию.^[10] Исследование, проведенное Сэдлером и Гудом, показало, что ученики, которые самостоятельно оценивали свои тесты, лучше справлялись с последующими тестами. Студенты могли видеть, что они сделали неправильно, и могли исправлять такие ошибки в последующих заданиях. После выставления оценок ученики не обязательно добивались более высоких результатов.^[11]

Метакогнитивный

Благодаря самооценке и оценке со стороны коллег студенты могут видеть ошибки в своем мышлении и исправлять любые проблемы в будущих заданиях. Оценивая задания, учащиеся могут узнать, как более точно выполнять задания и как улучшить результаты своих тестов.^[6]

Профессора Лин-Аглер, Мур и Забруцки провели эксперимент, в ходе которого они обнаружили, что «студенты могут использовать свой предыдущий опыт подготовки и сдачи теста, чтобы помочь им установить связь между распределением времени на обучение».^[12] Учащиеся могут не только улучшить свои способности к подготовке к тесту после участия в самооценке и оценке со стороны коллег, но и повысить свою способность оценивать других посредством улучшенного метакогнитивного мышления.^[13]

Отношение

Если будет реализована самооценка и оценка со стороны сверстников, учащиеся смогут увидеть тесты не как наказание, а как полезную обратную связь.^[13] Хэл Малехорн говорит, что, используя оценку сверстниками, одноклассники могут работать вместе для «общего интеллектуального благополучия» и что это может создать для учащихся «атмосферу сотрудничества» вместо той, в которой учащиеся соревнуются за оценки.^[14] Кроме того, когда студенты оценивают работы своих сокурсников, они также размышляют над своими собственными работами. Этот рефлексивный процесс стимулирует действия по улучшению.^[15]

Однако в деле Верховного суда Независимый школьный округ Овассо против Фалво, школе был предъявлен иск после преследования человека после того, как другие учащиеся узнали, что он получил низкий балл на тестах.^[16] Малехорн пытается показать, что идеализированная версия взаимного оценивания может сделать для отношения в классе. На практике ситуации, когда студенты становятся жертвами, могут иметь место, как это видно в деле Верховного суда.

Соглашение об оценке учителем

Одна из проблем, связанных с самооценкой и оценкой со стороны коллег, заключается в том, что учащиеся могут ставить более высокие оценки, чем учителя. Учителя хотят сократить время выставления оценок, но не за счет потери точности.^[17]

Поддерживать

Исследование Saddler and Good показало, что между оценками, выставленными учителями и учениками, существует высокий уровень согласия, если ученики способны понимать требования учителя к качеству. Они также сообщают, что оценка учителей может быть более точной в результате использования самооценки и оценки коллег. Если учителя смотрят, как учащиеся выставляют оценки, у них будет больше информации, из которой можно выставить более точную оценку.^[18]

Оппозиция

Однако Сэддлер и Гуд предупреждают, что есть некоторые разногласия. Они предлагают учителям внедрить системы умеренной оценки учащихся, чтобы выявить неудовлетворительную работу.^[18] Другое исследование сообщило, что инфляция оценок действительно происходило, поскольку ученики, как правило, оценивали себя выше, чем учитель. Это предполагает, что самооценка и коллегиальная оценка не являются точным методом выставления оценок из-за несовпадения результатов.^[19]

Сравнение

Согласно исследованию Сэддлера и Гуда, учащиеся, оцениваемые сверстниками, как правило, не успевают, а учащиеся, получившие оценку самостоятельно, имеют тенденцию к завышению. Тем не менее, подавляющее большинство учеников все же набирают 5% от оценки учителя. Относительно мало учащихся-самогонщиков недооценивают, а сравнительно мало учащихся-сверстников склонны к преувеличению.^[17]

Возможно, одну из самых ярких моделей взаимной оценки можно найти в дизайн-студиях.^[20][21] Одно из преимуществ таких студий заключается в структурированных контрастах, которые могут помочь новичкам заметить различия, которые в противном случае могли бы быть доступны только для экспертов.^[22] На самом деле, это хорошо известная стратегия дизайнеров - использовать сравнения для вдохновения.^[23][24] Некоторые исследователи разработали системы, поддерживающие сравнительные примеры, чтобы выявить полезные сравнения в образовательных учреждениях.^[25][26][27] Однако остается неясным, что делает сравнение хорошим; Общее руководство по хорошей обратной связи Сэдлера описывает три характеристики: конкретную, действенную и обоснованную,^[28] и широко используется в исследованиях обратной связи. Однако, поскольку каждая часть работы, подлежащей оценке, настолько различается по содержанию, путь к этим качествам в конкретном исполнении обратной связи остается в значительной степени неизвестным. Эффективная обратная связь не только написана конкретно и обоснованно, но и, что более важно, содержит хорошее содержание; хороший в том смысле, что он указывает на важные вещи, приносит новые идеи и заставляет своих получателей взглянуть на проблему под другим углом или полностью заново представить ее. Это требует настройки для конкретного содержимого.

Рубрики

Цель

Учащимся необходимо следовать инструкциям, прежде чем они смогут ставить оценки по другим открытым вопросам. Они часто бывают в виде рубрики, в которых изложены разные цели и сколько стоит каждая при выставлении оценок.^[13] Рубрики часто используются для написания заданий.^[29]

Примеры целей

• Выражение идей
• Организация содержания
• Оригинальность
• Знание предмета
• Содержание
• Согласование учебной программы
• Баланс
• Голос

Групповая работа

Одна из сфер применения самооценки и взаимной оценки - это групповые проекты. Учителя могут ставить проекту итоговую оценку, но им также необходимо определить, какой оценки заслуживает каждый человек в группе. Учащиеся могут выставлять оценки своим сверстникам, и индивидуальные оценки могут быть основаны на этих оценках. Тем не менее, есть проблемы с этим методом выставления оценок: если ученики выставляют друг друга несправедливо, они могут исказить оценки.^[30]

Чрезмерная щедрость

Некоторые студенты могут поставить всем другим студентам очень высокие оценки, что приведет к снижению их оценок по сравнению с другими. Эту проблему можно решить, попросив учащихся поставить себе оценку, и, таким образом, их щедрость распространится и на самих себя и повысит их оценку на ту же величину. Однако это не компенсирует учащимся, которые выставляют себе слишком суровые оценки.^[31]

Творческий учет

Некоторые студенты ставят всем низкие оценки, а себе очень высокие оценки, чтобы исказить данные. Этому можно противостоять, проверив оценки учеников и убедившись, что они соответствуют тому, в какой группе их оценили их сверстники.^[32]

Индивидуальные штрафы

Если все учащиеся выступят против одного учащегося, потому что считают, что этот человек мало работал, то он или она получит очень низкую оценку. Это допустимо, если рассматриваемый ученик действительно проделал очень мало работы, но за подобными случаями следует внимательно следить.^[32]

Участие в классе

Несмотря на то, что сложно выставить оценки учащимся по участию в классе из-за его субъективного характера, одним из методов оценки участия является использование самооценки и оценки со стороны коллег. Профессора Райан, Маршалл, Портер и Джиа провели эксперимент, чтобы убедиться, что использование учащихся для оценки участия было эффективным. Они обнаружили, что существует разница между оценкой участия учителя и оценки ученика. Тем не менее, это не имело академического значения, что указывало на то, что на итоговые оценки ученика не влияла разница в оценке учителя и ученика. Они пришли к выводу, что самооценка и оценка коллег - эффективный способ оценить участие в классе.^[33]

Оценка коллег в масштабе

Механизм коллегиальной оценки также является золотым стандартом при решении многих творческих задач, от проверки качества научных статей до грантовых предложений дизайн-студий. Однако по мере увеличения количества оценок, которые необходимо сделать, возникают проблемы. Во-первых, поскольку никто, предоставляющий оценку, не имеет глобального понимания всего пула представленных материалов, могут быть внесены местные предубеждения в суждениях (например, диапазон шкалы, используемой для оценки, может зависеть от пула представлений, рассмотренных оценщиком) и шумами. в рейтинг, агрегированный на основе индивидуальной экспертной оценки, может быть добавлен. С другой стороны, поскольку ранжированный результат представляет наибольший интерес во многих ситуациях (например, выделение исследовательских грантов на заявки или присвоение буквенных оценок студентам), способы систематического агрегирования взаимной оценки для восстановления ранжированного порядка представлений имеют много практических последствий. .

Чтобы решить эту проблему, некоторые исследователи изучили (1) схемы оценивания (например, порядковый номер,^[34] (2) алгоритмы агрегирования попарной оценки для более надежной оценки глобального ранжирования представленных материалов,^[35] и (3) создавать более оптимальные пары для обмена обратной связью либо с учетом конфликта интересов.^[36] или (4) путем моделирования структуры, которая уменьшает ошибку между суждениями на индивидуальном и общественном уровне о ценности научной статьи.^[37]

Законность

Законность самооценки и оценки коллег была оспорена в Верховном суде по делу Независимый школьный округ Овассо против Фалво. Кристья Фалво подала в суд на школьный округ, в котором учился ее сын, за то, что там использовалась методика взаимной оценки, и его дразнили низким баллом. Суд поддержал право учителя на самооценку и оценку со стороны коллег.^[38]

Примечания

Рекомендации

• Андраде, Хайди и Ин Ду «Ответы учащихся на самооценку на основе критериев». Оценка и оценка в высшем образовании 32.2 (2007): 159–181.
• Гопинатх, К. «Альтернативы оценке участия в классе преподавателем». Журнал «Образование для бизнеса» 75,1 (1999): 10.
• Ли, Лоуренс К. Ю. «Некоторые уточнения взаимной оценки групповых проектов». Оценка и оценка в высшем образовании 26.1 (2001): 5–18.
• Лин-Аглер, Линь Мяо, ДеВэйн Мур и Карен М. Забруцки «ВЛИЯНИЕ ЛИЧНОСТИ НА МЕТАКОГНИТИВНЫЕ САМООЦЕНКИ». Журнал студента колледжа 38.3 (2004): 453–461.
• Малехорн, Хэл "Десять мер лучше, чем оценка". Информационный центр 67.6 (1994): 323.
• Мок, Магдалена Мо Чинг и др. «Самооценка в высшем образовании: опыт использования метакогнитивного подхода в пяти тематических исследованиях». Оценка и оценка в высшем образовании 31.4 (2006): 415–433.
• Нгар-Фан, Лю и Дэвид Карлесс «Обратная связь между сверстниками: обучающий элемент взаимной оценки». Преподавание в системе высшего образования 11.3 (2006 г.): 279–290.
• Райан, Джина Дж. И др. «Сверстник, профессор и самооценка участия в классе». Активное обучение в высшем образовании 8.1 (2007): 49–61.
• Сэдлер, Филип М. и Эдди Гуд «Влияние самооценки и оценки сверстниками на обучение студентов». Оценка образования 11.1 (2006): 1–31.
• Сирби, Майк и Тим Эверс "Оценка использования взаимной оценки в высшем образовании: тематическое исследование в Музыкальной школе" Оценка и оценка в высшем образовании 22.4 (1997): 371.
• Стронг, Брент, Марк Дэвис и Вэл Хоукс «САМООЦЕНКА НА КРУПНЫХ КЛАССАХ ОБЩЕГО ОБРАЗОВАНИЯ». Обучение в колледже 52,2 (2004): 52–57.
• ван ден Берг, Инеке, Вильфрид Адмираал и Альберт Пилот «Оценка коллег в университетском обучении: оценка дизайна семи курсов». Оценка и оценка в высшем образовании 31.1 (2006): 19–36.
• Раман, Картик и Торстен Иоахимс. «Методы порядкового равного оценивания». Материалы 20-й международной конференции ACM SIGKDD по открытию знаний и интеллектуальному анализу данных. ACM, 2014.
• Чен, Си и др. «Агрегирование попарного ранжирования в условиях краудсорсинга». Материалы шестой международной конференции ACM по веб-поиску и интеллектуальному анализу данных. ACM, 2013.
• Коттури, Ясмин и др. «Преодоление конфликта интересов: алгоритмы и интерфейсы для беспристрастной оценки партнеров». 2013.
• Нутигатту, Ритеш, Нихар Б. Шах и Ариэль Д. Прокачча. «Выбор того, как выбирать бумаги». Препринт arXiv arXiv: 1808.09057 (2018).
• Кулкарни, Чинмей Э., Майкл С. Бернштейн и Скотт Р. Клеммер. «PeerStudio: быстрая обратная связь с коллегами делает упор на пересмотр и улучшает производительность». Материалы второй (2015) конференции ACM по обучению @ scale. ACM, 2015.
• Даннелс, Дина П. и Келли Норрис Мартин. «Критика критики: жанровый анализ отзывов от новичков к опытным дизайн-студиям». Журнал деловых и технических коммуникаций 22.2 (2008): 135-159.
• Шварц, Дэниел Л., Джессика М. Цанг и Кристен П. Блэр. Азбука того, как мы учимся: 26 научно проверенных подходов, как они работают и когда их использовать. WW Norton & Company, 2016.
• Херринг, Скарлетт Р. и др. «Вдохновение !: понимание того, как и почему примеры используются в практике творческого дизайна». Труды конференции SIGCHI по человеческому фактору в вычислительных системах. ACM, 2009.
• Ньюман, Марк У. и Джеймс А. Лэнди. «Карты сайта, раскадровки и спецификации: набросок практики дизайна веб-сайтов». Материалы 3-й конференции «Проектирование интерактивных систем: процессы, практики, методы и приемы». ACM, 2000.
• Камбр, Джулия, Скотт Клеммер и Чинмей Кулкарни. «Juxtapeer: сравнительная экспертная оценка дает более качественную обратную связь и способствует более глубокому анализу». Материалы конференции CHI 2018 по человеческому фактору в вычислительных системах. ACM, 2018.
• Канг, Хёнсу Б. и др. «Paragon: онлайн-галерея для улучшения обратной связи с дизайном с помощью наглядных примеров». Материалы конференции CHI 2018 по человеческому фактору в вычислительных системах. ACM, 2018.
• Поттер, Тиффани и др. «ComPAIR: новый онлайн-инструмент, использующий адаптивное сравнительное суждение для поддержки обучения с обратной связью». Вопросы преподавания и обучения 5.2 (2017): 89-113.
• Сэдлер, Д. Ройс. «Формирующее оценивание и дизайн учебных систем». Педагогическая наука 18.2 (1989): 119-144.
• Гольдшмидт, Габриэла, Хагай Хохман и Итай Дафни. «Студия дизайна« Крит »: общение учитель – ученик». AI ЭДАМ 24.3 (2010): 285-302.

дальнейшее чтение

• Карлесс, Дэвид, Превосходство в оценке университетов: учимся на отмеченной наградами практике, Лондон: Рутледж, 2015. ISBN  9781317580720 (рассмотрение Инь Чжан в Высшее образование, Июнь 2015, Springer)