stringtranslate.com

Лес Перельман

Лесли Купер Перельман — американский ученый и авторитет в области письменного оценивания. [1] [2] [3] Он критикует автоматизированную систему оценки эссе (AES), [4] [5] и повлиял на решение Совета колледжа о прекращении письменной секции SAT . [6]

Перельман в настоящее время является научным сотрудником Массачусетского технологического института (MIT). [7] Перельман преподавал письмо и композицию в Массачусетском технологическом институте, где он работал директором по письму в рамках учебной программы и заместителем декана бакалавриата. [8] Он был членом исполнительного комитета Конференции по составу колледжей и коммуникациям . [9] и сопредседателем Комитета по оценке. [10]

Обучение

Перельман преподавал и руководил программами письма в Университете Тулейна и Университете Южной Калифорнии. В Массачусетском технологическом институте он преподавал письмо и композицию, а также работал директором по письму в рамках учебной программы и заместителем декана в отделе додипломного образования. [8]

Критика оценки эссе

СИДЕЛ

После исследования в 2005 году образцов эссе, а также оцененных эссе, предоставленных Советом колледжа для справки по письменной части SAT, Перельман сообщил о высокой корреляции между длиной эссе и баллом. Он также отметил, что эссе не были наказаны за какие-либо фактические неточности. [11]

В 2013 году Перельман встретился с Дэвидом Коулманом, новым президентом совета колледжа, и результатом этого разговора стало решение Коулмана отменить обязательную секцию письма SAT. [12]

Автоматический подсчет очков

В 2012 году Перельман продемонстрировал, что длинные, претенциозные эссе могут получить более высокие оценки в системе оценки ETS e-Rater, в отличие от хорошо написанных эссе. [13] В 2014 году Перельман в сотрудничестве со студентами Массачусетского технологического института и Гарварда разработал BABEL, генератор «базового автоматического языка эссе BS». Утверждается, что бессмысленные эссе, созданные BABEL, хорошо оцениваются системой AES. Автоматизированные оценщики, утверждает Перельман, «не могут читать смысл и не могут проверять факты. Более того, они не могут отличить тарабарщину от ясного письма». [14] Работа Перельмана цитируется NCTE в их Позиции по машинному подсчету очков, в которой выражается аналогичная обеспокоенность по поводу ограничений AES:

Компьютерные системы оценки могут быть «игровыми», потому что они плохо работают с человеческим языком, что еще больше ослабляет достоверность их оценок и разделяет учащихся не на основе навыков письма, а на основе того, знают ли они и могут ли они использовать стратегии машинного обмана. [15]

Влияние на австралийское образовательное тестирование

В течение 2017–2018 годов Федерация учителей Нового Южного Уэльса поручила Перельману написать три отчета [16] [17] [18] для оказания помощи в усилиях по реформированию национальной системы оценки начальной и средней школы Австралии, Национальной программы оценки - грамотность и умение считать. (НАПЛАН). Его работа стала основным фактором, повлиявшим на решение Национального совета по образованию отменить решение Федерального министра образования и предотвратить использование автоматизированной системы оценки эссе для письменной части тестов NAPLAN. [19]

Рекомендации

  1. ^ «Тест NAPLAN по письму« странный », но вот как дети могут получить высшие оценки» . Новости АВС . 8 апреля 2018 г.
  2. ^ "Bientôt, les devoirs seront Notes par des Machines" .
  3. ^ «Оценка эссе с помощью программного обеспечения ошибочна, «практически невозможна», - говорит эксперт» .
  4. ^ «Постройте достоверность, длину, балл и время в целостных письменных оценках: аргументы против автоматизированной оценки эссе (AES)» (PDF) . Информационный центр WAC . Проверено 14 июня 2015 г.
  5. ^ «Генератор BABEL и E-Rater: письменные конструкции 21 века и автоматизированная оценка эссе (AES)» .
  6. ^ «Человек, который убил эссе SAT» . Бостон Глобус . Проверено 14 июня 2015 г.
  7. ^ "Справочник людей" . Массачусетский Институт Технологий . Проверено 11 июня 2015 г.
  8. ^ аб "iMOAT". Массачусетский Институт Технологий . Проверено 11 июня 2015 г.
  9. ^ «Офицеры и исполнительный комитет CCCC 2015» . Национальный совет преподавателей английского языка . Проверено 11 июня 2015 г.
  10. ^ «Комитет по оценке (ноябрь 2016 г.)» . Национальный совет преподавателей английского языка . Проверено 29 июля 2016 г.
  11. ^ Winerip, Майкл (4 мая 2005 г.). «Тест SAT Essay вознаграждает за длину и игнорирует ошибки». Нью-Йорк Таймс . Проверено 11 июня 2015 г.
  12. ↑ Балф, Тодд (6 марта 2014 г.). «История капитального ремонта SAT». Нью-Йорк Таймс . Проверено 5 апреля 2015 г.
  13. ^ Winerip, Майкл (22 апреля 2012 г.). «Столкнуться с роботом-оценщиком? Просто продолжайте сладко запутывать» . Нью-Йорк Таймс . Проверено 5 апреля 2013 г.
  14. ↑ Колович, Стив (28 апреля 2014 г.). «Инструктор по письму, скептически относящийся к автоматизированной оценке, машина для ям против машины». Хроника высшего образования . Проверено 11 июня 2015 г.
  15. ^ «Заявление о позиции NCTE по оценке машин» . Национальный совет преподавателей английского языка . Проверено 11 июня 2015 г.
  16. ^ Перельман, Лес. «Автоматическая оценка эссе и NAPLAN: краткий отчет» (PDF) . Федерация учителей Нового Южного Уэльса . Федерация учителей Нового Южного Уэльса . Проверено 28 декабря 2018 г.
  17. ^ Перельман, Лес (2018). На пути к новому NAPLAN: от тестирования к обучению (PDF) . Сидней: Федерация учителей Нового Южного Уэльса. ISBN 978-0-6482555-1-2. Проверено 28 декабря 2018 г.
  18. ^ Перельман, Лес. «Проблемы разработки и администрирования НАПЛАНА 2018 года» (PDF) . Федерация учителей Нового Южного Уэльса . Проверено 28 декабря 2018 г.
  19. ^ Койзиол, Майкл. «Компьютер говорит нет: правительство отказывается от плана «маркировки роботами» эссе NAPLAN» . № 29 января 2018 г. Sydney Morning Herald . Проверено 28 декабря 2018 г.

Внешние ссылки