Множественный выбор ( MC ), [1] объективный ответ или MCQ (для вопроса с множественным выбором ) — это форма объективной оценки , при которой респондентам предлагается выбрать только правильные ответы из вариантов, предложенных в виде списка. Формат множественного выбора чаще всего используется в образовательных тестах, исследованиях рынка и на выборах , когда человек выбирает между несколькими кандидатами, партиями или политикой.
Хотя Э. Л. Торндайк разработал ранний научный подход к тестированию учащихся, именно его помощник Бенджамин Д. Вуд разработал тест с множественным выбором. [2] Популярность тестирования с множественным выбором возросла в середине 20-го века, когда были разработаны сканеры и машины для обработки данных для проверки результата. Кристофер П. Соул создал первый экзамен с несколькими вариантами ответов для компьютеров на компьютере Sharp Mz 80 в 1982 году. Он был разработан, чтобы помочь людям с дислексией справиться с сельскохозяйственными предметами, поскольку латинские названия растений могут быть трудными для понимания и написания. [ нужна цитата ]
Задания с множественным выбором состоят из основы и нескольких альтернативных ответов. Основа — это начало : проблема, которую нужно решить, заданный вопрос или неполное утверждение, которое нужно дополнить. Варианты — это возможные ответы, из которых испытуемый может выбирать, при этом правильный ответ называется ключом , а неправильные ответы называются отвлекающими факторами . [3] Только один ответ может быть признан правильным. Это контрастирует с элементами с несколькими ответами, в которых более одного ответа могут быть указаны как правильные.
Обычно правильный ответ приносит определенное количество баллов к общей оценке, а неправильный ответ не приносит ничего. Однако тесты также могут присуждать частичный балл за вопросы, на которые нет ответа, или наказывать учащихся за неправильные ответы, чтобы препятствовать угадыванию. Например, тесты SAT subject снимают четверть балла с балла тестируемого за неправильный ответ.
Для сложных элементов, таких как элемент прикладных знаний, основа может состоять из нескольких частей. Основа может включать расширенный или вспомогательный материал, такой как виньетка , тематическое исследование , график , таблица или подробное описание, состоящее из нескольких элементов. Может быть включено что угодно, если это необходимо для обеспечения максимальной достоверности и подлинности предмета. Основа заканчивается вводным вопросом, объясняющим, как респондент должен ответить. В медицинских вопросах с несколькими вариантами ответов вводный вопрос может звучать так: «Какой диагноз наиболее вероятен?» или «Какой возбудитель является наиболее вероятной причиной?» со ссылкой на тематическое исследование, которое было представлено ранее.
Элементы теста с множественным выбором часто в просторечии называют «вопросами», но это неправильное название, поскольку многие элементы не сформулированы как вопросы. Например, они могут быть представлены в виде неполных утверждений, аналогий или математических уравнений. Таким образом, более общий термин «предмет» является более подходящим. Предметы хранятся в банке предметов .
В идеале вопрос с множественным выбором (MCQ) следует задавать в виде «основы» с правдоподобными вариантами, например:
Если и , что такое ?
- 12
- 3
- 4
- 10
В уравнении найдите x .
- 4
- 10
- 0,5
- 1,5
- 8
Город, известный как « ИТ-столица Индии »,
(Правильные ответы – B, C и A соответственно.)
Хорошо написанный вопрос с несколькими вариантами ответов позволяет избежать явно неправильных или неправдоподобных отвлекающих факторов (таких как американский город Детройт , включенный в третий пример), так что вопрос имеет смысл при чтении с каждым из отвлекающих факторов, а также при правильном ответе.
Более сложный и хорошо написанный вопрос с несколькими вариантами ответов выглядит следующим образом:
Учтите следующее:
- Шахматная доска восемь на восемь.
- Шахматная доска размером восемь на восемь, у которой удалены два противоположных угла.
- Шахматная доска размером восемь на восемь, у которой удалены все четыре угла.
Какие из них можно выложить костяшками костяшки два на один (без перекрытий и промежутков, и все костяшки находятся внутри доски)?
- только я
- только II
- только я и II
- только I и III
- I, II и III
У тестов с множественным выбором есть несколько преимуществ. Если составители заданий хорошо обучены и качество заданий гарантировано, это может быть очень эффективным методом оценки. [4] Если учащихся проинструктировать о том, как работает формат заданий, и исправить мифы, окружающие тесты, они справятся с тестом лучше. [5] Во многих оценках было показано, что надежность повышается при увеличении количества заданий в тесте, а при хорошей выборке и учете специфики случая общая надежность теста может быть еще больше повышена. [6]
Тесты с множественным выбором часто требуют меньше времени для проведения данного объема материала, чем тесты, требующие письменных ответов.
Вопросы с множественным выбором позволяют разработать элементы объективной оценки, но без подготовки автора вопросы могут носить субъективный характер. Поскольку этот стиль тестирования не требует, чтобы учитель интерпретировал ответы, тестируемые оцениваются исключительно на основе их выбора, что снижает вероятность предвзятости учителя в результатах. [7] Факторы, не имеющие отношения к оцениваемому материалу (например, почерк и ясность изложения), не учитываются при оценивании с несколькими вариантами ответов, поэтому кандидату оцениваются исключительно на основании его знания темы. Наконец, если тестируемые знают, как использовать листы для ответов или флажки для онлайн-экзамена, на их ответы можно положиться с ясностью. В целом, тесты с множественным выбором являются наиболее надежными предикторами общей успеваемости учащихся по сравнению с другими формами оценки, такими как участие в классе, тематические экзамены, письменные задания и симуляционные игры. [8]
Самым серьезным недостатком является ограниченность типов знаний, которые можно оценить с помощью тестов с множественным выбором. Тесты с множественным выбором лучше всего подходят для проверки четко определенных навыков или навыков более низкого порядка. Навыки решения проблем и более высокого порядка мышления лучше оцениваются с помощью тестов с короткими ответами и эссе. [ нужна цитация ] Однако часто выбираются тесты с множественным выбором не из-за типа оцениваемых знаний, а потому, что они более доступны для тестирования большого количества студентов. Это особенно актуально в Соединенных Штатах и Индии, где тесты с множественным выбором являются предпочтительной формой тестирования с высокими ставками, а размер выборки тестируемых соответственно велик.
Еще одним недостатком тестов с множественным выбором является возможная неоднозначность интерпретации задания испытуемым. Неспособность интерпретировать информацию так, как задумал разработчик теста, может привести к «неправильному» ответу, даже если ответ испытуемого потенциально действителен. Для описания этого сценария использовался термин «множественное предположение», поскольку тестируемые могут попытаться угадать, а не определить правильный ответ. Тест со свободным ответом позволяет тестируемому аргументировать свою точку зрения и потенциально получить оценку.
Кроме того, даже если учащиеся имеют некоторые знания по вопросу, они не получают зачета за знание этой информации, если они выберут неправильный ответ и задание будет оценено дихотомически. Однако вопросы со свободным ответом могут позволить экзаменуемому продемонстрировать частичное понимание предмета и получить частичную оценку. Кроме того, если для создания более крупной выборки задается больше вопросов по определенной предметной области или теме, то статистически уровень знаний по этой теме будет более точно отражен в количестве правильных ответов и окончательных результатах.
Еще одним недостатком экзаменов с несколькими вариантами ответов является то, что студент, неспособный ответить на конкретный вопрос, может просто выбрать случайный ответ и при этом иметь шанс получить за него оценку. При случайном угадывании ответа обычно существует 25-процентная вероятность правильного ответа на вопрос с выбором из четырех ответов. Студенты, у которых не осталось времени, обычно дают случайные ответы на все оставшиеся вопросы в надежде, что хотя бы на некоторые из них они ответят правильно. Многие экзамены, такие как Австралийская олимпиада по математике и SAT , имеют системы, позволяющие свести на нет это, в данном случае делая выбор случайного ответа не более выгодным, чем его отсутствие.
Другая система отрицания эффектов случайного выбора — это подсчет очков по формуле, в которой балл пропорционально уменьшается в зависимости от количества неправильных ответов и количества возможных вариантов выбора. В этом методе балл уменьшается на количество неправильных ответов, разделенное на среднее количество возможных ответов на все вопросы теста, w /( c – 1), где w — количество неправильных ответов в тесте, а c — среднее количество возможных вариантов ответа на все вопросы теста . [9] Все экзамены, оцениваемые по трехпараметрической модели теории ответов на задания, также учитывают угадывание. Более того, обычно это не является серьезной проблемой, поскольку вероятность того, что учащийся получит высокие оценки за угадывание, очень мала, когда доступны четыре или более вариантов выбора.
Кроме того, важно отметить, что вопросы, сформулированные двусмысленно, могут сбить с толку тестируемых. Принято считать, что вопросы с множественным выбором допускают только один ответ, при этом один ответ может включать в себя набор предыдущих вариантов. Однако некоторые создатели тестов не знают об этом и могут ожидать, что учащийся выберет несколько ответов без явного разрешения или предоставления параметров завершающей инкапсуляции.
Критики, такие как философ и сторонник образования Жак Деррида , заявили, что, хотя требование о выдаче и проверке базовых знаний обосновано, существуют и другие способы удовлетворить эту потребность, кроме обращения к шпаргалкам . [10]
Несмотря на все недостатки, формат остается популярным, поскольку MCQ легко создавать, оценивать и анализировать. [11]
Теория о том, что учащиеся должны доверять своему первому инстинкту и придерживаться первоначального ответа в тесте с множественным выбором, является мифом, который стоит развеять. Исследователи обнаружили, что, хотя некоторые люди считают, что изменение ответов — это плохо, обычно это приводит к более высоким результатам тестов. Данные двадцати отдельных исследований показывают, что процент изменений «правильного на неправильное» составляет 20,2%, тогда как процент изменений «неправильного на правильное» составляет 57,8%, то есть почти в три раза. [12] Переход от «правильного к неправильному» может быть более болезненным и запоминающимся ( эффект фон Ресторфа ), но, вероятно, будет хорошей идеей изменить ответ после того, как дополнительное размышление покажет, что можно сделать лучший выбор. Фактически, первоначальное влечение человека к конкретному выбору ответа вполне может быть обусловлено поверхностной правдоподобностью, которую составитель теста намеренно встроил в отвлекающий фактор (или неправильный выбор ответа). Авторам тестовых заданий предлагается сделать свои отвлекающие факторы правдоподобными, но явно неверными. Таким образом, первое инстинктивное влечение тестируемого к отвлекающему фактору часто является реакцией, которую, вероятно, следует пересмотреть в свете тщательного рассмотрения каждого варианта ответа. Некоторые тестируемые по некоторым экзаменационным предметам могут иметь точные первые инстинкты в отношении конкретного задания теста, но это не означает, что все тестируемые должны доверять своему первому инстинкту.
