Эффект режима — это широкий термин, относящийся к явлению, когда определенный режим администрирования опроса приводит к сбору разных данных. Например, при задании вопроса с использованием двух разных режимов ( например, бумаги и телефона) ответы на один режим могут значительно и существенно отличаться от ответов, полученных в другом режиме. Эффект режима — это методологический артефакт, ограничивающий возможность сравнения результатов, полученных с помощью разных режимов сбора.
Определенные режимы опроса помещают респондентов в различные состояния ума, называемые ментальным «сценарием». [1] Это может повлиять на результаты, которые они дают. Например:
Эффекты режима, вероятно, будут больше, когда различия между режимами больше [ требуется ссылка ] . Личные интервью существенно отличаются от самостоятельно заполненных форм с помощью ручки и бумаги. Напротив, веб-опросы, ручка и бумага и другие самостоятельно заполненные формы довольно похожи (каждый требует от респондентов прочитать и конфиденциально ответить на вопрос), и поэтому эффекты режима могут быть минимизированы.
Пользователи опросов должны учитывать потенциальные эффекты режима при сравнении результатов исследований в разных режимах. Однако это сложно, поскольку эффекты режима могут быть сложными и зависеть от взаимодействия между демографическими данными респондентов, предметом и режимом. Если эффекты режима не исследованы формально для инструмента опроса, трудно количественно оценить их размер и вместо этого требуются качественные суждения экспертов, знакомых с предметом и соответствующими режимами.
Исследования эффектов режима иногда противоречивы, но некоторые общие закономерности все же возникают. Например, смещение социальной желательности , как правило, самое высокое для телефонных опросов и самое низкое для веб-опросов: [2] [3]
Таким образом, поскольку данные, собранные по деликатным темам (таким как сексуальное поведение или противоправная деятельность), будут меняться в зависимости от способа их введения, исследователям следует проявлять осторожность при объединении данных или сравнении результатов, полученных разными способами.
Некоторые режимы требуют иной формулировки вопросов, чем другие, чтобы соответствовать особенностям режима. Например, формы для самостоятельного заполнения могут использовать списки примеров или подробные инструкции, чтобы помочь респондентам ответить на относительно сложные вопросы. Напротив, в телефонных интервью респонденты часто ограничены своей рабочей памятью и вряд ли поймут длинный вопрос с несколькими подпунктами. Другим примером является «матрица» вопросов, обычно встречающаяся в формах для самостоятельного заполнения, которую нельзя легко прочитать в устном интервью; скорее матрицу обычно нужно было бы написать как серию отдельных вопросов.
Различия в формулировках вопросов в разных режимах могут привести к тому, что разные режимы будут собирать разные данные. Однако это не всегда так, и соответствующая адаптация вопросов к новому режиму может дать сопоставимые данные [ требуется ссылка ] . Разработчики опросов должны учитывать соглашения режима при адаптации вопросов. Например, хотя может быть приемлемо требовать от респондентов самостоятельно рассчитывать общие цифры в бумажной форме, респонденты могут посчитать это обременительным, если это требуется в веб-форме (где респонденты могут ожидать, что общие суммы будут автоматически рассчитаны компьютером). Это, в свою очередь, может изменить их отношение к форме, изменив их поведение и в конечном итоге изменив собранные данные.
Эффекты режима можно определить, встроив эксперимент в опрос, где доля респондентов распределяется по каждому режиму. Различия в результатах по каждому режиму должны идентифицировать «эффект режима» для этого конкретного опроса.
После количественной оценки эффекта режима можно использовать эту информацию для повторной обработки существующих данных и сравнения данных, собранных в разных режимах (например, путем ретроспективного анализа временного ряда для определения того, какими были бы прошлые результаты, если бы они были получены в новом режиме).
Различные режимы администрирования могут по своей сути исключать некоторые части целевой популяции. Это потенциально смещает взятую выборку и изменяет данные, которые были бы собраны с использованием другого режима. Например, люди без домашнего телефона исключаются из опросов с использованием случайных цифр (RDD), а люди без доступа к Интернету вряд ли заполнят веб-опрос. Это означает, что при использовании разных режимов из популяции берутся разные выборки. Если эксперименты специально не предназначены для исследования дифференциального покрытия, эффекты режима будут запутаны покрытием [4] , и существенные различия между режимами/экспериментальными условиями могут иметь несколько объяснений:
Эта проблема усугубляется, когда при «живом» администрировании опроса используются несколько режимов. В некоторых опросах используется несколько режимов, что позволяет респондентам выбирать наиболее удобный для них метод. То есть, ожидается, что разные «типы» респондентов будут заполнять разные режимы на основе их собственного выбора. В этом случае эффекты режимов трудно количественно оценить, поскольку случайное распределение респондентов по условию не отражает их предпочтения. Такой эксперимент не имеет внешней валидности , и результаты не будут напрямую обобщаться на ситуации, предлагающие респондентам выбор. Неспособность случайным образом распределить участников по условию (т. е. позволить им иметь выбор, тем самым сохраняя внешнюю валидность) будет означать, что очевидные различия между режимами отражают комбинированный эффект a) разных типов респондентов, выбирающих каждый режим, и b) любых эффектов режимов.