Эффект режима – это широкий термин, обозначающий явление, когда конкретный режим проведения опроса приводит к сбору разных данных. Например, при задании вопроса с использованием двух разных способов ( например, бумажного и телефонного), ответы в одном режиме могут значительно и существенно отличаться от ответов, данных в другом режиме. Эффекты режима представляют собой методологический артефакт, ограничивающий возможность сравнения результатов, полученных при различных способах сбора данных.
Определенные режимы опроса приводят респондентов в разное состояние ума, называемое мысленным «сценарием». [1] Это может повлиять на результаты, которые они дают. Например:
Эффекты режима , вероятно , будут больше, чем больше различия между режимами . Личные интервью существенно отличаются от анкет, заполняемых самостоятельно. Напротив, веб-опросы, бумажные и другие формы, заполняемые самостоятельно, весьма схожи (каждая из них требует от респондентов прочитать вопрос и лично ответить на него), и поэтому влияние режима может быть сведено к минимуму.
Пользователи опросов должны учитывать потенциальные эффекты режима при сравнении результатов исследований, проведенных в разных режимах. Однако это сложно, поскольку эффекты режима могут быть сложными и зависеть от взаимодействия между демографическими данными респондентов, предметом и режимом. Если эффекты режима не будут официально исследованы для инструмента обследования, трудно определить их размер, и вместо этого потребуются качественные суждения экспертов, знакомых с предметом и соответствующими способами.
Исследования эффектов режима иногда противоречивы, но некоторые общие закономерности все же выявляются. Например, предвзятость социальной желательности, как правило, самая высокая в телефонных опросах и самая низкая в интернет-опросах: [2] [3]
Таким образом, поскольку данные, собранные по деликатным темам (таким как сексуальное поведение или незаконная деятельность), будут меняться в зависимости от режима администрирования, исследователям следует с осторожностью объединять данные или сравнивать результаты, полученные из разных способов.
В некоторых режимах формулировка вопросов отличается от других, чтобы соответствовать особенностям режима. Например, в формах для самостоятельного заполнения могут использоваться списки примеров или подробные инструкции, которые помогут респондентам ответить на относительно сложные вопросы. Напротив, в телефонных интервью респонденты часто ограничены своей рабочей памятью и вряд ли смогут понять длинный вопрос с множеством подпунктов. Другим примером является «матрица» вопросов, обычно встречающаяся в самозаполняемых формах, которую нелегко прочитать в устном интервью; скорее, матрицу, как правило, необходимо составить в виде серии отдельных вопросов.
Различия в формулировках вопросов в разных режимах могут привести к тому, что разные режимы будут собирать разные данные. Однако это не всегда так, и соответствующая адаптация вопросов к новому режиму может дать сопоставимые данные . Разработчики опросов должны учитывать условности этого метода при адаптации вопросов. Например, хотя требование от респондентов самостоятельно рассчитать общие цифры в бумажной форме может быть приемлемым, респонденты могут счесть это обременительным, если это потребуется в веб-форме (где респонденты могут ожидать, что общие суммы будут рассчитаны компьютером автоматически). . Это, в свою очередь, может изменить их отношение к форме, изменить их поведение и, в конечном итоге, изменить собираемые данные.
Эффекты режима можно выявить путем внедрения в опрос эксперимента , в котором определенная доля респондентов распределяется по каждому режиму. Различия в результатах каждого режима должны определять «эффект режима» для данного конкретного обследования.
После количественной оценки эффекта режима можно использовать эту информацию для повторной обработки существующих данных и сравнения данных, собранных в различных режимах (например, путем ретроспективного анализа временных рядов, чтобы определить, какими «были бы» прошлые результаты, если бы они были применены). в новом режиме).
Различные режимы администрирования могут по своей сути исключать некоторые части целевой группы населения. Это потенциально искажает взятую выборку и изменяет данные по сравнению с теми, которые были бы собраны с использованием другого режима. Например, люди, у которых нет домашнего телефона, исключаются из опросов со случайным цифровым набором (RDD), а люди, не имеющие доступа к Интернету, вряд ли примут участие в веб-опросе. Это означает, что при использовании разных режимов из генеральной совокупности берутся разные выборки. Если эксперименты не предназначены специально для исследования дифференциального покрытия, эффекты режима будут смешиваться с покрытием [4] , а значительные различия между режимами/условиями эксперимента могут иметь несколько объяснений:
Эта проблема усугубляется, когда при «живом» проведении опроса используются несколько режимов. В некоторых опросах используется несколько режимов, что позволяет респондентам выбрать наиболее удобный для них метод. То есть ожидается, что разные «типы» респондентов будут использовать разные способы на основе своего собственного выбора. В этом случае эффекты режима трудно оценить количественно, поскольку случайное распределение респондентов по тому или иному условию не отражает их предпочтений. Такому эксперименту не хватает внешней валидности , и его результаты не могут быть напрямую обобщены на ситуации, предлагающие респондентам выбор. Неспособность случайным образом распределить участников по условию (т. е. предоставить им возможность выбора, тем самым сохраняя внешнюю валидность) будет означать, что очевидные различия между режимами отражают совокупный эффект а) различных типов респондентов, выбирающих каждый режим, и б) любых эффектов режима.