Методология опроса — это «изучение методов опроса ». [1] Как область прикладной статистики, сосредоточенная на исследованиях с участием людей , методология опроса изучает выборку отдельных единиц из популяции и связанные с ней методы сбора данных опроса , такие как построение вопросника и методы повышения количества и точности ответов на опросы. Методология опроса нацелена на инструменты или процедуры, которые задают один или несколько вопросов, на которые можно или нельзя ответить.
Исследователи проводят статистические опросы с целью сделать статистические выводы об изучаемом населении; такие выводы в значительной степени зависят от используемых вопросов опроса. Опросы общественного мнения , опросы общественного здравоохранения, опросы по исследованию рынка , правительственные опросы и переписи населения — все это примеры количественных исследований , которые используют методологию опроса для ответа на вопросы о населении. Хотя переписи не включают «выборку», они включают другие аспекты методологии опроса, такие как анкеты, интервьюеры и методы последующего наблюдения за неполучением ответов. Опросы предоставляют важную информацию для всех видов областей общественной информации и исследований, таких как маркетинговые исследования, психология , предоставление медицинской помощи и социология .
Единичный опрос состоит как минимум из выборки (или всей совокупности в случае переписи), метода сбора данных (например, анкеты) и отдельных вопросов или элементов, которые становятся данными, которые можно анализировать статистически. Единичный опрос может быть сосредоточен на различных типах тем, таких как предпочтения (например, для кандидата в президенты), мнения (например, должны ли аборты быть легальными?), поведение (курение и употребление алкоголя) или фактическая информация (например, доход), в зависимости от его цели. Поскольку исследование опроса почти всегда основано на выборке населения, успех исследования зависит от репрезентативности выборки по отношению к целевой группе населения, представляющей интерес для исследователя. Эта целевая группа населения может варьироваться от общего населения данной страны до определенных групп людей в этой стране, списка членов профессиональной организации или списка учащихся, зачисленных в школьную систему (см. также выборка (статистика) и выборка опроса ). Лица, отвечающие на опрос, называются респондентами , и в зависимости от заданных вопросов их ответы могут представлять себя как отдельных лиц, их домохозяйства, работодателей или другие организации, которые они представляют.
Методология опроса как научная область стремится определить принципы относительно дизайна выборки, инструментов сбора данных, статистической корректировки данных и обработки данных, а также окончательного анализа данных, которые могут создавать систематические и случайные ошибки опроса. Ошибки опроса иногда анализируются в связи со стоимостью опроса. Ограничения по стоимости иногда формулируются как улучшение качества в рамках ограничений по стоимости или, в качестве альтернативы, снижение затрат для фиксированного уровня качества. Методология опроса является как научной областью, так и профессией, что означает, что некоторые специалисты в этой области сосредотачиваются на ошибках опроса эмпирически, а другие разрабатывают опросы, чтобы уменьшить их. Для разработчиков опросов задача заключается в принятии большого набора решений относительно тысяч отдельных характеристик опроса с целью его улучшения. [2]
Наиболее важными методологическими задачами для методиста опроса являются принятие решений о том, как: [2]
Выборка выбирается из выборочной рамки, которая состоит из списка всех членов интересующей популяции. [3] Целью опроса является описание не выборки, а более крупной популяции. Эта обобщающая способность зависит от репрезентативности выборки, как указано выше. Каждый член популяции называется элементом. Часто возникают трудности при выборе репрезентативной выборки. Одной из распространенных ошибок, которые возникают в результате, является смещение отбора . Смещение отбора возникает, когда процедуры, используемые для отбора выборки, приводят к перепредставлению или недопредставлению какого-либо значимого аспекта популяции. Например, если интересующая популяция состоит из 75% женщин и 25% мужчин, а выборка состоит из 40% женщин и 60% мужчин, женщины недопредставлены, а мужчины перепредставлены. Чтобы минимизировать смещения отбора, часто используется стратифицированная случайная выборка . Это когда популяция делится на подпопуляции, называемые стратами, и случайные выборки отбираются из каждой из страт, или элементы отбираются для выборки на пропорциональной основе.
Существует несколько способов администрирования опроса. Выбор между режимами администрирования зависит от нескольких факторов, в том числе
Различные методы создают эффекты режима , которые меняют то, как отвечают респонденты, и различные методы имеют различные преимущества. Наиболее распространенные способы администрирования можно суммировать следующим образом: [4]
Существует несколько различных дизайнов или общих структур, которые могут использоваться в исследовании опроса. Три основных типа — это поперечные сечения, последовательные независимые выборки и продольные исследования. [3]
В поперечных исследованиях выборка (или выборки) отбирается из соответствующей популяции и изучается один раз. [3] Поперечное исследование описывает характеристики этой популяции в один момент времени, но не может дать никакого представления о причинах характеристик популяции, поскольку это предиктивный, корреляционный дизайн.
Последовательный независимый дизайн выборки извлекает несколько случайных выборок из популяции в один или несколько раз. [3] Этот дизайн может изучать изменения внутри популяции, но не изменения внутри отдельных лиц, поскольку одни и те же лица не опрашиваются более одного раза. Поэтому такие исследования не могут обязательно определить причины изменений с течением времени. Для того чтобы последовательный независимый дизайн выборки был эффективным, выборки должны быть взяты из одной и той же популяции и должны быть в равной степени репрезентативными для нее. Если выборки несопоставимы, изменения между выборками могут быть обусловлены демографическими характеристиками, а не временем. Кроме того, вопросы должны задаваться одинаково, чтобы ответы можно было сравнивать напрямую.
Лонгитюдные исследования измеряют одну и ту же случайную выборку в нескольких временных точках. [3] В отличие от дизайна последовательных независимых выборок, этот дизайн измеряет различия в ответах отдельных участников с течением времени. Это означает, что исследователь может потенциально оценить причины изменения ответов, оценивая различия в опыте респондентов. Лонгитюдные исследования — это самый простой способ оценить эффект естественного события, такого как развод, который нельзя проверить экспериментально.
Однако лонгитюдные исследования и дороги, и сложны в проведении. Сложнее найти выборку, которая будет готова к многомесячному или многолетнему исследованию, чем 15-минутное интервью, и участники часто покидают исследование до окончательной оценки. Кроме того, такие исследования иногда требуют, чтобы сбор данных был конфиденциальным или анонимным, что создает дополнительные трудности в связывании ответов участников с течением времени. Одним из возможных решений является использование самогенерируемого идентификационного кода (SGIC). [5] Эти коды обычно создаются из таких элементов, как «месяц рождения» и «первая буква второго имени матери». Некоторые недавние анонимные подходы SGIC также пытались еще больше минимизировать использование персонализированных данных, вместо этого используя вопросы типа «имя вашего первого питомца». [6] [7] В зависимости от используемого подхода может быть потеряна возможность сопоставления некоторой части выборки.
Кроме того, общее выбытие участников не является случайным, поэтому выборки могут стать менее репрезентативными при последовательных оценках. Чтобы учесть это, исследователь может сравнить респондентов, которые покинули опрос, с теми, которые не покинули его, чтобы увидеть, являются ли они статистически разными популяциями. Респонденты также могут попытаться быть последовательными, несмотря на изменения в ответах на опрос.
Анкеты являются наиболее часто используемым инструментом в исследовании опросов. Однако результаты конкретного опроса бесполезны, если анкета составлена неадекватно. [3] Анкеты должны давать достоверные и надежные показатели демографических переменных и должны давать достоверные и надежные индивидуальные различия, которые генерируют шкалы самоотчетов. [3]
Категория переменных, которая часто измеряется в исследовании опроса, - это демографические переменные, которые используются для описания характеристик людей, опрошенных в выборке. [3] Демографические переменные включают такие измерения, как этническая принадлежность, социально-экономический статус, раса и возраст. [3] Опросы часто оценивают предпочтения и отношения людей, и многие используют шкалы самоотчета для измерения мнений и суждений людей о различных элементах, представленных на шкале. [3] Шкалы самоотчета также используются для изучения различий между людьми по элементам шкалы. [3] Эти шкалы самоотчета, которые обычно представлены в форме анкеты, являются одним из наиболее используемых инструментов в психологии, и поэтому важно, чтобы измерения были тщательно разработаны, а также были надежными и валидными. [3]
Надежные меры самоотчета определяются их согласованностью. [3] Таким образом, надежная мера самоотчета дает согласованные результаты каждый раз, когда она выполняется. [3] Надежность теста можно измерить несколькими способами. [3] Во-первых, можно рассчитать надежность теста-ретеста. [3] Надежность теста-ретеста подразумевает проведение одного и того же опроса для большой выборки в два разных времени. [3] Чтобы опрос считался надежным, люди в выборке не должны набирать одинаковые баллы в каждом тесте, но их положение в распределении баллов должно быть схожим как для теста, так и для повторного теста. [3] Меры самоотчета, как правило, будут более надежными, если они содержат много пунктов, измеряющих конструкцию. [3] Кроме того, измерения будут более надежными, если измеряемый фактор имеет большую изменчивость среди людей в выборке, которые проходят тестирование. [3] Наконец, надежность будет большей, если инструкции по заполнению опросника будут ясными и когда в среде тестирования будет мало отвлекающих факторов. [3] Напротив, вопросник является валидным, если то, что он измеряет, является тем, что изначально планировалось измерить. [3] Конструктивная валидность измерения — это степень, в которой оно измеряет теоретическую конструкцию, которую изначально предполагалось измерить. [3]
Для создания анкеты, которая даст надежные и достоверные результаты, можно использовать шесть шагов. [3] Во-первых, необходимо решить, какую информацию следует собирать. [3] Во-вторых, необходимо решить, как проводить анкетирование. [3] В-третьих, необходимо создать первый черновик анкеты. [3] В-четвертых, анкету следует пересмотреть. [3] Затем анкету следует предварительно протестировать. [3] Наконец, анкету следует отредактировать и определить процедуры ее использования. [3]
Формулировка вопроса может оказать большое влияние на то, как участник исследования ответит на него. [3] Таким образом, исследователи опросов должны осознавать свою формулировку при написании вопросов опроса. [3] Исследователям важно помнить, что разные люди, культуры и субкультуры могут по-разному интерпретировать определенные слова и фразы. [3] Существует два разных типа вопросов, которые исследователи опросов используют при написании анкеты: вопросы со свободным ответом и закрытые вопросы. [3] Вопросы со свободным ответом являются открытыми, тогда как закрытые вопросы обычно представляют собой вопросы с множественным выбором. [3] Вопросы со свободным ответом полезны, поскольку они предоставляют респонденту большую гибкость, но их также очень трудно записывать и оценивать, что требует обширного кодирования. [3] Напротив, закрытые вопросы можно легче оценить и закодировать, но они снижают экспрессивность и спонтанность респондента. [3] В целом, словарный запас вопросов должен быть очень простым и прямым, и большинство из них должно содержать менее двадцати слов. [3] Каждый вопрос следует отредактировать для «читабельности» и избегать наводящих или провокационных вопросов. [3] Наконец, если для измерения одной конструкции используются несколько пунктов, формулировки некоторых пунктов следует сформулировать в противоположном направлении, чтобы избежать предвзятости ответа. [3]
Ответ респондента на открытый вопрос впоследствии может быть закодирован в шкалу ответов [4] или проанализирован с использованием более качественных методов.
Исследователи, проводящие опросы, должны тщательно выстраивать порядок вопросов в анкете. [3] Для анкет, заполняемых самостоятельно, самые интересные вопросы должны располагаться в начале анкеты, чтобы привлечь внимание респондента, в то время как демографические вопросы должны располагаться ближе к концу. [3] Напротив, если опрос проводится по телефону или лично, демографические вопросы следует задавать в начале интервью, чтобы повысить уверенность респондента. [3] Еще одна причина, по которой следует помнить о порядке вопросов, может вызвать эффект ответа на опрос , при котором один вопрос может повлиять на то, как люди отвечают на последующие вопросы в результате прайминга .
Перевод имеет решающее значение для сбора сопоставимых данных опроса. Анкеты переводятся с исходного языка на один или несколько целевых языков, например, с английского на испанский и немецкий. Рекомендуется командный подход в процессе перевода, включающий переводчиков, экспертов по предметной области и лиц, помогающих процессу. [8] [9]
Лучшие практики перевода опросов включают параллельный перевод, групповые обсуждения и предварительное тестирование с реальными людьми. [10] [11] Это не механический процесс размещения слов. Модель TRAPD - перевод, обзор, вынесение суждения, предварительное тестирование и документирование - изначально разработанная для европейских социальных опросов , в настоящее время "широко используется в мировом сообществе исследователей опросов, хотя не всегда маркируется как таковая или реализуется в своей полной форме". [12] [13] [8] Например, социолингвистика предоставляет теоретическую основу для перевода опросников и дополняет TRAPD. Этот подход гласит, что для того, чтобы перевод опросника достиг эквивалентного коммуникативного эффекта, как исходный язык, перевод должен быть лингвистически подходящим, включая социальные практики и культурные нормы целевого языка. [14]
Для сокращения числа неответов [15] при телефонных и личных опросах были рекомендованы следующие способы : [16]
Краткость также часто упоминается как фактор, увеличивающий скорость ответа. Обзор литературы 1996 года обнаружил неоднозначные доказательства в поддержку этого утверждения как для письменных, так и для устных опросов, заключив, что другие факторы часто могут быть более важными. [18] Исследование 2010 года, изучавшее 100 000 онлайн-опросов, обнаружило, что скорость ответа снизилась примерно на 3% при 10 вопросах и примерно на 6% при 20 вопросах, с замедлением снижения (например, снижение только на 10% при 40 вопросах). [19] Другие исследования показали, что качество ответа ухудшалось к концу длинных опросов. [20]
Некоторые исследователи также обсуждали роль или профессию получателя как потенциальный фактор, влияющий на то, как управляется неответ. Например, факсы обычно не используются для распространения опросов, но в недавнем исследовании их иногда предпочитали фармацевты, поскольку они часто получают рецепты по факсу на работе, но не всегда могут иметь доступ к почтовому отправлению с общим адресом. [21]
Методисты опросов приложили много усилий для определения степени влияния физических характеристик интервьюера на ответы интервьюируемых. Основными чертами интервьюера, которые, как было продемонстрировано, влияют на ответы опроса, являются раса, [22] пол, [23] и относительный вес тела (ИМТ). [24] Эти эффекты интервьюера особенно выражены, когда вопросы связаны с чертами интервьюера. Таким образом, было показано, что раса интервьюера влияет на ответы на меры, касающиеся расовых установок, [25] ответы пола интервьюера на вопросы, связанные с гендерными проблемами, [26] и ответы ИМТ интервьюера на вопросы, связанные с питанием и диетой. [27] Хотя эффекты интервьюера исследовались в основном для личных опросов, было также показано, что они существуют для режимов интервью без визуального контакта, таких как телефонные опросы и веб-опросы с видеообновлением. Обычное объяснение эффектов интервьюера заключается в предвзятости социальной желательности : участники опроса могут пытаться проецировать положительный образ себя, пытаясь соответствовать нормам, которые они приписывают интервьюеру, задающему вопросы. Эффект интервьюера является одним из примеров эффектов ответа на опрос .
С 2018 года методисты опросов начали изучать, как большие данные могут дополнять методологию опросов, чтобы позволить исследователям и практикам улучшить производство статистики опросов и ее качество. Большие данные имеют низкую стоимость за точку данных, применяют методы анализа с помощью машинного обучения и интеллектуального анализа данных и включают разнообразные и новые источники данных, например, регистры, социальные сети, приложения и другие формы цифровых данных. Было проведено три конференции Big Data Meets Survey Science (BigSurv) в 2018, 2020, 2023 годах и предстоящая конференция в 2025 году, [28] специальный выпуск в Social Science Computer Review , [29] специальный выпуск в Journal of the Royal Statistical Society , [30] и специальный выпуск в EP J Data Science , [31] и книга под названием Big Data Meets Social Sciences [32] под редакцией Крейга А. Хилла и пяти других членов Американской статистической ассоциации .
[...] методология опроса — это изучение методов опроса. Это изучение источников ошибок в опросах и того, как сделать цифры, полученные в ходе опросов, максимально точными.
Медиа, связанные с Методология опроса на Wikimedia Commons