Составление анкеты

Разработка анкеты для сбора статистически полезной информации по заданной теме

Построение анкеты относится к разработке анкеты для сбора статистически полезной информации по заданной теме. При правильном построении и ответственном применении анкеты могут предоставить ценные данные по любой заданной теме.

Анкеты

Анкеты часто используются в количественных маркетинговых исследованиях и социальных исследованиях . Они являются ценным методом сбора широкого спектра информации от большого числа людей, часто называемых респондентами.

То, что часто называют «адекватным построением анкеты», имеет решающее значение для успеха опроса . Неподходящие вопросы, неправильный порядок вопросов, неправильное масштабирование или плохой формат анкеты могут сделать результаты опроса бесполезными, поскольку они могут неточно отражать взгляды и мнения участников.

Различные методы могут быть полезны для проверки анкеты и обеспечения того, чтобы она точно отражала предполагаемую информацию. Первоначальные советы могут включать:

• консультирование экспертов по предметной области
• использование руководств по составлению вопросников для информирования о проектах, таких как метод индивидуального проектирования ^[1] или разработанных национальными статистическими организациями.

Эмпирические тесты также дают представление о качестве анкеты. Это можно сделать следующим образом:

• проведение когнитивного интервьюирования . Опрашивая выборку потенциальных респондентов об их интерпретации вопросов и использовании анкеты, исследователь может
• проведение небольшого предварительного тестирования анкеты с использованием небольшой подгруппы целевых респондентов. Результаты могут информировать исследователя об ошибках, таких как пропущенные вопросы или логические и процедурные ошибки.
• оценка качества измерения вопросов. Это может быть сделано, например, с использованием моделей «тест-ретест», ^[2] квазисимплексных, ^[3] или многомерных-многометодных моделей. ^[4]
• прогнозирование качества измерения вопроса. Это можно сделать с помощью программного обеспечения Survey Quality Predictor (SQP). ^[5]

Тестовые задания

В области психологического тестирования и анкетирования отдельная задача или вопрос называется тестовым элементом или элементом . ^{[6] [7]} Эти элементы служат фундаментальными компонентами в анкетах и ​​психологических тестах, часто привязанными к определенной скрытой психологической конструкции (см. операционализация ). Каждый элемент производит значение, как правило, сырой балл, который может быть агрегирован по всем элементам для получения составного балла для измеряемой черты.

Тестовые задания обычно включают три основных компонента:

1. Основа элемента: представляет вопрос, утверждение или поставленную задачу.
2. Формат ответа: Способ, которым респондент дает ответ, включая варианты для вопросов с несколькими вариантами ответов.
3. Критерии оценки: Критерии, используемые для оценки и подсчета баллов ответа.

Степень стандартизации варьируется от строго предписанных вопросов с заранее определенными ответами до открытых вопросов с субъективными критериями оценки.

Ответы на тестовые задания служат индикаторами в области социальных наук.

Типы вопросов

Вопросы или пункты могут быть следующими:

• Закрытые вопросы – ответы респондентов ограничены фиксированным набором ответов.
  • Вопросы с вариантами ответа «да/нет» — респондент отвечает «да» или «нет».
  • Множественный выбор — респонденту предлагается выбрать один из нескольких вариантов.
  • Шкалированные вопросы – Ответы оцениваются по континууму (например: оцените внешний вид продукта по шкале от 1 до 10, где 10 – наиболее предпочтительный внешний вид). Примерами типов шкал являются шкала Лайкерта , семантическая дифференциальная шкала и ранговая шкала. (См. шкалу для получения дополнительной информации)
  • Вопросы матрицы – Идентичные категории ответов назначаются нескольким вопросам. Вопросы располагаются один под другим, образуя матрицу с категориями ответов вверху и списком вопросов внизу сбоку. Это эффективное использование пространства страницы и времени респондентов.
• Открытые вопросы – не предлагается никаких вариантов или предопределенных категорий. Респондент дает свой собственный ответ, не будучи ограниченным фиксированным набором возможных ответов. Вот некоторые примеры:
  • Полностью неструктурированный – например, «Каково ваше мнение об анкетах?»
  • Словесные ассоциации . Предлагаются слова, и респондент называет первое слово, которое приходит ему на ум.
  • Дополнение предложения – респонденты дополняют неполное предложение. Например, «Самым важным соображением при принятии решения о покупке нового дома является...»
  • Завершение истории – респонденты завершают незаконченную историю.
  • Заполнение изображения – респонденты заполняют пустое речевое облако .
  • Тест на тематическую апперцепцию — респонденты объясняют картинку или придумывают историю о том, что, по их мнению, происходит на картинке.
• Contingency question – вопрос, на который отвечают только в том случае, если респондент дает определенный ответ на предыдущий вопрос. Это позволяет избежать вопросов о людях, которые к ним не относятся (например, спрашивать мужчин, были ли они когда-либо беременны).

Многопозиционные весы

Маркированный пример многоэлементной психометрической шкалы , используемой в анкетах ^[8]

В исследованиях и практике социальных наук анкеты чаще всего используются для сбора количественных данных с использованием многоэлементных шкал со следующими характеристиками: ^[8]

• Для каждой исследуемой переменной предъявляется несколько утверждений или вопросов (минимум ≥3; обычно ≥5) .
• Каждое утверждение или вопрос сопровождается набором равноудаленных ответов-точек (обычно 5–7).
• Каждый пункт ответа сопровождается вербальным якорем (например, «полностью согласен»), восходящим слева направо.
• Вербальные якоря должны быть сбалансированы, чтобы отражать равные интервалы между точками ответа.
• В совокупности набор точек ответа и сопровождающих их вербальных якорей называется шкалой оценок . Одной из очень часто используемых шкал оценок является шкала Лайкерта .
• Обычно для ясности и эффективности в анкете представлен один набор якорей для нескольких шкал оценки.
• В совокупности утверждение или вопрос с соответствующей шкалой оценок называется пунктом.
• Когда несколько элементов измеряют одну и ту же переменную надежным и достоверным способом, их вместе называют многоэлементной шкалой или психометрической шкалой.
• Для многоэлементной шкалы следует установить следующие типы надежности и валидности: внутренняя надежность , надежность при повторном тестировании (если ожидается, что переменная будет стабильной с течением времени), содержательная валидность , конструктная валидность и критериальная валидность .
• В процессе разработки шкалы используется факторный анализ .
• Анкеты, используемые для сбора количественных данных, обычно включают несколько многопунктовых шкал, а также вводный и заключительный разделы.

Предварительное тестирование

Предварительное тестирование — это тестирование и оценка того, вызывает ли анкета проблемы, которые могут повлиять на качество данных и сбор данных для интервьюеров или респондентов опроса.

Методы предварительного тестирования могут быть количественными или качественными и могут проводиться в лабораторных условиях или в полевых условиях. ^{[9] [10] [11]}

• Когнитивное интервьюирование исследует мыслительный процесс респондента, когда он отвечает на вопросы или после. Интервьюер направляет респондента думать вслух или проводить вербальные зонды. ^[12] Его также можно проводить онлайн без интервьюера. ^[13]
• Тестирование удобства использования фокусируется на том, как люди взаимодействуют с опросом, например, перемещаются по опросу, вводят ответы и находят справочную информацию.
• Зарисовки представляют собой краткие описания гипотетических ситуаций, которые представляются участникам исследования для проверки их решений, имеющих отношение к опросу. ^{[14] [15]}
• Поведенческое кодирование (или кодирование поведения) отслеживает вербальные взаимодействия интервьюера и респондента в ходе живых или записанных интервью или из стенограмм. Вопросы определяются как требующие исправления, когда определенные виды поведения кодируются часто, например, когда респонденты просят разъяснений. ^{[16] [17]}
• Экспертная оценка проводится отдельным экспертом или группой экспертов по разработке вопросника для выявления потенциальных проблем и решений. ^[18]
• Экспериментальные сравнения проверяют влияние пересмотренных элементов путем сравнения их с исходными элементами. ^[9]
• Статистическое моделирование применяет такие методы, как анализ латентных классов и теория ответов элементов .

Многометодный подход помогает триангулировать результаты. Например, когнитивные интервью, тестирование удобства использования, кодирование поведения и/или виньетки можно объединить для предварительного тестирования. ^{[15] [19] [11]}

Вопросы построения анкеты

Перед составлением анкетного опроса желательно подумать о том, как будут использоваться результаты исследования. Если результаты не повлияют на процесс принятия решений, бюджеты не позволят внедрить результаты или стоимость исследования перевешивает его полезность, то нет смысла проводить исследование.

Цель(и) исследования и рамки отсчета должны быть определены заранее, включая контекст анкеты по времени, бюджету, рабочей силе, вторжению и конфиденциальности. Типы вопросов (например, закрытые, с множественным выбором, открытые) должны соответствовать доступным методам анализа данных и целям опроса.

Способ (случайный или нет) и место (основа выборки) отбора респондентов определят, будут ли результаты репрезентативными для более широкой совокупности .

Уровень измерения – известный как шкала , индекс или типология – определит, какой вывод можно сделать из данных. Вопрос «да/нет» покажет только, сколько человек из выборочной группы ответили «да» или «нет», не имея разрешения для определения среднего ответа. Характер ожидаемых ответов должен быть определен и сохранен для интерпретации.

Распространенным методом является «исследование в обратном направлении» при построении анкеты, сначала определяя искомую информацию (например, бренд A более/менее предпочтителен для x% выборки по сравнению с брендом B и y% по сравнению с брендом C), затем задавая все необходимые вопросы, чтобы получить показатели для отчета. Ненужных вопросов следует избегать, поскольку они являются расходами для исследователя и нежелательным навязыванием для респондентов. Все вопросы должны способствовать достижению цели(ей) исследования.

Темы должны соответствовать системе отсчета респондентов, поскольку их опыт может повлиять на их интерпретацию вопросов. Респонденты должны иметь достаточно информации или опыта, чтобы правдиво отвечать на вопросы. Стиль письма должен быть разговорным, но при этом кратким и точным, а также соответствовать целевой аудитории и предмету. Формулировки должны быть простыми, без технического или специализированного словаря. Неоднозначные слова, двусмысленные структуры предложений и отрицания могут вызвать недопонимание, что может сделать результаты опроса недействительными. Двойные отрицания следует переформулировать как положительные.

Если вопрос опроса на самом деле содержит более одного вопроса , исследователь не будет знать, на какой из них отвечает респондент. Следует проявлять осторожность и задавать по одному вопросу за раз.

Вопросы и подготовленные ответы (для множественного выбора) должны быть нейтральными относительно предполагаемого результата. Предвзятый вопрос или анкета побуждают респондентов отвечать одним способом, а не другим. ^[20] Даже вопросы без предвзятости могут оставить у респондентов ожидания. Порядок или группировка вопросов также имеют значение; ранние вопросы могут повлиять на последующие вопросы. Нагруженные вопросы вызывают эмоциональные реакции и могут исказить результаты.

Список подготовленных ответов должен быть в совокупности исчерпывающим; одно из решений — использовать окончательную категорию для записи «другие ________». Возможные ответы также должны быть взаимоисключающими, без перекрытия. Респонденты не должны попадать более чем в одну категорию, например, как в категорию «женат», так и в категорию «холост» (в таком случае могут потребоваться отдельные вопросы о семейном положении и жизненной ситуации).

Многие люди не будут отвечать на личные или интимные вопросы. По этой причине вопросы о возрасте, доходе, семейном положении и т. д. обычно помещаются в конец опроса. Таким образом, даже если респондент отказывается отвечать на эти вопросы, он/она уже ответил(а) на вопросы исследования.

Визуальное представление вопросов на странице (или экране компьютера) и использование пустого пространства, цветов, изображений, диаграмм или другой графики может повлиять на интерес респондента или отвлечь от вопросов. Существует четыре основных элемента дизайна: слова (значение), числа (последовательность), символы (например, стрелки) и графика (например, текстовые поля). ^[1] В переведенных анкетах элементы дизайна также учитывают практику письма (например, испанские слова длиннее и требуют больше места на странице или на экране компьютера) и ориентацию текста (например, арабский язык читается справа налево), чтобы предотвратить пропуски данных. ^{[21] [22]}

Анкеты могут быть проведены исследовательским персоналом, волонтерами или респондентами самостоятельно. В любом случае необходимы четкие, подробные инструкции, соответствующие потребностям каждой аудитории

Методы сбора

Существует ряд каналов или режимов, которые можно использовать для администрирования анкеты. Каждый из них имеет свои сильные и слабые стороны, и поэтому исследователю обычно необходимо адаптировать свою анкету к режимам, которые он будет использовать. Например, анкета, предназначенная для заполнения на бумаге, может работать не так, как при администрировании по телефону. Эти эффекты режима могут быть достаточно существенными, чтобы поставить под угрозу достоверность исследования.

Использование нескольких режимов может улучшить доступ к интересующей группе людей, когда некоторые участники имеют разный доступ или особые предпочтения.

Формулировка вопроса

Формулировка вопроса может оказать большое влияние на то, как участник исследования ответит на него. ^[26] Таким образом, исследователи должны быть внимательны к формулировкам при написании вопросов опроса. ^[26] Исследователям важно помнить, что разные люди, культуры и субкультуры могут интерпретировать определенные слова и фразы по-разному. ^[26]

Существует два различных типа вопросов, которые исследователи опросов используют при написании анкеты: вопросы со свободным ответом и закрытые вопросы. ^[26] Вопросы со свободным ответом являются открытыми, тогда как закрытые вопросы обычно являются вопросами с множественным выбором. ^[26] Вопросы со свободным ответом полезны, поскольку они предоставляют респонденту большую гибкость, но их также очень трудно записывать и оценивать, что требует обширного кодирования. ^[26] Напротив, закрытые вопросы могут быть оценены и закодированы легче, но они уменьшают экспрессивность и спонтанность респондента. ^[26] Некоторые проблемы с формулировкой вопросов очевидны и могут быть преднамеренными, особенно в псевдоопросах, спонсоры которых ищут конкретные результаты. ^[27] Проблемы с формулировкой могут возникнуть в обычных темах в законных опросах ^[27] Если формулировка вопроса может повлиять на измерение относительно объективных вопросов, таких как возраст человека, количество детей в семье или частота просмотра новостей, то насколько сильно формулировка может повлиять на более субъективные явления? ^[27]

В целом, словарь вопроса должен быть очень простым и прямым, желательно менее двадцати слов. ^[26] Каждый вопрос должен быть отредактирован для удобства чтения и должен избегать наводящих или провокационных вопросов. ^[26] Если для измерения одной конструкции используется несколько вопросов, некоторые из вопросов должны быть сформулированы в противоположном направлении, чтобы избежать смещения ответа. ^[26]

Ответ респондента на открытый вопрос может быть впоследствии закодирован в шкале ответов ^[28] или проанализирован с использованием более качественных методов. Два исследования демонстрируют как важность формулировки вопроса, так и дифференцированное влияние, которое она может оказать на различные подгруппы граждан. ^[27] Первое исследование изучало, как использование терминов «глобальное потепление» и «изменение климата» повлияло на мнение американцев об изменении окружающей среды в мире. ^[29] Другое исследование также демонстрирует важность формулировки вопроса и то, как она влияет на подгруппы респондентов. ^[30]

Последовательность вопросов

Вопросы должны следовать логически, от общего к частному, от наименее к наиболее чувствительному, от фактических и поведенческих вопросов к отношениям и мнениям. При полуавтоматическом подходе они должны следовать от неподсобных к подсобным вопросам. Исследователь должен убедиться, что ответ на вопрос не зависит от предыдущих вопросов.

Согласно трехэтапной теории (также называемой теорией сэндвича), вопросы следует задавать в три этапа: ^{[ необходима ссылка ]}

1. вопросы отбора и установления связи
2. вопросы по продукту
3. демографические типы вопросов

Смотрите также

• Телефонное интервьюирование с использованием компьютера
• Персональное интервьюирование с использованием компьютера
• Автоматизированное компьютерное телефонное интервьюирование
• Официальная статистика
• Бюро статистики труда
• Анкеты
• Платный опрос
• Сбор данных
• Программное обеспечение НИПО
• Самостоятельное исследование
• СПСС
• Маркетинг
• Маркетинговые исследования
• Шкала (общественные науки)
• Статистическое исследование
• Количественное маркетинговое исследование
• Анализ предмета
• Теория ответов на вопросы
• Общая надежность
• Автоматическая генерация предметов

Ссылки

1. Dillman, Don A., Smyth, Jolene D., Christian, Leah Melani. 2014. Опросы по Интернету, телефону, почте и смешанному методу: индивидуальный метод проектирования, 4-е издание. John Wiley: Hoboken, NJ
2. Лорд, Фредерик М. (1968). Статистические теории результатов тестов на умственные способности . Addison-Wesley Publishing Company. OCLC  769112327.^{[ нужна страница ]}
3. Хейз, Дэвид Р. (февраль 1969). «Разделение надежности и стабильности в корреляции между тестами и ретестами». American Sociological Review . 34 (1): 93–101. doi :10.2307/2092790. JSTOR  2092790.
4. Эндрюс, Фрэнк М. (1984). «Конструктная валидность и компоненты ошибок в показателях обследования: структурный подход к моделированию». Public Opinion Quarterly . 48 (2): 409–42=42. doi :10.1086/268840.
5. Сарис, Виллем Э.; Галльхофер, Ирмтрауд Н., ред. (2014). Разработка, оценка и анализ анкет для исследований в области опросов . doi : 10.1002/9781118634646. ISBN 978-1-118-63461-5.^{[ нужна страница ]}
6. Остерлинд, Стивен Дж. (2002). «Определение, цель и характеристики элементов». Построение тестовых элементов . Оценка в образовании и социальных службах. Том 47. С. 17–57. doi :10.1007/0-306-47535-9_2. ISBN 0-7923-8077-0.
7. Халадина, Томас М.; Родригес, Майкл К. (2013). Разработка и проверка тестовых заданий . doi : 10.4324/9780203850381. ISBN 978-1-136-96198-4.^{[ нужна страница ]}
8. Robinson, Mark A. (май 2018 г.). «Использование многоэлементных психометрических шкал для исследований и практики в управлении человеческими ресурсами». Human Resource Management . 57 (3): 739–750. doi :10.1002/hrm.21852.
9. Presser, S.; Couper, MP; Lessler, JT; Martin, E.; Martin, J.; Rothgeb, JM; Singer, E. (март 2004 г.). «Методы тестирования и оценки вопросов опроса». Public Opinion Quarterly . 68 (1): 109–130. doi :10.1093/poq/nfh008.
10. Ротгеб, Дженнифер (2008). «Пилотный тест». В Лавракас, Пол (ред.). Энциклопедия методов исследования опросов . Sage Publishing . doi :10.4135/9781412963947. ISBN 9781412918084.
11. Tourangeau, Roger; Maitland, Aaron; Steiger, Darby; Yan, Ting (2020). «Структура принятия решений о методах оценки вопросов». Достижения в области проектирования, разработки, оценки и тестирования анкет . стр. 47–73. doi :10.1002/9781119263685.ch3. ISBN 978-1-119-26362-3.
12. Уиллис, Гордон (2005). Когнитивное интервьюирование . doi :10.4135/9781412983655. ISBN 978-0-7619-2804-1.^{[ нужна страница ]}
13. "Web Probing". GESIS - Институт социальных наук имени Лейбница . Получено 24 октября 2023 г.
14. Мартин, Элизабет (2004). «Виньетки и дебрифинг респондентов для разработки и оценки анкет». Методы тестирования и оценки анкет . С. 149–171. doi :10.1002/0471654728.ch8. ISBN 978-0-471-45841-8.
15. Sha, Mandy (2016-08-01). «Использование виньеток при оценке пунктов анкеты по азиатским языкам». Survey Practice . 9 (3): 1–8. doi :10.29115/SP-2016-0013.
16. Онгена, Ифке; Дейкстра, Вил (2006). «Методы кодирования поведения в ходе опросов» (PDF) . Журнал официальной статистики . 22 (3): 419–451.
17. Капоуз, Евгения; Джонсон, Тимоти; Холбрук, Эллисон (2020). «Поиск разъяснений по проблемным вопросам: влияние языка интервью и аккультурации респондентов». В Ша, Мэнди; Габель, Тим (ред.). Существенная роль языка в исследовании опросов . RTI Press. стр. 23–46. doi : 10.3768/rtipress.bk.0023.2004 . ISBN 978-1-934831-23-6.
18. Ян, Т.; Кройтер, Ф.; Туранжо, Р. (декабрь 2012 г.). «Оценка вопросов опроса: сравнение методов». Журнал официальной статистики . 28 (4): 503–529.
19. Айзпуруа, Ева (2020). «Методы предварительного тестирования в кросс-культурных исследованиях». В Ша, Мэнди; Габель, Тим (ред.). Существенная роль языка в исследовании опросов . стр. 129–150. doi :10.3768/rtipress.bk.0023.2004. ISBN 978-1-934831-24-3.
20. Грэфф, Тимоти Р. (2005). «Смещение ответа». Энциклопедия социальных измерений . С. 411–418. doi :10.1016/B0-12-369398-5/00037-2. ISBN 978-0-12-369398-3.
21. Пан, Юлин; Ша, Мэнди; Пак, Хёнджу (2019). Социолингвистика перевода опросов . doi : 10.4324/9780429294914. ISBN 978-0-429-29491-4.^{[ нужна страница ]}
22. М. Мэнди, Ша; Ванг, Кевин (2013). «Сравнение результатов испанского и английского почтового опроса: влияние размещения инструкций на пропуски элементов». Методы опроса . doi :10.13094/SMIF-2013-00006.
23. Kreuter, F.; Presser, S.; Tourangeau, R. (декабрь 2008 г.). «Ошибки социальной желательности в CATI, IVR и веб-опросах: эффекты режима и чувствительности вопроса». Public Opinion Quarterly . 72 (5): 847–865. doi :10.1093/poq/nfn063.
24. Холбрук, Эллисон Л.; Грин, Мелани К.; Кросник, Джон А. (2003). «Телефонное и личное интервьюирование национальных вероятностных выборок с длинными анкетами». Public Opinion Quarterly . 67 (1): 79–125. doi :10.1086/346010.
25. Респициус, Рвехумбиза (2010) ^{[ нужна полная цитата ]}
26. Шонесси, Дж.; Цехмейстер, Э.; Джинн, З. (2011). Методы исследования в психологии (9-е изд.). Нью-Йорк, Нью-Йорк: McGraw Hill . С. 161–175. ISBN 9780078035180.
27. Эшер, Херб (2017). Опросы и общественность, 9-е издание .
28. Мелленберг, Г. Дж. (2008). Глава 9: Опросы. В HJ Adèr & GJ Mellenbergh (ред.) (с участием DJ Hand), Консультирование по методам исследования: помощник консультанта (стр. 183–209). Хёйзен, Нидерланды: Johannes van Kessel Publishing.
29. Шульдт, JP; Конрат, С.Х.; Шварц, Н. (1 марта 2011 г.). "«Глобальное потепление» или «изменение климата»?: Потепление планеты зависит от формулировки вопроса». Public Opinion Quarterly . 75 (1): 115–124. doi :10.1093/poq/nfq073.
30. Маккарти, Джастин (18 июня 2014 г.). «Семь из десяти американцев поддерживают эвтаназию». Gallup .

Дальнейшее чтение

• Рейнольдс, Сесил Р.; Альтманн, Роберт А.; Аллен, Дэниел Н. (2021). «Разработка элементов». Освоение современного психологического тестирования . стр. 223–262. doi :10.1007/978-3-030-59455-8_6. ISBN 978-3-030-59454-1.