С применением вероятностной выборки в 1930-х годах опросы стали стандартным инструментом для эмпирических исследований в социальных науках , маркетинге и официальной статистике. [1] Методы, используемые при сборе данных опроса, представляют собой любой из ряда способов, с помощью которых данные могут быть собраны для статистического опроса . Это методы, которые используются для сбора информации из выборки лиц систематическим образом. Сначала был переход от традиционного интервьюирования с помощью бумаги и карандаша (PAPI) к компьютерному интервьюированию (CAI). Теперь очные опросы (CAPI), телефонные опросы ( CATI ) и почтовые опросы (CASI, CSAQ) все чаще заменяются веб-опросами. [2] Кроме того, удаленные интервьюеры, возможно, могли бы поддерживать вовлеченность респондента, снижая при этом затраты по сравнению с личными интервьюерами. [3]
Способы сбора данных
Выбор между режимами администрирования зависит от нескольких факторов, включая 1) стоимость, 2) охват целевой группы (включая предпочтения определенных режимов, присущие конкретной группе [4] ), 3) гибкость в постановке вопросов, 4) готовность респондентов участвовать и 5) точность ответов. Различные методы создают эффекты режимов , которые изменяют то, как отвечают респонденты. Наиболее распространенные режимы администрирования перечислены под следующими заголовками. [5]
Мобильные опросы
Мобильный сбор данных или мобильные опросы становятся все более популярным методом сбора данных. Сегодня более 50% опросов открываются на мобильных устройствах. [6] Опрос, форма, приложение или инструмент сбора находятся на мобильном устройстве, таком как смартфон или планшет. Эти устройства предлагают инновационные способы сбора данных и устраняют трудоемкий «ввод данных» (данных бумажной формы в компьютер), который задерживает анализ и понимание данных. Устраняя бумагу, мобильный сбор данных также может значительно сократить расходы: одно исследование Всемирного банка в Гватемале обнаружило 71%-ное снижение расходов при использовании мобильного сбора данных по сравнению с предыдущим подходом на основе бумажных документов. [7]
Помимо высокого уровня проникновения мобильных телефонов, [8] [9] дополнительными преимуществами являются более быстрое время отклика и возможность охватить ранее труднодоступные целевые группы. Таким образом, мобильные технологии позволяют маркетологам, исследователям и работодателям создавать реальное и значимое мобильное взаимодействие в средах, отличных от традиционных перед настольным компьютером. [10] [11] Однако даже при использовании мобильных устройств для ответов на веб-опросы большинство респондентов по-прежнему отвечают из дома. [12] [13]
SMS/IM-опросы
SMS-опросы могут достигать любого телефона, на любом языке и в любой стране. Поскольку они не зависят от доступа в Интернет, а ответы можно отправлять, когда это удобно, они являются подходящим каналом сбора данных мобильного опроса для многих ситуаций, требующих быстрых ответов большого объема. В результате SMS-опросы могут доставить 80% ответов менее чем за 2 часа [14] и часто по гораздо более низкой цене по сравнению с личными опросами из-за устранения расходов на поездки/персонал. [15] IM похож на SMS, за исключением того, что номер мобильного телефона не требуется. Функции IM доступны в автономном программном обеспечении, таком как Skype, или встроены в веб-сайты, такие как Facebook и Google. [3]
Онлайн-опросы
Онлайн ( интернет ) опросы становятся важным инструментом исследования для различных областей исследований, включая маркетинговые, социальные и официальные статистические исследования. Согласно ESOMAR, онлайн-исследования опросов составили 20% мировых расходов на сбор данных в 2006 году. [1] Они предлагают возможности, превосходящие те, которые доступны для любого другого типа самостоятельно заполняемых анкет. [16] Онлайн-панели потребителей также широко используются для проведения опросов, но их качество считается низким, поскольку участники панели являются постоянными участниками и, как правило, устают. Однако при оценке качества измерения (определяемого как произведение надежности и валидности) с использованием подхода с несколькими чертами и несколькими методами (MTMM) некоторые исследования обнаружили вполне приемлемое качество [17] [18] и даже то, что качество серии вопросов в онлайн-панели с подпиской (Netquest) было очень похоже на качество измерения для тех же вопросов, заданных в Европейском социальном исследовании (ESS) , которое является личным опросом. [19]
ВМС США 030618-N-2893B-001 Информационный техник 1-го класса Аннет Лижер потратит несколько минут на заполнение анкеты BUPERS Online Uniform Survey
Некоторые исследования сравнивали качество личных опросов и/или телефонных опросов с качеством онлайн-опросов для отдельных вопросов, а также для более сложных концепций, измеряемых с помощью более чем одного вопроса (также называемых композитными баллами или индексами). [20] [21] [22] Сосредоточившись только на вероятностных опросах (также для онлайн-опросов), они обнаружили, что в целом личные (с использованием карточек) и веб-опросы имеют довольно схожие уровни качества измерений, тогда как телефонные опросы показали худшие результаты. Другие исследования, сравнивающие анкеты на бумаге и карандаше с веб-анкетами, показали, что сотрудники предпочитают подходы онлайн-опросов формату с бумагой и карандашом. Существуют также опасения по поводу того, что называется «вбросом бюллетеней», когда сотрудники дают повторные ответы на один и тот же опрос. Некоторые сотрудники также обеспокоены конфиденциальностью. Даже если они не указывают свои имена при ответе на опрос компании, могут ли они быть уверены, что их анонимность защищена? Такие опасения мешают некоторым сотрудникам выражать свое мнение. [23]
Преимущества онлайн-опросов
Веб-опросы быстрее, проще и дешевле. [2] Однако более низкие затраты не так просты на практике, поскольку они тесно связаны с ошибками. Поскольку сравнение показателей ответов с другими режимами опросов обычно невыгодно для онлайн-опросов, попытки достичь более высокого уровня ответов (например, с помощью традиционных методов привлечения) могут существенно увеличить затраты. [1]
Весь период сбора данных значительно сокращается, поскольку все данные могут быть собраны и обработаны чуть более чем за месяц. [2]
Взаимодействие между респондентом и анкетой более динамично по сравнению с опросами по электронной почте или на бумаге. [16] Онлайн-опросы также менее навязчивы и меньше страдают от эффектов социальной желательности. [2]
Сложные схемы пропуска могут быть реализованы способами, которые в основном невидимы для респондента. [16]
Для отдельных вопросов могут быть предусмотрены всплывающие инструкции, чтобы оказать помощь именно в тех вопросах, где требуется помощь. [16]
Вопросы с длинными списками вариантов ответов можно использовать для немедленного кодирования ответов на определенные вопросы, которые обычно задаются в открытой форме в бумажных анкетах. [16]
Онлайн-опросы могут быть адаптированы к ситуации (например, респондентам может быть разрешено сохранять частично заполненную форму, в анкету может быть предварительно загружена уже имеющаяся информация и т. д.) [2] .
Онлайн-опросники можно улучшить, применив тестирование удобства использования, при котором удобство использования измеряется с учетом скорости выполнения задачи, частоты ошибок и удовлетворенности пользователя интерфейсом. [2]
Ключевые методологические вопросы онлайн-опросов
Выборка . Разница между вероятностными выборками (где вероятности включения для всех единиц целевой совокупности известны заранее) и невероятностными выборками (которые часто требуют меньше времени и усилий, но, как правило, не поддерживают статистический вывод) имеет решающее значение. Вероятностные выборки сильно подвержены проблемам неполного охвата (не все члены общей совокупности имеют доступ к Интернету) и проблемам фрейма (приглашения на онлайн-опросы удобнее всего рассылать по электронной почте, но нет каталогов электронной почты общей совокупности, которые можно было бы использовать в качестве фрейма выборки). Поскольку проблемы охвата и фрейма могут существенно повлиять на качество данных, о них следует надлежащим образом сообщать при распространении результатов исследования. [1] [24]
Приглашения к онлайн-опросам. Из-за отсутствия выборочных рамок многие приглашения к онлайн-опросам публикуются в виде URL-ссылки на веб-сайтах или в других средствах массовой информации, что приводит к смещению выборки, которое находится вне контроля исследования, и к неслучайным выборкам. Традиционные способы привлечения, такие как телефонные или почтовые приглашения к веб-опросам, могут помочь преодолеть проблемы вероятностной выборки в онлайн-опросах. Однако такие подходы сталкиваются с проблемами значительно более высоких затрат и сомнительной эффективности. [1]
Неответ . Уровень ответов на онлайн-опросы, как правило, низок и также сильно варьируется — от менее 1% в корпоративных опросах с приглашениями по электронной почте до почти 100% в опросах конкретных участников. Помимо отказа от участия, прекращения опроса во время процесса или неответа на определенные вопросы, в онлайн-опросах можно наблюдать несколько других моделей неответов, таких как скрытые респонденты и сочетание частичного и элементарного неответа. Уровень ответов можно увеличить, предлагая респондентам денежное или какое-либо другое поощрение, связываясь с респондентами несколько раз (последующее наблюдение) и сохраняя сложность анкеты как можно ниже. [1] Использование поощрения для получения ответа имеет свои недостатки. Непредвзятые ответы могут быть подвергнуты сомнению в такой ситуации. Самый конкретный способ получить обратную связь — опубликовать то, что делается с результатами. Предпринимать конкретные действия на основе обратной связи и показывать это клиентской базе чрезвычайно мотивирует клиентов продолжать позволять своему голосу быть услышанным.
Склонность к согласию . Из-за феномена, изначально присущего человеческой природе, многие люди обладают склонностью к согласию и более склонны соглашаться с утверждениями, чем не соглашаться — независимо от их содержания. Часто эти люди видят в спрашивающем эксперта в своей области, что заставляет их с большей вероятностью позитивно реагировать на заданный вопрос.
Проблемы платформы . Незнание используемой платформы может вызвать путаницу у участников и клиентов или ограничить круг желающих и способных проходить опросы на цифровых платформах. [25]
Дизайн анкеты . Хотя современные веб-анкеты предлагают ряд особенностей дизайна (различные типы вопросов, изображения, мультимедиа), использование таких элементов должно быть ограничено в той мере, которая необходима респондентам для понимания вопросов или для стимулирования ответа. Это не должно влиять на их ответы, поскольку это означало бы более низкую достоверность и надежность данных. Соответствующий дизайн анкеты может помочь снизить погрешность измерения, которая может возникнуть также из-за респондентов или самого режима опроса (мотивация респондента, компьютерная грамотность, способности, проблемы конфиденциальности и т. д.). [1]
Корректировки после опроса . Были разработаны различные надежные процедуры для ситуаций, когда выборка отклоняется от вероятностного отбора, или когда мы сталкиваемся с проблемами не покрытия и неответов. Стандартные процедуры статистического вывода (например, расчеты доверительного интервала и проверка гипотез) по-прежнему требуют вероятностной выборки. Фактическая практика опросов, особенно в маркетинговых исследованиях и опросах общественного мнения, которая в значительной степени игнорирует принципы вероятностных выборок, все чаще требует от статистической профессии указания условий, в которых могут работать невероятностные выборки. [1]
Эти проблемы и возможные пути их решения обсуждаются в ряде источников. [26] [27]
Телефон
В телефонных опросах интервьюеры побуждают людей из выборки отвечать, что приводит к более высоким показателям ответов. [28] Существует некоторая вероятность предвзятости интервьюера (например, некоторые люди могут быть более склонны обсуждать деликатную проблему с женщиной-интервьюером, чем с мужчиной). В зависимости от местной структуры тарифов на звонки и покрытия этот метод может быть экономически эффективным и может быть подходящим для больших национальных (или международных) выборочных рамок с использованием традиционных телефонов или телефонного интервьюирования с помощью компьютера (CATI). Поскольку он основан на аудио, этот режим не может использоваться для неаудиальной информации, такой как графика, демонстрации или образцы вкуса/запаха.
Почта
В зависимости от местных почтовых расходов, почтовые опросы могут быть относительно более дешевыми по сравнению с другими способами. Полевой метод, как правило, занимает больше времени — часто несколько месяцев — до того, как опросы будут возвращены и можно будет начать статистический анализ. Анкету можно вручить респондентам или отправить им по почте, но во всех случаях она возвращается исследователю по почте. Поскольку интервьюер отсутствует, почтовый способ не подходит для вопросов, которые могут потребовать разъяснений. Однако нет предвзятости интервьюера, и респонденты могут отвечать по своему усмотрению (что позволяет им разбивать длинные опросы; также полезно, если им нужно проверить записи, чтобы ответить на вопрос). Чтобы исправить предвзятость неответов, можно провести экстраполяцию по волнам. [29] Показатели ответов можно улучшить, используя почтовые панели (члены панели должны согласиться на участие) и предоплаченные денежные поощрения, [30] но показатели ответов зависят от класса почты, через которую был отправлен опрос. [31] Панели можно использовать в продольных планах, где одни и те же респонденты опрашиваются несколько раз.
Визуальное представление вопросов опроса влияет на то, как респонденты отвечают на них; с четырьмя основными элементами дизайна: слова (значение), числа (последовательность), символы (например, стрелки) и графика (например, текстовые поля). [16] В переводных опросах письменная практика (например, испанские слова длиннее и требуют больше места для печати) и ориентация текста (например, арабский язык читается справа налево) должны учитываться в визуальном дизайне анкеты, чтобы свести к минимуму пропуски данных. [32] [33]
Лицом к лицу
Режим «лицом к лицу» подходит для мест, где не развиты телефон или почта. Как и в телефонном режиме, присутствие интервьюера несет риск предвзятости интервьюера.
Видеоинтервью
Видеоинтервью похоже на личное интервью, за исключением того, что интервьюер и респондент физически не находятся в одном месте, а общаются посредством видеоконференций, таких как Zoom или Teams . [3]
Виртуальные миры
Интервью виртуального мира проводятся в онлайн-пространстве, созданном для виртуального взаимодействия с другими пользователями или игроками, например, Second Life . И респондент, и интервьюер выбирают аватары , чтобы представлять себя и взаимодействовать с помощью функции чата или реального голосового аудио. [3]
Чат-боты
Чат -бот регулярно используется в маркетинге и продажах для сбора отзывов об опыте. При использовании для сбора ответов на опросы опросы чат-ботов должны быть короткими, обученными говорить дружелюбным человеческим тоном и использовать простой в навигации интерфейс с более продвинутым искусственным интеллектом . [34]
Смешанные опросы
Исследователи могут комбинировать несколько вышеперечисленных методов для сбора данных. Например, исследователи могут приглашать покупателей в торговые центры и отправлять желающим участникам анкеты по электронной почте. С внедрением компьютеров в процесс опроса режим опроса теперь включает комбинации различных подходов или смешанные режимы. Некоторые из наиболее распространенных методов: [35] [16]
Компьютерное личное интервью (CAPI): компьютер отображает вопросы на экране, интервьюер зачитывает их респонденту, а затем вводит ответы респондента.
Аудиокомпьютерное самоинтервьюирование (аудио CASI): респондент управляет компьютером, компьютер отображает вопрос на экране и воспроизводит записи вопросов респонденту, который затем вводит свои ответы.
Интерактивный голосовой ответ (IVR): компьютер воспроизводит записи вопросов респондентам по телефону, которые затем отвечают, используя клавиатуру телефона или произнося свои ответы вслух.
^ abcdefgh Vehovar, V.; Lozar Manfreda, K. (2008). «Обзор: онлайн-опросы». В Fielding, N.; Lee, RM; Blank, G. (ред.). The SAGE Handbook of Online Research Methods . London: SAGE. pp. 177–194. ISBN978-1-4129-2293-7.
^ abcdef Бетлехем, Дж.; Биффиньянди, С. (2012). Справочник по веб-опросам . Справочники Wiley по методологии опросов. Том 567. Нью-Джерси: John Wiley & Sons. ISBN978-1-118-12172-6.
^ abcd Кук, Сара; Ша, Мэнди (2016-03-15). «Варианты технологий для вовлечения респондентов в самостоятельное заполнение анкет и дистанционное интервьюирование». RTI Press . doi : 10.3768/rtipress.2016.op.0026.1603 .
^ Эгли, Джон; Мейерсон, Бет; Элдридж, Лори; Смит, Карриан; Арора, Прачи; Ричардсон, Шанель; Миллер, Тара (февраль 2019 г.). «Только факс, пожалуйста: обновление электронных/гибридных методов для опроса фармацевтов». Исследования в области социальной и административной фармации . 15 (2): 226–227. doi :10.1016/j.sapharm.2018.10.028. PMID 30416040. S2CID 53281364.
^ Мелленберг, Г. Дж. (2008). «Обзоры». В Adèr, HJ ; Мелленберг, Г. Дж. (ред.). Консультирование по методам исследования: компаньон консультанта . Хёйзен, Нидерланды: Johannes van Kessel Publishing. стр. 183–209. ISBN978-90-79418-01-5.
^ "Мобильный-готов. Управляемый событиями. Богатый функционал. Онлайн-опросы клиентов". QuestBack . Архивировано из оригинала 23 октября 2015 г.
^ Шустер, Кристиан; Перес Брито, Карлос. «Оценка денежных переводов в Гватемале». Магпи . Проверено 27 ноября 2016 г. .
^ Ревилла, М., Тонинелли, Д., Очоа, К. и Г. Лоу (2015). «У кого есть доступ к мобильным устройствам в онлайн-панели для голосования? Анализ потенциальных респондентов для мобильных опросов». В D. Toninelli, R. Pinter и P. de Pedraza (редакторы), Методы мобильных исследований: возможности и проблемы методологий мобильных исследований, стр. 119–139 (глава 8). Лондон: Ubiquity Press. ISBN 978-1-909188-53-2 . DOI: https://dx.doi.org/10.5334/bar.h. Лицензия: CC-BY 4.0.
^ Каллегаро, Марио (3 октября 2013 г.). «Знаете ли вы, какое устройство использовал ваш респондент для прохождения вашего онлайн-опроса?». Survey Practice . 3 (6) – через www.surveypractice.org.
^ "Мобильное взаимодействие становится стандартной операционной процедурой". Survey Anyplace. Архивировано из оригинала 2014-02-08.
^ Бургер, Кристоф; Ример, Валентин; Графенедер, Юрген; Войсечлегер, Бьянка; Видович, Драгана; Хергович, Андреас (2010). «Охват мобильного респондента: детерминанты использования мобильных телефонов на высоком уровне среди группы с высоким охватом» (PDF) . Social Science Computer Review . 28 (3): 336–349. doi :10.1177/0894439309353099. S2CID 61640965.
^ Мавлетова, Айгуль; Купер, Мик П. (22 ноября 2013 г.). «Чувствительные темы в опросах на ПК и мобильных веб-сайтах: есть ли разница?». Методы исследования опросов . 7 (3): 191–205. doi :10.18148/srm/2013.v7i3.5458.
^ Тонинелли, Д.; Ревилла, М. (2016). «Смартфоны против ПК: влияет ли устройство на опыт веб-опроса и погрешность измерения для деликатных тем? Повторение эксперимента Мавлетовой и Купера 2013 года». Методы исследования опросов . 10 (2): 153–169. doi :10.18148/srm/2016.v10i2.6274.
^ Global, OnePoint. "SMS-опросы". OnePoint Global . Получено 27 июня 2016 г.
^ Селаникио, Джоэл. «Получение большего количества данных за меньшие деньги». Magpi . Получено 9 ноября 2016 г.
^ abcdefg Диллман, DA (2006). Почтовые и интернет-опросы: индивидуальный метод проектирования (2-е изд.). Нью-Джерси: John Wiley & Sons. ISBN978-0-470-03856-7.
^ Ревилла, Мелани; Очоа, Карлос (14 декабря 2015 г.). «Качество различных шкал в онлайн-опросе в Мексике и Колумбии». Журнал политики в Латинской Америке . 7 (3): 157–177. doi : 10.1177/1866802X1500700305 . hdl : 10230/28347 . S2CID 56357343 – через journals.sub.uni-hamburg.de.
^ Ревилла, М. и У. Э. Сарис (2015). «Оценка и сравнение качества различных шкал онлайн-опроса с использованием подхода MTMM». В Engel, U. (ред.), Survey Measurements: Techniques, Data Quality and sources of Error. Глава 5, стр. 53-74. Campus. Франкфурт. Нью-Йорк. ISBN 9783593502809. Доступно на press.uchicago.edu.
^ Ревилла, Мелани; Сарис, Виллем; Лёве, Герман; Очоа, Карлос (26 мая 2015 г.). «Может ли невероятностная онлайн-панель достичь качества вопросов, аналогичного Европейскому социальному исследованию?». Международный журнал исследований рынка . 57 (3): 395–412. doi :10.2501/IJMR-2015-034. S2CID 167732979.
^ Ревилла, М. (2015). «Сравнение оценок качества в смешанном и одномодовом дизайне: эксперимент из Европейского социального исследования», Качество и количество. 2015, 49(3): 1219-1238. Впервые опубликовано онлайн 13 июня 2014 г. DOI: 10.1007/s11135-014-0044-5
^ Ревилла, Мелани А. (30 декабря 2012 г.). «Инвариантность измерения и качество составных оценок в очном и веб-опросе». Методы исследования опросов . 7 (1): 17–28. doi :10.18148/srm/2013.v7i1.5098.
^ Ревилла, Мелани (31 декабря 2010 г.). «Качество в однорежимных и смешанных конструкциях: многомерный подход». Методы обзорных исследований . 4 (3): 151–164. doi :10.18148/srm/2010.v4i3.4278.
^ Шульц и Шульц, Дуэйн (2010). Психология и работа сегодня . Нью-Йорк: Prentice Hall. стр. 40. ISBN978-0-205-68358-1.
^ Райт, Кевин (1 апреля 2005 г.). «Исследование населения, использующего Интернет: преимущества и недостатки исследований онлайн-опросов, программных пакетов для создания онлайн-опросников и веб-сервисов опросов». Журнал компьютерно-опосредованной коммуникации . 10 (3): 1034. Получено 6 марта 2018 г.
^ Двиведи, Йогеш К.; Исмагилова, Эльвира; Хьюз, Д. Лори; Карлсон, Джейми; Фильери, Раффаэле; Якобсон, Дженна; Джейн, Варша; Карджалуото, Хейкки; Кефи, Хаджер; Кришен, Анджала С.; Кумар, Викрам; Рахман, Мохаммад М.; Раман, Рамакришнан; Раушнабель, Филипп А.; Роули, Дженнифер (2021-08-01). «Определение будущего исследований в области цифрового и социального маркетинга: перспективы и исследовательские предложения». Международный журнал по управлению информацией . 59 : 102168. doi : 10.1016/j.ijinfomgt.2020.102168 . hdl : 10454/18041 . ISSN 0268-4012.
^ Салант, Присцилла и Дон А. Диллман. «Как провести собственный опрос: ведущие специалисты дают вам проверенные методы получения надежных результатов» (1995).
^ Калтон, Грэм. Введение в выборочное обследование. Том 35. Sage, 1983.
^ Гроувс, Р. М. (1989). Расходы на обследование и ошибки обследования . Нью-Йорк: Wiley. ISBN978-0-471-67851-9.
^ Дж. Скотт Армстронг и Терри С. Овертон (1977). «Оценка смещения неответов в почтовых опросах» (PDF) . Журнал маркетинговых исследований . 14 (3): 396–402. CiteSeerX 10.1.1.36.7783 . doi :10.2307/3150783. JSTOR 3150783. Архивировано из оригинала (PDF) 2010-06-20.
^ Дж. Скотт Армстронг (1975). «Денежные стимулы в почтовых опросах» (PDF) . Public Opinion Quarterly . 39 : 111–116. doi :10.1086/268203. S2CID 146397107.
^ Дж. Скотт Армстронг (1990). «Класс почты влияет на частоту ответов на отправленные по почте анкеты: данные метаанализа (с ответом Ли Харви)» (PDF) . Журнал Общества изучения рынка . 32 : 469–472.
^ Ван, Кевин; Ша, М. Мэнди (01.03.2013). «Сравнение результатов испанского и английского почтового опроса: влияние размещения инструкций на пропуски элементов». Методы опроса: Взгляд из области (SMIF) . doi : 10.13094/SMIF-2013-00006 . ISSN 2296-4754.
^ Дандапани, Арундати (2020-04-30). «Перепроектирование разговоров с помощью искусственного интеллекта (глава 11)». В Ша, Мэнди (ред.). Существенная роль языка в исследовании опросов. RTI Press. стр. 221–230. doi : 10.3768/rtipress.bk.0023.2004 . ISBN978-1-934831-24-3.
^ Гроувс, Р. М.; Фаулер, Ф. Дж.; Купер, М. П.; Лепковски, Дж. М.; Сингер, Э.; Туранго, Р. (2009). Методология опроса . Нью-Джерси: John Wiley & Sons. ISBN978-1-118-21134-2.
