В опросных исследованиях процент ответов , также известный как процент завершения или коэффициент возврата , представляет собой количество людей, ответивших на опрос, разделенное на количество людей в выборке . Обычно он выражается в процентах . Этот термин также используется в прямом маркетинге для обозначения количества людей, откликнувшихся на предложение.
Общий консенсус в академических опросах заключается в выборе одного из шести определений, обобщенных Американской ассоциацией исследований общественного мнения (AAPOR). [1] Эти определения одобрены Национальным исследовательским советом и Журналом Американской медицинской ассоциации, а также другими общепризнанными учреждениями. [ нужна ссылка ] Они:
Шесть определений AAPOR различаются в зависимости от того, завершены ли опросы частично или полностью, и как исследователи обращаются с неизвестными нереспондентами. Например, определение № 1 НЕ включает в числитель частично завершенные опросы, а определение № 2 – включает. Определения 3–6 касаются неизвестного соответствия критериям потенциальных респондентов, с которыми не удалось связаться. Например, нет ответа у дверей 10 домов, которые вы пытались обследовать. Возможно, в 5 из тех, кого вы уже знаете, проживают люди, которые подходят для вашего опроса, основываясь на том, что соседи рассказали вам, кто там жил, но остальные 5 совершенно неизвестны. Возможно, жители соответствуют вашей целевой группе населения, а может быть, и нет. Это может учитываться, а может и не учитываться в вашем показателе ответов, в зависимости от того, какое определение вы используете.
Пример: если по почте было отправлено 1000 опросов, а 257 были успешно заполнены (полностью) и возвращены, то процент откликнувшихся составит 25,7%.
Доля ответивших на опрос является результатом деления количества людей, которые были опрошены, на общее количество людей в выборке, которые имели право на участие и должны были быть опрошены. [2] Низкий уровень ответов может привести к смещению выборки , если отсутствие ответов среди участников неодинаково в отношении воздействия и / или результата. Такая систематическая ошибка известна как систематическая ошибка отсутствия ответов .
На протяжении многих лет уровень ответов на опросы рассматривался как важный показатель качества опроса. Многие наблюдатели полагали, что более высокий уровень ответов обеспечивает более точные результаты опроса (Aday 1996; Babbie 1990; Backstrom и Hursh 1963; Rea и Parker 1997). Но поскольку измерение связи между отсутствием ответов и точностью статистических данных опроса является сложным и дорогостоящим, до недавнего времени лишь немногие тщательно спланированные исследования предоставили эмпирические данные, подтверждающие последствия более низкого уровня ответов.
Такие исследования, наконец, были проведены в последние годы, и некоторые из них пришли к выводу, что затраты на увеличение частоты ответов часто не оправданы, учитывая разницу в точности опросов.
Об одном из первых примеров открытия сообщили Виссер, Кросник, Маркетт и Кертин (1996), которые показали, что опросы с более низким уровнем ответов (около 20%) дали более точные измерения, чем опросы с более высоким уровнем ответов (около 60 или 70%). . [3] В другом исследовании Keeter et al. (2006) сравнили результаты 5-дневного опроса с использованием обычной методологии Исследовательского центра Pew (с уровнем ответа 25%) с результатами более тщательного опроса, проведенного в течение гораздо более длительного полевого периода и достигшего более высокого уровня ответа - 50%. В 77 из 84 сравнений два опроса дали статистически неотличимые результаты. Среди вопросов, по которым были выявлены существенные различия в двух опросах, различия в доле людей, давших тот или иной ответ, варьировались от 4 до 8 процентных пунктов. [4]
Исследование Curtin et al. (2000) проверили влияние более низкого уровня ответов на оценки Индекса потребительских настроений (ICS). Они оценили влияние исключения респондентов, которые изначально отказались сотрудничать (что снижает процент ответов на 5–10 процентных пунктов), респондентов, которым для завершения интервью потребовалось более пяти звонков (снижение уровня ответов примерно на 25 процентных пунктов), а также тех, кто требовалось более двух звонков (сокращение примерно на 50 процентных пунктов). Они не обнаружили влияния исключения этих групп респондентов на оценки ICS с использованием ежемесячных выборок из сотен респондентов. По годовым оценкам, основанным на тысячах респондентов, исключение людей, которым требовалось больше звонков (хотя и не первоначально отказавшихся), было очень небольшим. [5]
Холбрук и др. (2005) оценили, связаны ли более низкие показатели ответов с меньшей невзвешенной демографической репрезентативностью выборки. Изучив результаты 81 национального опроса с уровнем ответов, варьирующимся от 5 до 54 процентов, они обнаружили, что опросы с гораздо более низким уровнем ответа снизили демографическую репрезентативность в пределах исследуемого диапазона, но ненамного. [6]
Чунг и др. (2013) изучили уровень ответов сообщества на отправленную по почте анкету о функциональных желудочно-кишечных расстройствах. Уровень ответов на опрос сообщества составил 52%. Затем они взяли случайную выборку из 428 пациентов, ответивших на лечение, и 295 пациентов, не ответивших на лечение, для извлечения медицинских данных и сравнили тех, кто не ответил на лечение, с теми, кто не ответил на лечение. Они обнаружили, что респонденты имели значительно более высокий индекс массы тела и чаще обращались за медицинской помощью по поводу проблем, не связанных с желудочно-кишечным трактом. Однако, за исключением дивертикулеза и кожных заболеваний, не было существенной разницы между ответившими и не ответившими на лечение с точки зрения каких-либо желудочно-кишечных симптомов или конкретного медицинского диагноза. [7]
Двир и Гафни (2018) исследовали, влияет ли количество предоставляемой информации на скорость отклика потребителей. В серии крупномасштабных веб-экспериментов ( n = 535 и n = 27 900) они сравнили варианты маркетинговых веб-страниц (также называемых целевыми страницами ), сосредоточив внимание на том, как изменения в объеме контента влияют на готовность пользователей предоставлять свою электронную почту. адрес (поведение, называемое коэффициентом конверсии в терминах маркетинга). Результаты показали значительно более высокий уровень ответов на более коротких страницах, что указывает на то, что, в отличие от более ранних работ, не все теории скорости ответа эффективны в Интернете. [8]
Тем не менее, несмотря на эти недавние исследования, более высокий уровень ответов предпочтителен, поскольку недостающие данные не являются случайными. [9] Не существует удовлетворительного статистического решения проблемы отсутствия данных, которые не могут быть случайными. Одним из предлагаемых методов борьбы с низким уровнем ответов на опрос является предположение о крайней предвзятости респондентов. Высокий процент ответов (>80%) в небольшой случайной выборке предпочтительнее, чем низкий уровень ответов в большой выборке. [10]