stringtranslate.com

Когнитивное предварительное тестирование

Когнитивное предварительное тестирование , или когнитивное интервьюирование , — это метод полевого исследования , при котором собираются данные о том, как субъект отвечает на вопросы интервью. Это оценка теста или анкеты перед его проведением. [1] Он позволяет исследователям собирать обратную связь относительно ответов на опрос и используется для оценки того, измеряет ли вопрос ту конструкцию, которую намеревался получить исследователь. Собранные данные затем используются для корректировки проблемных вопросов в анкете перед проведением опроса для всей выборки людей. [2] [3] [4] [5] [6]

Когнитивное интервьюирование обычно собирает следующую информацию от участников: оценки того, как субъект строил свои ответы; объяснения того, что субъект интерпретирует как значение вопросов; сообщения о любых трудностях, которые возникли у субъекта при ответе на вопросы; и все остальное, что раскрывает обстоятельства ответов субъекта.

Когнитивное предварительное тестирование считается необходимым для проверки достоверности интервью, теста или анкеты. [7]

Цель

Целью этих предварительных тестов является:

Типы

В целом, существует множество методов, которые практикуются при проведении когнитивного предварительного тестирования. В том числе: традиционное предварительное тестирование, когнитивное интервьюирование, кодирование поведения, опрос респондентов, групповое обсуждение, экспертная оценка, отслеживание взгляда и веб-зондирование. [1]

Обычное предварительное тестирование - Это похоже на репетицию, которая пытается имитировать и моделировать то, как будет выглядеть реальный тест или собеседование. Имитация реального теста или собеседования, которая происходит до реального. Какой бы метод ни использовался в реальном интервью или тесте, он должен использоваться и в этом методе предварительного тестирования. [1] [8]

Когнитивное предварительное тестирование (когнитивное интервьюирование) - очень похоже на обычное предварительное тестирование. Однако участников активно спрашивают о вопросах, когда они проходят тест. Проводится во время интервью или теста. [1] [6]

Они также могут быть представлены различными способами, включая: письменные опросы, устные опросы, электронные опросы [4]

Методы

Существуют определенные приемы, которые интервьюер применяет в ходе когнитивного предварительного тестирования, чтобы извлечь информацию, необходимую для проведения хорошего интервью или анкетирования.

Техника размышлений вслух. Это происходит, когда интервьюер просит интервьюируемого озвучить свои мысли и то, как он пришел к своему ответу. Это может быть одновременно (во время) или ретроспективно (после) интервью. [1] [2]

Техника зондирования - это происходит, когда интервьюер задает интервьюируемому один или несколько дополнительных вопросов. Они «зондируют» заданные вопросы, используемую терминологию или даже ответы. [1] [2] Зондирование может быть одновременным (во время выполнения задания, но не прерывать его) или ретроспективным (после выполнения задания). [9]

Перефразирование — это происходит, когда интервьюер просит интервьюируемого использовать свои собственные слова, чтобы повторить вопрос. Это проверяет, понятны ли вопросы. [1]

Оценка уверенности . Это происходит, когда интервьюер спрашивает интервьюируемого об его уверенности в том, насколько правильно он ответил на вопрос. [1]

Сортировка или сортировка карточек — это происходит, когда интервьюер спрашивает интервьюируемого или пытается понять, как интервьюируемый классифицирует определенные ситуации или даже термины. [1] [9]

Зарисовки — это краткие описания одного или нескольких гипотетических персонажей (похожие на зарисовки, используемые в психологических и социологических экспериментах, или на закрепительные зарисовки в количественных исследованиях) и они используются для изучения когнитивной обработки респондентов в отношении их решений, имеющих отношение к опросу. [9] [10]

Веб-зондирование - эта техника реализует когнитивные методы зондирования интервью в веб-опросах. Ее сильные стороны включают стандартизацию, анонимность и большой и быстрый охват, поскольку она администрируется через Интернет. Однако веб-зондирование может охватить только онлайн-группы населения, существует отсутствие ответов на зонды, и недостаточные ответы зондов с точки зрения содержания не могут быть отслежены. [11] [12]

Участники и набор

Размер выборки — очень важная тема в предварительных тестах. Небольшие выборки из 5–15 участников являются обычным явлением. Хотя некоторые исследователи предполагают, что лучше всего, если размер выборки составляет не менее 30 человек, а больше — всегда лучше, [13] в настоящее время наилучшей практикой является планирование исследования раундами для повторного тестирования изменений. Например, при предварительном тестировании анкеты полезнее провести 3 раунда по 9 участников, чем 1 раунд из 27. [9]

Существует два разных метода информирования участников об анкете: предварительное тестирование с участием участников и предварительное тестирование без участия участников. [4]

Кросс-культурные исследования

При проведении когнитивных интервью на языках, отличных от английского, недавние исследования рекомендуют не ограничивать выборку и набор только неговорящими по-английски монолингвами, что было обычной практикой среди исследователей опросов. [14] [15] При наборе труднодоступных респондентов и характеристик респондентов с помощью целенаправленной выборки набор на основе сообщества (сарафанное радио, поддержка лидеров сообщества) работает лучше, чем реклама. [16] [17] [18]

Использование исследователями опросов

Когнитивное интервьюирование регулярно практикуется федеральными агентствами США, включая Бюро переписи населения , [19] [20] Национальный центр статистики здравоохранения (NCHS) [21] и Бюро статистики труда . [22] NCHS ведет базу данных американских и международных агентств, которые проводили проекты когнитивного интервью и предоставляли отчеты в свой депозитарий, например, Национальный научный фонд и GESIS – Институт общественных наук имени Лейбница . [23]

Кросс-культурное когнитивное интервьюирование практикуется для оценки эквивалентности вопросов опроса и источников трудностей, а также для устранения проблем, связанных с переводом. [24] [25] Из-за различий в стилях общения и культурных нормах необходимы адаптации в настройке протокола [26] и дизайне, [27] использовании виньеток [10] и вербальном зондировании. [28]

Стандарты

В октябре 2016 года Управление по управлению и бюджету США (OMB) выпустило Директиву о статистической политике № 2, Приложение: Стандарты и руководящие принципы для когнитивных интервью, которая включала семь стандартов для когнитивных интервью, проводимых в рамках или для федеральных исследований США.[1] Еще один стандарт, предложенный исследователями, — это Структура отчетности когнитивных интервью (CIRF), которая применяет контрольный список из 10 категорий, чтобы прояснить, что было сделано во время когнитивных интервью и как были сделаны выводы на основе процедур и результатов этих интервью. [29] Кроме того, при управлении исследованиями когнитивных интервью рекомендуется подход управления проектами. [30] Для переведенных опросов необходимо адаптировать методы когнитивного интервьюирования, отбор и набор участников, а также подход управления проектами, чтобы повысить их пригодность для использования. [27]

Ссылки

  1. ^ abcdefghij Ленцнер, Тимо; Нойерт, Корнелия; Отто, Ванда (2016). «Когнитивное предварительное тестирование». Рекомендации Gesis по проведению обследований . doi : 10.15465/gesis-sg_en_010.
  2. ^ abc Tilley, Barbara C.; LaPelle, Nancy R.; Goetz, Christopher G.; Stebbins, Glenn T. (2014). «Использование когнитивного предварительного тестирования при разработке шкалы для болезни Паркинсона: пример унифицированной шкалы оценки болезни Паркинсона (MDS-UPDRS) Общества расстройств движения». Журнал болезни Паркинсона . 4 (3): 395–404. doi :10.3233/JPD-130310. ISSN  1877-7171. PMC 5086096. PMID 24613868  . 
  3. ^ "Предварительное тестирование - Руководство по кросс-культурному опросу". ccsg.isr.umich.edu . Получено 18 июля 2020 г.
  4. ^ abcdef "Writing@CSU". writing.colostate.edu . Получено 2020-07-18 .
  5. ^ Гримм, Памела (2010), «Предварительное тестирование анкеты», Wiley International Encyclopedia of Marketing , Американское онкологическое общество, doi : 10.1002/9781444316568.wiem02051, ISBN 978-1-4443-1656-8
  6. ^ abcd Бабонеа, Алина-Михаэла; Войку, Мирела-Кристина (апрель 2011 г.). «Предварительное тестирование анкет в маркетинговых исследованиях». Проблемы общества знаний . 1. Румыния: Издательство Университета Николае Титулеску: 1323–1330. ISSN  2068-7796.
  7. ^ "GESIS - Институт социальных наук имени Лейбница". www.gesis.org . Получено 18 июля 2020 г.
  8. ^ Ху, Шу (2014), «Предварительное тестирование», в Михалос, Алекс С. (ред.), Энциклопедия исследований качества жизни и благополучия , Дордрехт: Springer Netherlands, стр. 5048–5052, doi :10.1007/978-94-007-0753-5_2256, ISBN 978-94-007-0753-5
  9. ^ abcd Уиллис, Гордон (2005). Когнитивное интервьюирование: инструмент для улучшения дизайна анкеты . Sage. стр. 146. ISBN 9780761928041.
  10. ^ ab Sha, Mandy (2016-08-01). «Использование виньеток при оценке пунктов анкеты по азиатским языкам». Survey Practice . 9 (3): 1–8. doi : 10.29115/SP-2016-0013 .
  11. ^ "Web Probing". GESIS - Институт социальных наук имени Лейбница . Получено 24 октября 2023 г.
  12. ^ Фаулер, Стефани; Б. Уиллис, Гордон (2020-01-02), Битти, Пол; Коллинз, Дебби; Кей, Лин; Падилла, Хосе Луис (ред.), «Практика когнитивного интервьюирования с помощью веб-зондирования», Достижения в области проектирования, разработки, оценки и тестирования анкет (1-е изд.), Wiley, стр. 451–469, doi : 10.1002/9781119263685.ch18, ISBN 978-1-119-26362-3, получено 2023-10-24
  13. ^ Пернегер, Томас В.; Курвуазье, Дельфина С.; Хадельсон, Патрисия М.; Гайе-Ажерон, Анжель (01.01.2015). «Размер выборки для предварительных тестов анкет». Исследования качества жизни . 24 (1): 147–151. doi :10.1007/s11136-014-0752-2. ISSN  1573-2649. PMID  25008261. S2CID  22314144.
  14. ^ Пак, Хёнджу; Ша, М. Мэнди; Уиллис, Гордон (ноябрь 2016 г.). «Влияние уровня владения английским языком на когнитивную обработку вопросов опроса». Field Methods . 28 (4): 415–430. doi :10.1177/1525822X16630262. ISSN  1525-822X.
  15. ^ Goerman, Patricia L.; Meyers, Mikelyn; Sha, Mandy (2018-10-12), Johnson, Timothy P.; Pennell, Beth-Ellen; Stoop, Ineke AL; Dorer, Brita (ред.), «Работа над сопоставимым значением различных языковых версий инструментов опроса: помогают ли одноязычные и двуязычные респонденты когнитивного тестирования раскрывать одни и те же проблемы?», Advances in Comparative Survey Methods (1-е изд.), Wiley, стр. 251–269, doi :10.1002/9781118884997.ch12, ISBN 978-1-118-88498-0, получено 2023-10-24
  16. ^ Ша, М. Мэнди; Пак, Хёнджу; Лю, Лу (2013-10-01). «Изучение эффективности и полезности методов набора неанглоговорящих участников качественного исследования». Survey Practice . 6 (3): 1–8. doi : 10.29115/SP-2013-0015 .
  17. ^ Пак, Хёнджу; Ша, М. Мэнди (2014-06-01). «Оценка эффективности методов набора участников азиатских исследований». Журнал официальной статистики . 30 (2): 335–354. doi : 10.2478/jos-2014-0020 .
  18. ^ Ша, Мэнди; Монкада, Дженнифер (01.06.2017). «Успешные методы набора испаноязычных и латиноамериканских участников исследования». Survey Practice . 10 (3): 1–9. doi : 10.29115/SP-2017-0014 .
  19. ^ Virgile, M.; Katz, J.; Tuttle, D.; Terry, R.; Graber, J. (2019). «Когнитивное предварительное тестирование модулей обследования американского жилья 2019 года». Бюро переписи населения США . Архивировано из оригинала 2020-08-08 . Получено 2020-05-20 .
  20. ^ Чайлдс, Дженнифер; Ша, Мэнди; Пейчева, Эмилия. «Когнитивное тестирование интервью с последующим охватом целевого охвата (TCFU)». Рабочие документы переписи населения . Получено 4 октября 2023 г.
  21. ^ "Q-Bank: Оценка вопросов для опросов". wwwn.cdc.gov . Получено 2023-11-05 .
  22. ^ K, Schwartz, Lisa. «Американское исследование использования времени: когнитивное предварительное тестирование: Ежемесячный обзор труда: Бюро статистики труда США». www.bls.gov . Получено 27.05.2020 .{{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка )
  23. ^ "Изучите отчеты агентства - Q-Bank". wwwn.cdc.gov . Получено 2023-11-05 .
  24. ^ Уиллис, Гордон (2 мая 2015 г.). «Практика кросс-культурного когнитивного интервьюирования». Public Opinion Quarterly . 79 (S1): 359–395. doi :10.1093/poq/nfu092.
  25. ^ Aizpurua, Eva (2020). Sha, Mandy; Gabel, Tim (ред.). Pretesting methods in cross-cultural research (Chapter 7) in The essential role of language in survey research . RTI Press. стр. 129–150. doi : 10.3768/rtipress.bk.0023.2004 . ISBN 978-1-934831-23-6.
  26. ^ Пак, Хёнджу; Гоерман, Патрисия; Ша, Мэнди (2017-06-01). «Изучение эффектов предварительной практики в когнитивных интервью на азиатских языках». Survey Practice . 10 (3): 1–11. doi : 10.29115/SP-2017-0019 .
  27. ^ ab Sha, Mandy; Pan, Yuling (2013-12-01). «Адаптация и улучшение методов управления когнитивным предварительным тестированием многоязычных инструментов опроса». Survey Practice . 6 (4): 1–8. doi : 10.29115/SP-2013-0024 .
  28. ^ Mneimneh, Zeina Nazih (2018-07-25). Sha, Mandy; Behr, Dorothée (ред.). «Probing for sensitive in translation survey questions: Differences in respondent feedback acrosscognitive probe types». Translation & Interpreting . 10 (специальный выпуск о переводе анкет в кросс-национальных и кросс-культурных исследованиях): 73–88. doi :10.12807/ti.110202.2018.a06. ISSN  1836-9324.
  29. ^ Боэйдже, Хенни; Уиллис, Гордон (август 2013 г.). «Система отчетности по когнитивному интервьюированию (CIRF)». Методология . 9 (3): 87–95. дои : 10.1027/1614-2241/a000075. ISSN  1614-1881.
  30. ^ Ша, Мэнди; Чайлдс, Дженнифер Хантер (01.08.2014). «Применение подхода к управлению проектами для обследования исследовательских проектов, использующих качественные методы». Survey Practice . 7 (4): 1–8. doi : 10.29115/SP-2014-0021 .