Экспертиза (метод)

Экспертное рассмотрение или экспертная оценка — это метод оценки вопросов опроса с точки зрения одного или нескольких экспертов.

Экспертиза имеет две основные цели: ^[1]

1. Выявите потенциальные проблемы, связанные с качеством данных и сбором данных, чтобы их можно было устранить.
2. Сгруппируйте пункты опроса по вероятности того, что они приведут к ошибкам измерения, например, для классификации эффектов интервьюера.

Отдельный эксперт или группа экспертов, например, методисты опросов , эксперты по предметной области (например, социологи) или другие люди, знакомые с разработкой анкет , просматривают опрос, и их могут попросить предложить изменения. ^[2] Поскольку в проблемах, определенных каждым экспертом, обнаруживаются различия, рекомендуется использовать группу, а не одного эксперта. ^[1]

Эксперты документируют свою оценку и обычно сообщают результаты в открытых комментариях. ^[3] Они также могут проводить систематический обзор, используя инструмент кодирования, такой как Система оценки анкет, которая поддерживается таксономией элементов когнитивных требований вопроса и подробным набором кодов потенциальных проблем, документирующих особенности, которые могут привести к ошибке ответа. ^{[4] [5]}

Применительно к переведенным опросам в состав экспертной группы также входят переводчики, и они обычно составляют отдельные отчеты, а затем созывают совещание по принятию решения, на котором создается улучшенная версия перевода опроса. ^[6]

По сравнению с эмпирическими методами предварительного тестирования экспертная оценка более эффективна по времени и менее затратна для завершения. ^[7] Экспертная оценка также может быть объединена с другими методами для обеспечения многорежимного предварительного тестирования. ^{[8] [9] [10]}

Смотрите также

• Эвристическая оценка

Ссылки

1. Olson, Kristen (2010). «Исследование оценки анкет экспертами-рецензентами». Полевые методы . 22 (4): 295–318. doi :10.1177/1525822X10379795.
2. ДеМайо, Терри; Ландрет, Эшли (2004), Прюфер, Питер; Рексрот, Маргрит; Фаулер, Флойд Джексон-младший (ред.), «Изучение экспертных оценок как метод предварительного тестирования», QUEST 2003: материалы 4-й конференции по стандартам оценки анкет, 21–23 октября 2003 г. , ZUMA-Nachrichten Spezial, vol. 9, Мангейм: Zentrum für Umfragen, Methoden und Analysen -ZUMA-, стр. 60–73, ISBN. 978-3-924220-27-3, получено 2024-02-21
3. Ян, Т.; Кройтер, Ф.; Туранжо, Р. (декабрь 2012 г.). «Оценка вопросов опроса: сравнение методов». Журнал официальной статистики . 28 (4): 503–529.
4. Уиллис, Г.; Лесслер, Дж. (1999). "Система оценки вопросов (QAS-99)" (PDF) . Веб-сайт Центров по контролю и профилактике заболеваний .
5. Мейтленд, Аарон; Прессер, Стэнли (2020-01-02), Битти, Пол; Коллинз, Дебби; Кей, Лин; Падилла, Хосе Луис (ред.), «Сравнение пяти методов оценки вопросов при прогнозировании достоверности ответов респондентов на фактические данные», Достижения в области проектирования, разработки, оценки и тестирования вопросников (1-е изд.), Wiley, стр. 75–90, doi : 10.1002/9781119263685.ch4, ISBN 978-1-119-26362-3, получено 2024-02-21
6. Пан, Юлин; Ша, Мэнди (2019-07-09). Социолингвистика перевода опросов. Лондон: Routledge . С. 118–124. doi :10.4324/9780429294914. ISBN 978-0-429-29491-4. S2CID  198632812.
7. Прессер, С .; Блэр, Дж. «Предварительное тестирование опроса: дают ли разные методы разные результаты?». Социологическая методология . 24 : 73–104.
8. Ридольфо, Хизер; Томпсон, Эшли (2023-10-05). «Проведение оценки анкетирования с использованием нескольких методов в малых масштабах». Survey Practice . 16 (1). doi : 10.29115/SP-2023-0017 .
9. Ша, Мэнди (март 2012 г.). «Обзор перевода и когнитивное тестирование руководств по языковой помощи ACS на нескольких языках». Бюро переписи населения США . Получено 08.01.2024 .
10. Aizpurua, Eva (2020). «Методы предварительного тестирования в кросс-культурном исследовании (глава 7)». В Sha, Mandy; Gabel, Tim (ред.). Существенная роль языка в исследовании опросов . RTI Press. стр. 129–150. doi : 10.3768/rtipress.bk.0023.2004 . ISBN 978-1-934831-23-6.