Метод сбора данных при тестировании удобства использования
Протокол размышлений вслух (или «размышления вслух ») — это метод, используемый для сбора данных при тестировании удобства использования при проектировании и разработке продуктов, в психологии и ряде социальных наук (например, чтение, письмо, исследования перевода, принятие решений и отслеживание процессов ).
Описание
Протоколы «думай вслух» предполагают, что участники думают вслух, выполняя ряд определенных задач. Участников просят говорить все, что приходит им в голову по мере выполнения задачи. Это может включать то, что они смотрят, думают, делают и чувствуют. Это дает наблюдателям представление о когнитивных процессах участника (а не только об их конечном продукте), чтобы сделать мыслительные процессы максимально явными во время выполнения задачи. В формальном исследовательском протоколе все вербализации расшифровываются и затем анализируются. В контексте тестирования удобства использования наблюдателям предлагается делать заметки о том, что говорят и делают участники, не пытаясь интерпретировать их действия и слова, и особенно отмечать места, где они сталкиваются с трудностями. Тестовые сеансы могут быть завершены на собственных устройствах участников или в более контролируемой обстановке. [1] Сеансы часто записываются на аудио и видео, чтобы разработчики могли вернуться и сослаться на то, что делали участники и как они реагировали. [2]
История
Метод размышлений вслух был введен в область юзабилити Клейтоном Льюисом [3] , когда он работал в IBM , и описан в книге Task-Centered User Interface Design: A Practical Introduction Льюиса и Джона Римана. [4] Метод был разработан на основе методов анализа протоколов К. Эрикссона и Х. Саймона. [5] [6] [7] Однако существуют некоторые существенные различия между тем, как Эрикссон и Саймон предлагают проводить протоколы, и тем, как они фактически проводятся специалистами по юзабилити, как отметили Тед Борен и Джудит Рэми. [8] Эти различия возникают из-за конкретных потребностей и контекста тестирования юзабилити; специалисты должны знать об этих различиях и корректировать свой метод в соответствии со своими потребностями, при этом собирая достоверные данные. Например, им может потребоваться запрашивать дополнительную информацию чаще, чем это разрешат Эрикссон и Саймон, но следует позаботиться о том, чтобы не влиять на то, что говорят и делают участники.
Процесс
Типичная процедура протоколов «размышлений вслух» включает:
- Разработайте исследование и напишите руководство: определите количество и тип участников для исследования. Обычно достаточно 5 участников. [9] Следующий шаг — написать руководство, в котором участникам предлагается выполнить поставленные задачи с четкими пошаговыми инструкциями. В сценарии должны быть напоминания участникам о необходимости высказывать свои мысли при выполнении заданий.
- Набор участников: команда должна установить скринер для проверки соответствия участников требованиям. После того, как вы свяжетесь с интересующим вас лицом и согласуете детали встречи, такие как время и место, команда может также предоставить дополнительную информацию, чтобы помочь участнику лучше подготовиться к занятию.
- Проведите протокол размышлений вслух: После того, как вы изложили цель и попросили согласия, команда должна продолжить, дав инструкции участнику. Задавайте открытые вопросы и уточняющие вопросы. Команда должна избегать наводящих вопросов или подсказок.
- Проанализируйте результаты и обобщите идеи: команда должна использовать заметки, сделанные во время сессий, чтобы генерировать идеи и находить общие закономерности. На основе результатов команда дизайнеров может затем определить направления для действий.
Как утверждают Куусела и Пол [10] , протокол размышлений вслух можно разделить на два различных типа экспериментальных процедур. Первый — это протокол параллельных размышлений вслух, собираемый во время выполнения задания. Второй — это ретроспективный протокол размышлений вслух, собираемый после выполнения задания, когда участник возвращается к выполненным ранее шагам, часто подсказываемым видеозаписью самого себя. У каждого подхода есть свои преимущества и недостатки, но в целом параллельный протокол может быть более полным, в то время как ретроспективный протокол имеет меньше шансов помешать выполнению задания. Тем не менее, некоторые параллельные протоколы не давали таких эффектов помех, [11] что предполагает возможность оптимизации как полноты, так и достоверности устных отчетов.
Преимущества
Метод размышлений вслух позволяет исследователям узнать, что пользователи на самом деле думают о вашем дизайне. [12]
Связанный метод
Связанный, но немного отличающийся метод сбора данных — это протокол разговора вслух . Он предполагает, что участники описывают только свои действия, но не другие мысли. Этот метод считается более объективным, поскольку участники просто сообщают, как они выполняют задачу, а не интерпретируют или оправдывают свои действия (см. стандартные работы [ which? ] Эрикссона и Саймона). [ необходима цитата ]
Смотрите также
Ссылки
- ^ Маклафлин, Мэтью; Дафф, Джед; Маккензи, Том; Кэмпбелл, Элизабет; Сазерленд, Рэйчел; Виггерс, Джон; Вольфенден, Люк (26.07.2021). «Оценка поддержки цифровой программы для школьной программы Physical Activity 4 Everyone (PA4E1): исследование смешанных методов». JMIR Pediatrics and Parenting . 4 (3): e26690. doi : 10.2196/26690 . ISSN 2561-6722. PMC 8367175. PMID 34309565 .
- ^ Маклафлин, Мэтью; Дафф, Джед; Маккензи, Том; Кэмпбелл, Элизабет; Сазерленд, Рэйчел; Виггерс, Джон; Вольфенден, Люк (26.07.2021). «Оценка поддержки цифровой программы для школьной программы Physical Activity 4 Everyone (PA4E1): исследование смешанных методов». JMIR Pediatrics and Parenting . 4 (3): e26690. doi : 10.2196/26690 . ISSN 2561-6722. PMC 8367175. PMID 34309565 .
- ^ Льюис, CH (1982). Использование метода «Размышления вслух» в проектировании когнитивных интерфейсов (технический отчет). IBM. RC-9265.
- ^ http://grouplab.cpsc.ucalgary.ca/saul/hci_topics/tcsd-book/chap-1_v-1.html Проектирование пользовательского интерфейса, ориентированное на задачи: практическое введение , Клейтон Льюис и Джон Риман.
- ^ Эрикссон, К. и Саймон, Х. (май 1980 г.). «Устные отчеты как данные». Psychological Review . 87 (3): 215–251. doi :10.1037/0033-295X.87.3.215.
{{cite journal}}
: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Эрикссон, К. и Саймон, Х. (1987). «Устные отчеты о мышлении». В C. Faerch; G. Kasper (ред.). Introspection in Second Language Research . Clevedon, Avon: Multilingual Matters. стр. 24–54.
{{cite book}}
: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Эрикссон, К. и Саймон, Х. (1993). Анализ протокола: вербальные отчеты как данные (2-е изд.). Бостон: MIT Press. ISBN 0-262-05029-3.
{{cite book}}
: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ https://www.researchgate.net/publication/3230127_Thinking_aloud_Reconciling_theory_and_practice Размышления вслух: примирение теории и практики , Тед Борен и Джудит Рэми.
- ^ Нильсон, Якоб. «Почему вам нужно тестировать только с 5 пользователями». Nielsen Norman Group .
- ^ Куусела, Х. и Пол, П. (2000). «Сравнение параллельного и ретроспективного анализа вербальных протоколов». Американский журнал психологии . 113 (3). Издательство Иллинойсского университета: 387–404. doi : 10.2307/1423365. JSTOR 1423365. PMID 10997234.
{{cite journal}}
: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Берд, Ник; Джозеф, Брианна; Гонгора, Габриэла; Сирота, Мирослав (2023). «Расскажите нам, что вы действительно думаете: анализ протокола «Мысли вслух» теста на вербальную когнитивную рефлексию». Журнал разведки . 11 (4): 76. doi : 10.3390/jintelligence11040076 . PMC 10146599. PMID 37103261 .
- ^ Опыт, мировые лидеры в области исследований на основе пользователя. «Размышления вслух: инструмент удобства использования №1». Nielsen Norman Group . Получено 13 декабря 2021 г.
Внешние ссылки
- Размышления вслух: инструмент №1 для удобства использования — введение в метод «размышлений вслух»
- Использование модерируемого тестирования удобства использования - ресурс правительства Великобритании по использованию метода «размышляй вслух»