Эффект Макгерка — это перцепционный феномен, который демонстрирует взаимодействие слуха и зрения при восприятии речи . Иллюзия возникает, когда слуховой компонент одного звука соединяется с визуальным компонентом другого звука, что приводит к восприятию третьего звука. [1] Визуальная информация, которую человек получает, видя, как он говорит, меняет то, как он слышит звук. [2] [3] Если человек получает слуховую информацию низкого качества, но визуальную информацию хорошего качества, он с большей вероятностью испытает эффект Макгерка. [4]
Способности интеграции аудио- и визуальной информации также могут влиять на то, испытает ли человек эффект. Было показано, что люди, которые лучше справляются с сенсорной интеграцией, более восприимчивы к этому эффекту. [2] Эффект Макгерка влияет на многих людей по-разному, что зависит от многих факторов, включая повреждение головного мозга и другие расстройства.
Впервые он был описан в 1976 году в статье Гарри Макгерка и Джона Макдональда под названием «Слышать губы и видеть голоса» в журнале Nature (23 декабря 1976 года). [5] Этот эффект был обнаружен случайно, когда Макгерк и его научный сотрудник Макдональд попросили техника дублировать видео с фонемой , отличной от той, которую произносят, во время исследования того, как младенцы воспринимают речь на разных стадиях развития. При воспроизведении видео оба исследователя услышали третью фонему, а не ту, которую произносили или произносили на видео. [6]
Этот эффект можно ощутить, когда видео с воспроизведением одной фонемы дублируется со звукозаписью произнесения другой фонемы. Часто воспринимаемая фонема является третьей, промежуточной фонемой. Например, слоги /ба-ба/ произносятся посредством движений губ /га-га/, а восприятие происходит как /да-да/. Макгерк и Макдональд первоначально считали, что это результат общих фонетических и визуальных свойств /b/ и /g/. [7] Наблюдались два типа иллюзий в ответ на неконгруэнтные аудиовизуальные стимулы: слияния («ба» слуховое и «га» зрительное производят «да») и комбинации («га» слуховое и «ба» зрительное производят «бга»). . [8] Это попытка мозга предоставить сознанию наилучшее предположение о поступающей информации. [9] Информация, поступающая от глаз и ушей, противоречива, и в данном случае глаза (визуальная информация) оказали большее влияние на мозг, и, таким образом, были созданы реакции слияния и комбинирования. [9]
Зрение является основным чувством для человека, [2] однако восприятие речи мультимодально , что означает, что оно включает в себя информацию более чем из одной сенсорной модальности, в частности, слуха и зрения . Эффект Макгерка возникает во время фонетической обработки, поскольку интеграция аудио и визуальной информации происходит на ранних этапах восприятия речи. [7] Эффект Макгерка очень силен; то есть знание о нем, похоже, мало влияет на его восприятие. Это отличается от некоторых оптических иллюзий , которые разрушаются, как только человек «видит» их насквозь. Некоторые люди, в том числе те, кто исследует это явление более двадцати лет, испытывают эффект, даже когда осознают, что он имеет место. [8] [10] За исключением людей, которые могут распознать большую часть того, что говорится, только читая по губам , большинство людей весьма ограничены в своей способности распознавать речь только по визуальным сигналам. [2] Более обширным явлением является способность визуальной речи повышать разборчивость услышанной речи в шумной обстановке. [2] Видимая речь также может изменить восприятие идеально слышимых звуков речи, когда визуальные речевые стимулы не совпадают со слуховой речью. [2] Обычно восприятие речи считается слуховым процессом; [2] однако наше использование информации является немедленным, автоматическим и, в значительной степени, бессознательным [10] и поэтому, несмотря на то, что широко считается истиной, речь — это не только то, что мы слышим. [10] Речь воспринимается всеми органами чувств, работающими вместе (видением, прикосновением и прослушиванием движений лица). [10] Мозг часто не осознает отдельных сенсорных вкладов в то, что он воспринимает. [10] Поэтому, когда дело доходит до распознавания речи, мозг не может отличить, видит он или слышит входящую информацию. [10]
Оно также было рассмотрено в отношении показаний свидетелей. Исследование Уэрхема и Райта 2005 года показало, что противоречивая визуальная информация может изменить восприятие устных высказываний, предполагая, что эффект Макгерка может иметь множество влияний на повседневное восприятие. Не ограничиваясь слогами, эффект может проявляться в целых словах [7] [11] и оказывать влияние на повседневные взаимодействия, о которых люди не подозревают. Исследования в этой области могут предоставить информацию не только по теоретическим вопросам, но также могут обеспечить терапевтическую и диагностическую значимость для людей с нарушениями, связанными с аудио- и визуальной интеграцией речевых сигналов. [12]
Оба полушария мозга вносят вклад в эффект Макгерка. [13] Они работают вместе, чтобы интегрировать речевую информацию, полученную через слуховые и зрительные органы чувств. Реакция Макгерка чаще встречается у правшей, у которых лицо имеет привилегированный доступ к правому полушарию, а слова — к левому. [13] У людей, перенесших каллозотомию , эффект Макгерка все еще присутствует, но значительно медленнее. [13] У людей с поражением левого полушария мозга зрительные особенности часто играют решающую роль в речевой и языковой терапии. [12] Люди с поражениями левого полушария мозга демонстрируют больший эффект МакГерка, чем здоровые люди из контрольной группы. [12] Визуальная информация сильно влияет на восприятие речи у этих людей. [12] Восприимчивость к иллюзии Макгерка отсутствует, если повреждение левого полушария привело к дефициту зрительного сегментарного восприятия речи. [14] У людей с повреждением правого полушария наблюдаются нарушения как задач визуальной, так и аудиовизуальной интеграции, хотя они все еще способны интегрировать информацию для создания эффекта МакГерка. [14] Интеграция появляется только в том случае, если зрительные стимулы используются для улучшения производительности, когда слуховой сигнал скудный, но слышимый. [14] Таким образом, у людей с повреждением правого полушария мозга наблюдается эффект МакГерка, но эффект не такой сильный, как в нормальной группе.
Лица с дислексией демонстрируют меньший эффект МакГерка, чем нормальные читатели того же хронологического возраста, но они показали тот же эффект, что и читатели соответствующего возраста. [15] Дислексики особенно отличались комбинированными реакциями, а не реакциями слияния. [15] Меньший эффект Макгерка может быть связан с трудностями, с которыми сталкиваются дислексики при восприятии и воспроизведении групп согласных . [15]
Дети со специфическими языковыми нарушениями демонстрируют значительно меньший эффект МакГерка, чем средний ребенок. [16] Они используют меньше визуальной информации при восприятии речи или имеют пониженное внимание к артикуляционным жестам , но не испытывают проблем с восприятием только слуховых сигналов. [16]
У детей с расстройствами аутистического спектра (РАС) эффект Макгерка был значительно снижен, чем у детей без него. [17] Однако, если стимул был нечеловеческим (например, подпрыгивание теннисного мяча под звук прыгающего пляжного мяча), то они получали такие же оценки, как и дети без РАС. [17] У детей младшего возраста с РАС наблюдается очень низкий эффект МакГерка; однако с возрастом это уменьшается. По мере взросления людей эффект, который они демонстрируют, становится ближе к тем, у кого не было РАС. [18] Было высказано предположение, что ослабленный эффект МакГерка, наблюдаемый у людей с РАС, обусловлен дефицитом идентификации как слуховых, так и зрительных компонентов речи, а не интеграцией указанных компонентов (хотя различение речевых компонентов как речевых компонентов может быть изоморфным). их интеграции). [19]
Взрослые с ограниченными возможностями в изучении языка демонстрируют гораздо меньший эффект МакГерка, чем другие взрослые. [20] Эти люди не так подвержены влиянию визуальных данных, как большинство людей. [20] Таким образом, люди с плохими языковыми навыками будут производить меньший эффект Макгерка. Причина меньшего эффекта в этой популяции заключается в том, что может существовать несвязанная активность между передними и задними областями мозга или левым и правым полушариями. [20] Возможна также мозжечковая или базальноганглиевая этиология.
У пациентов с болезнью Альцгеймера (БА) эффект МакГерка проявляется в меньшей степени, чем у пациентов без него. [21] Часто уменьшение размера мозолистого тела приводит к процессу отключения полушарий. [21] Меньшее влияние на зрительные стимулы наблюдается у пациентов с БА, что является причиной снижения эффекта МакГурка. [21]
Эффект Макгерка не так выражен у больных шизофренией , как у лиц, не страдающих шизофренией. Однако у взрослых она существенно не отличается. [22] Шизофрения замедляет развитие аудиовизуальной интеграции и не позволяет ей достичь пика развития. Однако никакой деградации не наблюдается. [22] При восприятии речи шизофреники чаще полагаются на слуховые сигналы, чем на визуальные. [22]
У людей с афазией наблюдается нарушение восприятия речи во всех условиях (только зрительное, только слуховое и аудиовизуальное), и поэтому наблюдается небольшой эффект Макгерка. [23] Наибольшую трудность для афазиков представляет состояние «только зрительное восприятие», показывающее, что они используют больше слуховых стимулов при восприятии речи. [23]
Небольшое исследование (N = 22 на группу) не выявило видимых различий между людьми с биполярным расстройством и людьми без него в отношении эффекта МакГерка. Однако люди с биполярным расстройством показали значительно более низкие результаты при чтении по губам. Это может свидетельствовать о том, что нервные пути, формирующиеся и активируемые при интеграции слуховой и зрительной речевой информации у людей с биполярным расстройством, отличаются от таковых у людей без каких-либо психических расстройств. [24]
Несоответствие в категории гласных значительно снизило величину эффекта Макгерка для реакций слияния. [25] Слуховые токены /a/, дублированные на зрительные артикуляции /i/, были более совместимыми, чем наоборот. [25] Это может быть связано с тем, что /a/ имеет широкий диапазон артикуляционных конфигураций, тогда как /i/ более ограничен, [25] что значительно облегчает испытуемым обнаружение несоответствий в стимулах. [25] Контексты гласных /i/ производят самый сильный эффект, в то время как /a/ оказывает умеренный эффект, а /u/ почти не оказывает эффекта. [26]
Эффект Макгерка сильнее, когда видна правая часть рта говорящего (слева от зрителя). [27] Люди, как правило, получают больше визуальной информации от правой стороны рта говорящего, чем от левой или даже всего рта. [27] Это относится к факторам внимания полушарий, обсуждавшимся выше в разделе о полушариях мозга.
Эффект Макгерка слабее, когда присутствует визуальный отвлекающий фактор, на который обращает внимание слушатель. [28] Зрительное внимание модулирует аудиовизуальное восприятие речи. [28] Другая форма отвлечения внимания — движение говорящего. Более сильный эффект Макгерка возникает, если лицо/голова говорящего неподвижны, а не двигаются. [29]
Сильный эффект Макгерка можно увидеть для слогов, состоящих из щелчков гласных, по сравнению со слабыми эффектами для отдельных щелчков. [30] Это показывает, что эффект Макгерка может произойти и в неречевой среде. [30] Фонологическая значимость не является необходимым условием возникновения эффекта Макгерка; однако это увеличивает силу эффекта. [30]
Женщины демонстрируют более сильный эффект Макгерка, чем мужчины. Женщины демонстрируют значительно большее визуальное влияние на слуховую речь, чем мужчины, для кратких визуальных стимулов, но для полных стимулов разницы не наблюдается. [29] Еще одним аспектом гендерной проблематики является проблема мужских лиц и голосов как стимулов по сравнению с женскими лицами и голосами как стимулами. Хотя нет никакой разницы в силе эффекта Макгерка в обеих ситуациях. [31] Если мужское лицо озвучено женским голосом или наоборот, разницы в силе эффекта Макгерка все равно нет. [31] Знание того, что голос, который вы слышите, отличается от лица, которое вы видите, даже если оно разного пола, не устраняет эффект Макгерка. [10]
Субъекты, знакомые с лицами говорящих, менее подвержены эффекту Макгерка, чем те, кому лица говорящих незнакомы. [2] [26] С другой стороны, не было никакой разницы в отношении узнаваемости голоса. [26]
Семантическое соответствие оказало значительное влияние на иллюзию Макгерка. [32] Эффект ощущается чаще и оценивается как более явный в семантически конгруэнтном состоянии по сравнению с неконгруэнтным состоянием. [32] Когда человек ожидал определенного визуального или слухового явления на основе семантической информации, ведущей к нему, эффект Макгерка значительно усиливался. [32]
Эффект Макгерка можно наблюдать, когда слушатель одновременно является говорящим или артикулятором . [33] Глядя на себя в зеркало и формулируя зрительные стимулы, одновременно слушая другой слуховой стимул, можно наблюдать сильный эффект Макгерка. [33] В другом состоянии, когда слушатель тихо произносит слуховые стимулы, наблюдая, как другой человек артикулирует противоречивые визуальные жесты, эффект Макгерка все еще можно увидеть, хотя он и слабее. [33]
Временная синхронность не является обязательной для присутствия эффекта Макгерка. [34] На испытуемых по-прежнему сильно влияют слуховые стимулы, даже если они отстают от зрительных стимулов на 180 миллисекунд (точка, в которой эффект Макгерка начинает ослабевать). [34] Терпимость к отсутствию синхронности была меньшей, если слуховые стимулы предшествовали визуальным стимулам. [34] Чтобы добиться значительного ослабления эффекта Макгерка, слуховые стимулы должны были опережать зрительные стимулы на 60 миллисекунд или отставать на 240 миллисекунд. [2]
Эффект Макгерка значительно уменьшался, когда внимание переключалось на тактильную задачу (прикосновение к чему-либо). [35] Осязание — это сенсорное восприятие, подобное зрению и слуху, поэтому увеличение внимания к прикосновению снижает внимание к слуховым и зрительным ощущениям.
Глазам не требуется фиксация , чтобы интегрировать звуковую и визуальную информацию при восприятии речи. [36] Не было никакой разницы в эффекте Макгерка, когда слушатель фокусировался где-нибудь на лице говорящего. [36] Эффект не проявляется, если слушатель фокусируется за пределами лица говорящего. [2] Для того, чтобы эффект Макгерка стал незначительным, взгляд слушателя должен отклониться от рта говорящего как минимум на 60 градусов. [36]
Независимо от языка, все слушатели в той или иной степени полагаются на визуальную информацию при восприятии речи . Но интенсивность эффекта Макгерка различается в зависимости от языка. Слушатели голландского, [37] английского, испанского, немецкого, итальянского и турецкого [38] языков испытывают сильный эффект МакГерка; Японские и китайские слушатели слабее. [39] Большинство исследований эффекта Макгерка между языками проводилось между английским и японским языками. Меньший эффект Макгерка наблюдается у японских слушателей, чем у английских слушателей. [37] [40] [41] [42] [43] [44] Культурная практика избегания лиц у японцев может уменьшить эффект Макгерка, а также тон и слоговую структуру языка. [37] Возможно, именно поэтому китайские слушатели менее восприимчивы к визуальным сигналам и, как и японцы, производят меньший эффект, чем английские слушатели. [37] Исследования также показывают, что у японских слушателей не наблюдается увеличения визуального влияния после шести лет, как у английских детей. [40] [41] Японские слушатели определяют несовместимость между визуальными и слуховыми стимулами лучше, чем английские слушатели. [37] [41] Эта большая способность может быть связана с отсутствием в японском языке групп согласных . [37] [42] Тем не менее, слушатели всех языков прибегают к визуальным стимулам, когда речь неразборчива; тогда эффект Макгерка применим к ним в равной степени. [37] [42] Эффект Макгерка работает со слушателями любого протестированного языка. [10]
Были проведены эксперименты с участием слабослышащих людей и лиц, перенесших кохлеарные имплантаты . Эти люди склонны более взвешивать визуальную информацию из речи, чем слуховую. [45] По сравнению с людьми с нормальным слухом, это не отличается, если только в слове не более одного слога. [45] Что касается эксперимента Макгерка, ответы пользователей с кохлеарной имплантацией вызывали те же реакции, что и нормально слышащие люди, когда слуховой билабиальный стимул дублировался на зрительный велярный стимул. [45] Однако, когда слуховой зубной стимул дублируется на зрительный билабиальный стимул, реакции совершенно разные. Эффект Макгерка все еще присутствует у людей с нарушениями слуха или у людей, использующих кохлеарные имплантаты, хотя в некоторых аспектах он совершенно иной.
Измеряя внимание младенца к определенным аудиовизуальным стимулам, можно записать реакцию, соответствующую эффекту Макгерка. [2] [10] [46] [47] [48] В возрасте от нескольких минут до пары дней младенцы могут имитировать движения лица взрослых, а в течение нескольких недель после рождения младенцы могут распознавать движения губ и звуки речи. [49] На этом этапе интеграция аудио и визуальной информации может произойти, но не на профессиональном уровне. [49] Первые признаки эффекта Макгерка можно увидеть в возрасте четырех месяцев; [46] [47] однако больше доказательств обнаружено для 5-месячных детей. [2] [10] [48] [50] Через процесс привыкания младенца к определенному стимулу и последующего изменения стимула (или его части, например, с ба-голосового/ва-визуального на да-голосового/ва- визуальный), становится очевидным ответ, имитирующий эффект Макгерка. [10] [48] Сила эффекта Макгерка отражает закономерность развития, которая увеличивается на протяжении всего детства и распространяется на взрослую жизнь. [47] [48]