stringtranslate.com

Эффект Мак-Гурка

Эффект Мак-Гурка — перцептивный феномен, демонстрирующий взаимодействие слуха и зрения при восприятии речи . Иллюзия возникает, когда слуховой компонент одного звука сочетается с визуальным компонентом другого звука, что приводит к восприятию третьего звука. [1] Визуальная информация, которую человек получает, наблюдая за говорящим человеком, изменяет то, как он слышит звук. [2] [3] Если человек получает слуховую информацию низкого качества, но визуальную информацию хорошего качества, он может с большей вероятностью испытать эффект Мак-Гурка. [4]

Интеграционные способности для аудио- и визуальной информации также могут влиять на то, испытает ли человек эффект. Было показано, что люди, которые лучше владеют сенсорной интеграцией, более восприимчивы к эффекту. [2] Многие люди по-разному подвержены эффекту Мак-Гурка в зависимости от многих факторов, включая повреждения мозга и другие расстройства.

Фон

Впервые он был описан в 1976 году в статье Гарри МакГерка и Джона Макдональда под названием «Слышим губы и видим голоса» в журнале Nature (23 декабря 1976 года). [5] Этот эффект был обнаружен случайно, когда МакГерк и его научный сотрудник Макдональд попросили техника озвучить видео с другой фонемой , нежели та, которая была произнесена, во время проведения исследования того, как младенцы воспринимают язык на разных стадиях развития. Когда видео воспроизводилось, оба исследователя слышали третью фонему, а не ту, которая была произнесена или прошептана на видео. [6]

Этот эффект может наблюдаться, когда видеозапись производства одной фонемы дублируется звукозаписью другой фонемы, которая произносится. Часто воспринимаемая фонема является третьей, промежуточной фонемой. Например, слоги /ba-ba/ произносятся поверх движений губ /ga-ga/, а восприятие происходит как /da-da/. МакГерк и Макдональд изначально считали, что это является результатом общих фонетических и визуальных свойств /b/ и /g/. [7] Были обнаружены два типа иллюзий в ответ на неконгруэнтные аудиовизуальные стимулы: слияния (слуховой «ba» и визуальный «ga» производят «da») и комбинации (слуховой «ga» и визуальный «ba» производят «bga»). [8] Это попытка мозга предоставить сознанию наилучшее предположение о входящей информации. [9] Информация, поступающая от глаз и ушей, противоречива, и в этом случае глаза (визуальная информация) оказали большее влияние на мозг, и таким образом были созданы реакции слияния и комбинирования. [9]

Зрение является основным чувством для людей, [2] но восприятие речи является мультимодальным , что означает, что оно включает информацию из более чем одной сенсорной модальности, в частности, слуха и зрения . Эффект Мак-Гурка возникает во время фонетической обработки, поскольку интеграция звуковой и визуальной информации происходит на ранней стадии восприятия речи. [7] Эффект Мак-Гурка очень устойчив; то есть знание о нем, по-видимому, мало влияет на его восприятие. Это отличается от некоторых оптических иллюзий , которые разрушаются, как только человек «видит сквозь» их. Некоторые люди, включая тех, кто исследовал это явление более двадцати лет, испытывают эффект, даже когда они осознают, что он имеет место. [8] [10] За исключением людей, которые могут определить большую часть того, что говорится, только по чтению по губам , большинство людей весьма ограничены в своей способности определять речь только по визуальным сигналам. [2] Более обширным явлением является способность визуальной речи повышать разборчивость слышимой речи в шумной обстановке. [2] Видимая речь также может изменять восприятие совершенно слышимых звуков речи, когда визуальные речевые стимулы не совпадают со слуховой речью. [2] Обычно восприятие речи считается слуховым процессом; [2] однако наше использование информации является немедленным, автоматическим и, в значительной степени, бессознательным [10] и поэтому, несмотря на то, что широко принято считать правдой, речь — это не только то, что мы слышим. [10] Речь воспринимается всеми органами чувств, работающими вместе (зрение, осязание и слушание движения лица). [10] Мозг часто не осознает отдельные сенсорные вклады того, что он воспринимает. [10] Поэтому, когда дело доходит до распознавания речи, мозг не может различить, видит он или слышит входящую информацию. [10]

Он также был изучен в отношении показаний свидетелей. Исследование Уэрхэма и Райта 2005 года показало, что непоследовательная визуальная информация может изменить восприятие устных высказываний, предполагая, что эффект МакГурка может иметь множество влияний на повседневное восприятие. Не ограничиваясь слогами, эффект может проявляться в целых словах [7] [11] и оказывать влияние на повседневные взаимодействия, о которых люди не знают. Исследования в этой области могут предоставить информацию не только по теоретическим вопросам, но также могут обеспечить терапевтическую и диагностическую значимость для людей с расстройствами, связанными со звуковой и визуальной интеграцией речевых сигналов. [12]

Факторы

Внутренний

Повреждение головного мозга

Оба полушария мозга вносят вклад в эффект Мак-Гурка. [13] Они работают вместе, чтобы интегрировать речевую информацию, полученную через слуховые и зрительные чувства. Реакция Мак-Гурка чаще возникает у правшей, у которых лицо имеет привилегированный доступ к правому полушарию, а слова — к левому. [13] У людей, которым была сделана каллозотомия , эффект Мак-Гурка все еще присутствует, но значительно медленнее. [13] У людей с поражениями левого полушария мозга визуальные особенности часто играют решающую роль в речевой и языковой терапии. [12] Люди с поражениями левого полушария мозга демонстрируют больший эффект Мак-Гурка, чем нормальные контрольные лица. [12] Визуальная информация сильно влияет на восприятие речи у этих людей. [12] Существует отсутствие восприимчивости к иллюзии Мак-Гурка, если повреждение левого полушария привело к дефициту визуального сегментарного восприятия речи. [14] У людей с повреждением правого полушария мозга наблюдается нарушение как визуальной, так и аудиовизуальной интеграции, хотя они все еще способны интегрировать информацию для получения эффекта Мак-Гурка. [14] Интеграция появляется только в том случае, если визуальные стимулы используются для улучшения производительности, когда слуховой сигнал обеднен, но слышен. [14] Таким образом, у людей с повреждением правого полушария мозга наблюдается эффект Мак-Гурка, но эффект не такой сильный, как у нормальной группы.

Дислексия

Дислексики демонстрируют меньший эффект МакГурка, чем обычные читатели того же хронологического возраста, но они показали тот же эффект, что и читатели соответствующего возраста с уровнем чтения. [15] Дислексики особенно отличались в ответах на сочетание, а не на слияние. [15] Меньший эффект МакГурка может быть связан с трудностями, с которыми сталкиваются дислексики в восприятии и воспроизведении согласных кластеров . [15]

Специфические нарушения языка

Дети со специфическими языковыми нарушениями демонстрируют значительно более низкий эффект Мак-Гурка, чем среднестатистический ребенок. [16] Они используют меньше визуальной информации при восприятии речи или имеют сниженное внимание к артикуляционным жестам , но не испытывают проблем с восприятием исключительно слуховых сигналов. [16]

Расстройства аутистического спектра

Дети с расстройствами аутистического спектра (РАС) показали значительно сниженный эффект МакГурка, чем дети без них. [17] Однако, если стимул был нечеловеческим (например, отскок теннисного мяча под звук отскакивающего пляжного мяча), то они набирали баллы, аналогичные баллам детей без РАС. [17] У детей младшего возраста с РАС наблюдается очень сниженный эффект МакГурка; однако с возрастом он уменьшается. По мере взросления людей эффект, который они демонстрируют, становится ближе к тем, у кого нет РАС. [18] Было высказано предположение, что ослабленный эффект МакГурка, наблюдаемый у людей с РАС, обусловлен дефицитом в идентификации как слуховых, так и визуальных компонентов речи, а не в интеграции указанных компонентов (хотя различение компонентов речи как компонентов речи может быть изоморфным их интеграции). [19]

Нарушения в обучении языку

Взрослые с трудностями в обучении языку демонстрируют гораздо меньший эффект Мак-Гурка, чем другие взрослые. [20] Эти люди не так подвержены влиянию визуальной информации, как большинство людей. [20] Поэтому люди с плохими языковыми навыками будут производить меньший эффект Мак-Гурка. Причина меньшего эффекта в этой группе населения заключается в том, что может быть несвязанная активность между передней и задней областями мозга или левым и правым полушариями. [20] Также возможна мозжечковая или базальная ганглионарная этиология.

болезнь Альцгеймера

У пациентов с болезнью Альцгеймера (БА) наблюдается меньший эффект Мак-Гурка, чем у тех, у кого нет этого заболевания. [21] Часто уменьшенный размер мозолистого тела приводит к процессу отключения полушарий. [21] У пациентов с БА наблюдается меньшее влияние на зрительный стимул, что является причиной сниженного эффекта Мак-Гурка. [21]

Шизофрения

Эффект МакГурка не так выражен у шизофреников , как у нешизофреников. Однако у взрослых он существенно не отличается. [22] Шизофрения замедляет развитие аудиовизуальной интеграции и не позволяет ей достичь пика развития. Однако никакой деградации не наблюдается. [22] Шизофреники более склонны полагаться на слуховые сигналы, чем на визуальные сигналы при восприятии речи. [22]

Афазия

Люди с афазией демонстрируют нарушение восприятия речи во всех условиях (только зрительном, только слуховом и аудиовизуальном), и поэтому демонстрируют небольшой эффект Мак-Гурка. [23] Наибольшая трудность для афазиков возникает в условиях только зрительного восприятия, показывая, что они используют больше слуховых стимулов при восприятии речи. [23]

Биполярное расстройство

Небольшое исследование (N=22 в группе) не выявило никакой очевидной разницы между людьми с биполярным расстройством и людьми без него в отношении эффекта Мак-Гурка. Однако люди с биполярным расстройством показали значительно более низкие результаты в задании на чтение по губам. Это может означать, что нейронные пути, сформированные и активированные при интеграции слуховой и визуальной речевой информации у людей с биполярным расстройством, отличаются от таковых у людей без каких-либо психических расстройств. [24]

Внешний

Кросс-дубляж

Несоответствие в категории гласных значительно снизило величину эффекта МакГурка для реакций слияния. [25] Слуховые маркеры /a/, дублированные на визуальные артикуляции /i/, были более совместимы, чем наоборот. [25] Это может быть связано с тем, что /a/ имеет широкий диапазон артикуляционных конфигураций, тогда как /i/ более ограничен, [25] что значительно облегчает испытуемым обнаружение несоответствий в стимулах. [25] Контексты гласных /i/ производят самый сильный эффект, в то время как /a/ производит умеренный эффект, а /u/ почти не оказывает никакого эффекта. [26]

Видимость рта

Эффект Мак-Гурка сильнее, когда видна правая сторона рта говорящего (слева от зрителя). [27] Люди склонны получать больше визуальной информации от правой стороны рта говорящего, чем от левой или даже от всего рта. [27] Это связано с полушарными факторами внимания, обсуждавшимися в разделе о полушариях мозга выше.

Визуальные отвлекающие факторы

Эффект МакГурка слабее, когда присутствует визуальный отвлекающий фактор, на который обращает внимание слушатель. [28] Визуальное внимание модулирует аудиовизуальное восприятие речи. [28] Другая форма отвлечения — движение говорящего. Более сильный эффект МакГурка возникает, если лицо/голова говорящего неподвижны, а не двигаются. [29]

Структура слога

Сильный эффект МакГурка можно наблюдать для слогов с щелкающей гласной по сравнению со слабыми эффектами для изолированных щелчков. [30] Это показывает, что эффект МакГурка может происходить в неречевой среде. [30] Фонетическая значимость не является необходимым условием для возникновения эффекта МакГурка; однако она увеличивает силу эффекта. [30]

Пол

Женщины демонстрируют более сильный эффект МакГурка, чем мужчины. Женщины демонстрируют значительно большее визуальное влияние на слуховую речь, чем мужчины, при кратких визуальных стимулах, но никакой разницы не видно для полных стимулов. [29] Другим аспектом, касающимся пола, является проблема мужских лиц и голосов как стимулов по сравнению с женскими лицами и голосами как стимулами. Хотя нет никакой разницы в силе эффекта МакГурка для обеих ситуаций. [31] Если мужское лицо дублируется женским голосом, или наоборот, все равно нет никакой разницы в силе эффекта МакГурка. [31] Знание того, что голос, который вы слышите, отличается от лица, которое вы видите, — даже если они разного пола — не устраняет эффект МакГурка. [10]

Знакомство

Испытуемые, знакомые с лицами говорящих, менее восприимчивы к эффекту МакГурка, чем те, кто не знаком с лицами говорящих. [2] [26] С другой стороны, не было никакой разницы в отношении узнаваемости голосов. [26]

Ожидание

Семантическая конгруэнтность оказала значительное влияние на иллюзию Мак-Герка. [32] Эффект ощущается чаще и оценивается как более четкий в семантически конгруэнтном состоянии по сравнению с неконгруэнтным состоянием. [32] Когда человек ожидал определенного визуального или слухового появления на основе семантической информации, ведущей к нему, эффект Мак-Герка значительно усиливался. [32]

Самовоздействие

Эффект МакГурка можно наблюдать, когда слушатель также является говорящим или артикулятором . [33] Глядя на себя в зеркало и артикулируя визуальные стимулы, слушая другой слуховой стимул, можно наблюдать сильный эффект МакГурка. [33] В другом состоянии, когда слушатель тихо произносит слуховые стимулы, наблюдая, как другой человек артикулирует конфликтующие визуальные жесты, эффект МакГурка все еще можно наблюдать, хотя он слабее. [33]

Временная синхронность

Временная синхронность не является обязательной для наличия эффекта Мак-Гурка. [34] Субъекты по-прежнему находятся под сильным влиянием слуховых стимулов, даже если они отстают от визуальных на 180 миллисекунд (точка, в которой эффект Мак-Гурка начинает ослабевать). [34] Было меньше терпимости к отсутствию синхронности, если слуховые стимулы предшествовали визуальным стимулам. [34] Для того чтобы вызвать значительное ослабление эффекта Мак-Гурка, слуховые стимулы должны были предшествовать визуальным стимулам на 60 миллисекунд или отставать на 240 миллисекунд. [2]

Физическое отвлечение от задач

Эффект МакГурка значительно уменьшался, когда внимание переключалось на тактильную задачу (прикосновение к чему-либо). [35] Осязание — это сенсорное восприятие, подобное зрению и слуху, поэтому увеличение внимания к осязанию снижает внимание к слуховым и визуальным чувствам.

Взгляд

Глазам не нужно фиксироваться, чтобы интегрировать звуковую и визуальную информацию в восприятие речи. [36] Не было никакой разницы в эффекте Мак-Гурка, когда слушатель фокусировался где-либо на лице говорящего. [36] Эффект не проявляется, если слушатель фокусируется за пределами лица говорящего. [2] Для того, чтобы эффект Мак-Гурка стал незначительным, взгляд слушателя должен отклониться от рта говорящего как минимум на 60 градусов. [36]

Другие языки

Независимо от языка, все слушатели в той или иной степени полагаются на визуальную информацию при восприятии речи . Но интенсивность эффекта Мак-Гурка различается в зависимости от языка. Слушатели голландского, [37] английского, испанского, немецкого, итальянского и турецкого [38] языков испытывают сильный эффект Мак-Гурка; слушатели японского и китайского языков — слабее. [39] Большинство исследований эффекта Мак-Гурка между языками проводились между английским и японским языками. Меньший эффект Мак-Гурка наблюдается у японских слушателей, чем у английских слушателей. [37] [40] [41] [42] [43] [44] Культурная практика избегания лиц у японцев может ослабить эффект Мак-Гурка, а также тон и слоговые структуры языка. [37] Это также может быть причиной того, что китайские слушатели менее восприимчивы к визуальным подсказкам и, подобно японцам, производят меньший эффект, чем английские слушатели. [37] Исследования также показывают, что у японских слушателей не наблюдается увеличения визуального влияния после шести лет, как у английских детей. [40] [41] Японские слушатели лучше, чем английские, определяют несовместимость между визуальными и слуховыми стимулами. [37] [41] Эта более высокая способность может быть связана с отсутствием в японском языке согласных кластеров . [37] [42] Независимо от этого, слушатели всех языков прибегают к визуальным стимулам, когда речь непонятна; эффект Мак-Герка в таком случае применяется к ним в равной степени. [37] [42] Эффект Мак-Герка работает со слушателями всех тестируемых языков. [10]

Нарушение слуха

Были проведены эксперименты с участием людей с проблемами слуха и людей с кохлеарными имплантами . Эти люди склонны придавать большее значение визуальной информации из речи, чем слуховой информации. [45] По сравнению с людьми с нормальным слухом, это не отличается, если только речь не состоит более чем из одного слога, например, слова. [45] Что касается эксперимента МакГурка, ответы пользователей с кохлеарными имплантами давали те же ответы, что и нормально слышащие люди, когда слуховой билабиальный стимул дублировался на визуальный велярный стимул. [45] Однако, когда слуховой зубной стимул дублировался на визуальный билабиальный стимул, ответы были совершенно другими. Эффект МакГурка все еще присутствует у людей с нарушениями слуха или использующих кохлеарные импланты, хотя он довольно сильно отличается в некоторых аспектах.

Младенцы

Измеряя внимание младенца к определенным аудиовизуальным стимулам, можно записать реакцию, которая соответствует эффекту Мак-Гурка. [2] [10] [46] [47] [48] Младенцы в возрасте от нескольких минут до пары дней могут имитировать движения лица взрослых, а в течение нескольких недель после рождения младенцы могут распознавать движения губ и звуки речи. [49] На этом этапе может произойти интеграция звуковой и визуальной информации, но не на достаточном уровне. [49] Первые доказательства эффекта Мак-Гурка можно увидеть в возрасте четырех месяцев; [46] [47] однако больше доказательств обнаружено для пятимесячных детей. [2] [10] [48] [50] Благодаря процессу привыкания младенца к определенному стимулу и последующей смене стимула (или его части, например, с ба-голосового/ва-визуального на да-голосовый/ва-визуальный) становится очевидной реакция, имитирующая эффект Мак-Гурка. [10] [48] Сила эффекта Мак-Гурка демонстрирует закономерность развития, которая усиливается на протяжении всего детства и продолжается во взрослой жизни. [47] [48]

Смотрите также

Ссылки

  1. ^ Nath, AR; Beauchamp, MS (январь 2012). «Нейронная основа для межиндивидуальных различий в эффекте Мак-Гурка, мультисенсорной речевой иллюзии». NeuroImage . 59 (1): 781–787. doi :10.1016/j.neuroimage.2011.07.024. PMC  3196040 . PMID  21787869.
  2. ^ abcdefghijkl Калверт, Джемма; Спенс, Чарльз; Стайн, Барри Э. (2004). Справочник по мультисенсорным процессам . Кембридж, Массачусетс: MIT Press. ISBN 978-0-262-03321-3. OCLC  54677752.
  3. ^ Boersma, Paul (2011). "Объяснение эффекта Мак-Гурка на основе ограничений" (PDF) . Получено 19 октября 2013 г.
  4. ^ Massaro, DW; Cohen, MM (август 2000). «Тесты эффективности слухо-зрительной интеграции в рамках нечеткой логической модели восприятия». Журнал акустического общества Америки . 108 (2): 784–789. Bibcode : 2000ASAJ..108..784M. doi : 10.1121/1.429611. PMID  10955645.
  5. ^ МакГерк Х., Макдональд Дж. (1976). «Слышать губы и видеть голоса». Nature . 264 (5588): 746–748. Bibcode :1976Natur.264..746M. doi :10.1038/264746a0. PMID  1012311. S2CID  4171157.
  6. ^ "Эффект МакГерка: слышим губы и видим голоса". Архивировано из оригинала 29 марта 2016 года . Получено 2 октября 2011 года .
  7. ^ abc Barutchu, Ayla; Crewther; Kiely; Murphy (2008). «Когда /b/ill с /g/ill становится /d/ill: доказательства лексического эффекта в аудиовизуальном восприятии речи». European Journal of Cognitive Psychology . 20 (1): 1–11. doi :10.1080/09541440601125623. S2CID  144852134.
  8. ^ ab Colin, C.; Radeau, M.; Deltenre, P. (2011). «Нисходящая и восходящая модуляция аудиовизуальной интеграции в речи» (PDF) . European Journal of Cognitive Psychology . 17 (4): 541–560. doi :10.1080/09541440440000168. S2CID  38546088.
  9. ^ ab O'Shea, M. (2005). Мозг: Очень краткое введение . Oxford University Press.
  10. ^ abcdefghijk Rosenblum, LD (2010). Смотрите, что я говорю: Необычайные возможности наших пяти чувств . Нью-Йорк, штат Нью-Йорк: WW Norton & Company Inc.
  11. ^ Gentilucci, M.; Cattaneo, L. (2005). «Автоматическая аудиовизуальная интеграция в восприятии речи». Experimental Brain Research . 167 (1): 66–75. doi :10.1007/s00221-005-0008-z. PMID  16034571. S2CID  20166301.
  12. ^ abcd Шмид, Г.; Тильманн, А.; Циглер, В. (2009). «Влияние визуальной и слуховой информации на восприятие речи и неречевых движений рта у пациентов с поражениями левого полушария». Клиническая лингвистика и фонетика . 23 (3): 208–221. doi :10.1080/02699200802399913. PMID  19283578. S2CID  40852629.
  13. ^ abc Baynes, K.; Fummell, M.; Fowler, C. (1994). «Вклад полушарий в интеграцию визуальной и слуховой информации при восприятии речи». Perception and Psychophysics . 55 (6): 633–641. doi : 10.3758/bf03211678 . PMID  8058451.
  14. ^ abc Николсон, К.; Баум, С.; Кадди, Л.; Манхолл, К. (2002). «Случай нарушения слухового и зрительного восприятия просодии речи после повреждения правого полушария». Neurocase . 8 (4): 314–322. doi :10.1093/neucas/8.4.314. PMID  12221144.
  15. ^ abc Bastien-Toniazzo, M.; Stroumza, A.; Cavé, C. (2009). «Аудиовизуальное восприятие и интеграция при дислексии развития: разведывательное исследование с использованием эффекта МакГурка». Current Psychology Letters . 25 (3): 2–14.
  16. ^ ab Norrix, L.; Plante, E.; Vance, R.; Boliek, C. (2007). «Аудиовизуальная интеграция для речи детей с определенными языковыми нарушениями и без них». Журнал исследований речи, языка и слуха . 50 (6): 1639–1651. doi :10.1044/1092-4388(2007/111). PMID  18055778.
  17. ^ ab Mongillo, E.; Irwin, J.; Whalen, D.; Klaiman, C. (2008). «Аудиовизуальная обработка у детей с расстройствами аутистического спектра и без них». Журнал аутизма и нарушений развития . 38 (7): 1349–1358. doi :10.1007/s10803-007-0521-y. PMID  18307027. S2CID  8265591.
  18. ^ Тейлор, Н.; Айзек, К.; Милн, Э. (2010). «Сравнение развития аудиовизуальной интеграции у детей с расстройствами аутистического спектра и типично развивающихся детей» (PDF) . Журнал аутизма и нарушений развития . 40 (11): 1403–1411. doi :10.1007/s10803-010-1000-4. PMID  20354776. S2CID  38370295.
  19. ^ Уильямс, Дж. Х. Г.; Массаро, Д. В.; Пил, Н. Дж.; Босселер, А.; Саддендорф, Т. (2004). «Визуально-слуховая интеграция во время речевой имитации при аутизме». Исследования нарушений развития . 25 (6): 559–575. doi :10.1016/j.ridd.2004.01.008. PMID  15541632.
  20. ^ abc Norrix, L.; Plante, E.; Vance, R. (2006). «Аудиовизуальная речевая интеграция у взрослых с трудностями в обучении языку и без них». Журнал коммуникативных расстройств . 39 (1): 22–36. doi :10.1016/j.jcomdis.2005.05.003. PMID  15950983.
  21. ^ abc Delbeuck, X.; Collette, F.; Van der Linden, M. (2007). «Является ли болезнь Альцгеймера синдромом разъединения? Данные кроссмодального аудиовизуального иллюзорного эксперимента». Neuropsychologia . 45 (14): 3315–3323. doi :10.1016/j.neuropsychologia.2007.05.001. hdl : 2268/4759 . PMID  17765932. S2CID  8675718.
  22. ^ abc Pearl, D.; Yodashkin-Porat, D.; Nachum, K.; Valevski, A.; Aizenberg, D.; Sigler, M.; Weizman, A.; Kikinzon, L. (2009). «Различия в аудиовизуальной интеграции, измеренные с помощью феномена Мак-Гурка, среди взрослых и подростков с шизофренией и соответствующих по возрасту здоровых контрольных групп». Comprehensive Psychiatry . 50 (2): 186–192. doi :10.1016/j.comppsych.2008.06.004. PMID  19216897.
  23. ^ ab Youse, K.; Cienkowski, K.; Coelho, C. (2004). «Слухово-зрительное восприятие речи у взрослого человека с афазией». Brain Injury . 18 (8): 825–834. doi :10.1080/02699000410001671784. PMID  15204322. S2CID  8579511.
  24. ^ Yordamlı, A.; Erdener, D. (2018). «Слухово-визуальная речевая интеграция при биполярном расстройстве: предварительное исследование». Языки . 3 (4): 38. doi : 10.3390/languages3040038 .
  25. ^ abcd Грин, К. П.; Гердеман, А. (1995). «Кросс-модальные расхождения в коартикуляции и интеграция речевой информации: эффект Мак-Гурка с несовпадающими гласными». Журнал экспериментальной психологии: восприятие и производительность человека . 21 (6): 1409–1426. doi :10.1037/0096-1523.21.6.1409. PMID  7490588.
  26. ^ abc Walker, S.; Bruce, V.; O'Malley, C. (1995). «Идентификация лица и обработка речи на лице: знакомые лица и голоса в эффекте Мак-Гурка». Perception & Psychophysics . 57 (8): 1124–1133. doi : 10.3758/bf03208369 . PMID  8539088.
  27. ^ ab Николс, М.; Сирл, Д.; Брэдшоу, Дж. (2004). «Читай по губам: асимметрия визуального выражения и восприятия речи, выявленная с помощью эффекта Мак-Гурка». Психологическая наука . 15 (2): 138–141. doi :10.1111/j.0963-7214.2004.01502011.x. PMID  14738522. S2CID  9849205.
  28. ^ ab Tiippana, K.; Andersen, TS; Sams, M. (2004). «Визуальное внимание модулирует аудиовизуальное восприятие речи». European Journal of Cognitive Psychology . 16 (3): 457–472. doi :10.1080/09541440340000268. S2CID  8825535.
  29. ^ ab Irwin, JR; Whalen, DH; Fowler, CA (2006). «Различие пола в визуальном влиянии на слышимую речь». Perception and Psychophysics . 68 (4): 582–592. doi : 10.3758/bf03208760 . PMID  16933423.
  30. ^ abc Brancazio, L.; Best, CT; Fowler, CA (2006). «Визуальные влияния на восприятие речи и неречевых событий голосового тракта». Язык и речь . 49 (1): 21–53. doi :10.1177/00238309060490010301. PMC 2773261. PMID  16922061 . 
  31. ^ ab Грин, К.; Кюль, П.; Мельцофф, А.; Стивенс, Э. (1991). «Интеграция речевой информации между говорящими, полом и сенсорной модальностью: женские лица и мужские голоса в эффекте Мак-Гурка». Восприятие и психофизика . 50 (6): 524–536. doi : 10.3758/bf03207536 . PMID  1780200.
  32. ^ abc Windmann, S (2004). «Влияние контекста предложения и ожидания на иллюзию Мак-Герка». Журнал памяти и языка . 50 (1): 212–230. doi :10.1016/j.jml.2003.10.001.
  33. ^ abc Сэмс, М.; Моттонен, Р.; Сихвонен, Т. (2005). «Видеть и слышать, как говорят другие и сам». Cognitive Brain Research . 23 (1): 429–435. doi :10.1016/j.cogbrainres.2004.11.006. PMID  15820649.
  34. ^ abc Манхолл, К.; Гриббл, П.; Сакко, Л.; Уорд, М. (1996). «Временные ограничения эффекта Мак-Гурка». Восприятие и психофизика . 58 (3): 351–362. doi : 10.3758/bf03206811 . PMID  8935896.
  35. ^ Альсиус, А.; Наварра, Дж.; Сото-Фарако, С. (2007). «Внимание к прикосновению ослабляет аудиовизуальную речевую интеграцию». Экспериментальные исследования мозга . 183 (1): 399–404. doi :10.1007/s00221-007-1110-1. PMID  17899043. S2CID  8430729.
  36. ^ abc Paré, M.; Richler, C.; Hove, M.; Munhall, K. (2003). «Поведение взгляда при аудиовизуальном восприятии речи: влияние фиксации глаз на эффект Мак-Гурка». Perception and Psychophysics . 65 (4): 533–567. doi : 10.3758/bf03194582 . PMID  12812278.
  37. ^ abcdefg Сэкияма, К (1997). «Культурные и лингвистические факторы в обработке аудиовизуальной речи: эффект Мак-Гурка у китайских субъектов». Восприятие и психофизика . 59 (1): 73–80. doi : 10.3758/bf03206849 . PMID  9038409.
  38. ^ Эрденер, Д. (декабрь 2015 г.). «Иллюзия МакГурка на турецком языке» (PDF) . Турецкий журнал психологии . 30 (76): 19–31.
  39. ^ Баво, Р.; Чорба, А.; Проссер, С.; Мартини, А. (2009). «Феномен Макгерка у итальянских слушателей». Acta Otorhinolaryngologica Italica . 29 (4): 203–208. ПМК 2816368 . ПМИД  20161878. 
  40. ^ ab Hisanaga, S., Sekiyama, K., Igasaki, T., Murayama, N. (2009). Аудиовизуальное восприятие речи на японском и английском языках: межъязыковые различия, изученные с помощью событийно-связанных потенциалов. Получено с http://www.isca-speech.org/archive_open/avsp09/papers/av09_038.pdf Архивировано 04.03.2016 на Wayback Machine
  41. ^ abc Сэкияма, К.; Бернхэм, Д. (2008). «Влияние языка на развитие слухо-зрительного восприятия речи». Developmental Science . 11 (2): 306–320. doi :10.1111/j.1467-7687.2008.00677.x. PMID  18333984.
  42. ^ abc Sekiyama, K.; Tohkura, Y. (1991). «Эффект МакГурка у неанглоговорящих слушателей: немного визуальных эффектов для японских субъектов, слышащих японские слоги с высокой слуховой разборчивостью». Журнал акустического общества Америки . 90 (4, Pt 1): 1797–1805. Bibcode : 1991ASAJ...90.1797S. doi : 10.1121/1.401660. PMID  1960275.
  43. ^ Wu, J. (2009). Восприятие речи и эффект Мак-Герка: кросс-культурное исследование с использованием событийно-связанных потенциалов (диссертация). Университет Луисвилля.
  44. ^ Гелдер, Б.; Бертельсон, П.; Врумен, Дж.; Чин Чен, Х. (1995). «Межъязыковые различия в эффекте Мак-Гурка для слушателей голландского и кантонского диалектов».
  45. ^ abc Rouger, J.; Fraysse, B.; Deguine, O.; Barone, P. (2008). «Эффекты МакГурка у глухих субъектов с кохлеарной имплантацией». Brain Research . 1188 : 87–99. doi :10.1016/j.brainres.2007.10.049. PMID  18062941. S2CID  8858346.
  46. ^ ab Bristow, D.; Dehaene-Lambertz, G.; Mattout, J.; Soares, C.; Gliga, T.; Baillet, S.; Mangin, JF (2009). «Слышание лиц: как мозг младенца сопоставляет лицо, которое он видит, с речью, которую он слышит». Journal of Cognitive Neuroscience . 21 (5): 905–921. CiteSeerX 10.1.1.147.8793 . doi :10.1162/jocn.2009.21076. PMID  18702595. S2CID  11759568. 
  47. ^ abc Бернхэм, Д.; Додд, Б. (2004). «Интеграция слуховой и зрительной речи у младенцев до овладения языком: восприятие появляющегося согласного в эффекте Мак-Гурка». Психобиология развития . 45 (4): 204–220. doi :10.1002/dev.20032. PMID  15549685.
  48. ^ abcd Rosenblum, LD; Schmuckler, MA; Johnson, JA (1997). «Эффект Мак-Гурка у младенцев». Perception & Psychophysics . 59 (3): 347–357. doi : 10.3758/bf03211902 . PMID  9136265.
  49. ^ ab Woodhouse, L.; Hickson, L.; Dodd, B. (2009). «Обзор визуального восприятия речи слышащими и слабослышащими людьми: клинические аспекты». Международный журнал расстройств языка и коммуникации . 44 (3): 253–270. doi :10.1080/13682820802090281. PMID  18821117.
  50. ^ Кушнеренко, Э.; Тейнонен, Т.; Волейн, А.; Чибра, Г. (2008). «Электрофизиологические доказательства иллюзорного аудиовизуального восприятия речи у человеческих младенцев». Труды Национальной академии наук Соединенных Штатов Америки . 105 (32): 11442–11445. Bibcode : 2008PNAS..10511442K. doi : 10.1073/pnas.0804275105 . PMC 2516214. PMID  18682564 . 

Библиография

Внешние ссылки