stringtranslate.com

Чтение по губам

Чтение по губам , также известное как чтение речи , представляет собой технику понимания ограниченного диапазона речи путем визуальной интерпретации движений губ, лица и языка без звука. Оценки диапазона чтения по губам различаются, некоторые цифры составляют всего 30%, поскольку чтение по губам зависит от контекста, знания языка и любого остаточного слуха. [1] Хотя чтение по губам наиболее широко используется глухими и слабослышащими людьми, большинство людей с нормальным слухом обрабатывают некоторую речевую информацию, видя движущийся рот. [2]

Процесс

Хотя восприятие речи считается слуховым навыком, оно по своей сути является мультимодальным, поскольку для произнесения речи говорящий должен совершать движения губ, зубов и языка, которые часто видны при личном общении. Информация с губ и лица поддерживает слуховое понимание [3] , и большинство бегло говорящих на языке людей чувствительны к видимым речевым действиям (см. эффект Мак-Герка ). Степень, в которой люди используют видимые речевые действия, зависит от видимости речевого действия, а также от знаний и навыков воспринимающего.

Фонемы и виземы

Фонема — это наименьшая обнаруживаемая единица звука в языке, которая служит для различения слов друг от друга. /pit/ и /pik/ отличаются одной фонемой и относятся к разным концепциям. В разговорном английском языке около 44 фонем. При чтении по губам количество визуально различающихся единиц — визем — намного меньше, поэтому несколько фонем сопоставляются с несколькими виземами. Это связано с тем, что многие фонемы воспроизводятся во рту и горле и их трудно увидеть. К ним относятся гортанные согласные и большинство жестов языка. Звонкие и глухие пары выглядят одинаково, например, [p] и [b], [k] и [g], [t] и [d], [f] и [v], а также [s] и [z]; то же самое касается назализации (например, [m] против [b]). Омофены — это слова, которые выглядят одинаково при чтении по губам, но содержат разные фонемы. Поскольку в английском языке фонем примерно в три раза больше, чем визем, часто утверждается, что только 30% речи можно прочитать по губам. Омофены являются важнейшим источником неправильного чтения по губам.

Легенда к этой головоломке гласит: «Вот класс из дюжины мальчиков, которых вызвали, чтобы они назвали свои имена, и сфотографировали мгновенным процессом, как раз когда каждый из них начинал произносить свое имя. Двенадцать имен были: Ум, Олден, Истмен, Альфред, Артур, Люк, Флетчер, Мэтью, Теодор, Ричард, Ширмер и Хиссвальд. Сейчас кажется невозможным назвать правильное имя каждого из двенадцати мальчиков, но если вы потренируетесь в этом списке с каждым из них, вы обнаружите, что не составит труда найти правильное имя для каждого из мальчиков». [4]

Коартикуляция

Виземы можно запечатлеть как неподвижные изображения, но речь разворачивается во времени. Плавная артикуляция звуков речи в последовательности может означать, что паттерны рта могут быть «сформированы» соседней фонемой: звук «th» в словах «tooth» и «teeth» выглядит очень по-разному из-за вокального контекста. Эта особенность динамического чтения речи влияет на чтение по губам «за пределами виземы». [5]

Как это может «работать» с таким малым количеством визем?

Хотя виземы предлагают полезную отправную точку для понимания чтения по губам, разговорные различия внутри виземы могут быть различимы и могут помочь в идентификации. [6] Более того, статистическое распределение фонем в лексиконе языка неравномерно. Хотя есть кластеры слов, которые фонемически похожи друг на друга («лексические соседи», такие как spit/sip/sit/stick... и т. д.), другие не похожи на все остальные слова: они «уникальны» с точки зрения распределения своих фонем (например, «зонтик»). Опытные пользователи языка используют эти знания при интерпретации речи, поэтому, как правило, сложнее идентифицировать услышанное слово со многими лексическими соседями, чем слово с несколькими соседями. Применяя это понимание к видимой речи, некоторые слова в языке можно однозначно прочитать по губам, даже если они содержат мало визем — просто потому, что никакие другие слова не могут «подойти». [7]

Различия в читаемости и мастерстве

На видимость говорящего лица влияют многие факторы, включая освещение, движение головы/камеры, частоту кадров движущегося изображения и расстояние от зрителя (см., например, [8] ). Движение головы, сопровождающее обычную речь, также может улучшить чтение по губам, независимо от оральных действий. [9] Однако при чтении по губам связной речи знание зрителем разговорного языка, знакомство с говорящим и стилем речи, а также контекст материала для чтения по губам [10] так же важны, как и видимость говорящего. Хотя большинство слышащих людей чувствительны к видимой речи, существует большая изменчивость в индивидуальных навыках чтения по губам. Хорошие читатели по губам часто точнее плохих при определении фонем из визуальной речи.

Простая виземическая мера «читаемости по губам» была подвергнута сомнению некоторыми исследователями. [11] Мера «класса эквивалентности фонем» учитывает статистическую структуру лексикона и может также учитывать индивидуальные различия в способности читать по губам. [12] [13] В соответствии с этим, отличное чтение по губам часто связано с более широкими когнитивными навыками, включая общее владение языком, исполнительную функцию и рабочую память . [14] [15]

Чтение по губам и изучение языка у слышащих младенцев и детей

Первые несколько месяцев

Видение рта играет роль в ранней чувствительности младенца к речи и готовит его к тому, чтобы стать говорящим в возрасте 1–2 лет. Чтобы подражать, младенец должен научиться формировать губы в соответствии со звуками, которые он слышит; наблюдение за говорящим может помочь ему в этом. [16] Новорожденные подражают движениям рта взрослых, таким как высовывание языка или открывание рта, что может быть предшественником дальнейшего подражания и последующего изучения языка. [17] Младенцы испытывают беспокойство, когда аудиовизуальная речь знакомого говорящего десинхронизирована [18] и, как правило, демонстрируют разные шаблоны взгляда для знакомых и незнакомых лиц при сопоставлении с (записанными) голосами. [19] Младенцы чувствительны к иллюзиям Мак-Гурка за несколько месяцев до того, как они научатся говорить. [20] [21] Эти и многие другие исследования указывают на роль зрения в развитии чувствительности к (слуховой) речи в первые полгода жизни.

Следующие шесть месяцев; роль в изучении родного языка

До шестимесячного возраста большинство слышащих младенцев чувствительны к широкому спектру речевых жестов, включая те, которые можно увидеть на губах, которые могут или не могут быть позже частью фонологии их родного языка. Но во вторые шесть месяцев жизни слышащий младенец демонстрирует сужение восприятия фонетической структуры своего собственного языка и может потерять раннюю чувствительность к бесполезным моделям рта. Речевые звуки /v/ и /b/, которые являются виземически отличительными в английском языке, но не в кастильском испанском, точно различаются у детей, подвергавшихся воздействию испанского и английского языков, до возраста около 6 месяцев. Однако дети старшего возраста, подвергавшиеся воздействию испанского языка, теряют способность «видеть» это различие, в то время как оно сохраняется у детей, подвергавшихся воздействию английского языка. [22] Такие исследования показывают, что вместо того, чтобы слух и зрение развивались независимым образом в младенчестве, мультимодальная обработка является правилом, а не исключением, в (языковом) развитии мозга младенца. [23]

Раннее развитие речи: от одного до двух лет

Учитывая многочисленные исследования, указывающие на роль зрения в развитии языка у доязыкового младенца, влияние врожденной слепоты на развитие языка на удивление невелико. 18-месячные дети легче усваивают новые слова, когда слышат их, и не усваивают их, когда им показывают речевые движения без слуха. [24] Однако дети, слепые от рождения, могут путать /m/ и /n/ в своем собственном раннем произношении английских слов — путаница, редко встречающаяся у зрячих слышащих детей, поскольку /m/ и /n/ визуально различимы, но на слух их можно спутать. [25] Роль зрения у детей в возрасте 1–2 лет может быть менее критичной для воспроизведения их родного языка, поскольку к этому возрасту они уже достигли навыков, необходимых для распознавания и имитации звуков речи. Однако, слушание неродного языка может переключить внимание ребенка на визуальное и слуховое взаимодействие посредством чтения по губам и слушания для обработки, понимания и воспроизведения речи. [26]

В детстве

Исследования с младенцами и детьми, не умеющими говорить, используют косвенные, невербальные меры для определения чувствительности к видимой речи. Явное чтение по губам можно надежно проверить у слышащих дошкольников, попросив их «произнести вслух то, что я говорю молча». [27] У детей школьного возраста чтение по губам знакомых закрытых слов, таких как числительные, может быть легко выявлено. [28] Индивидуальные различия в навыке чтения по губам, которые проверяются путем просьбы к ребенку «произнести слово, которое он читает по губам», или путем сопоставления прочитанного по губам высказывания с картинкой, [29] показывают связь между навыком чтения по губам и возрастом. [30] [31]

У слышащих взрослых: соображения о продолжительности жизни

В то время как чтение по губам беззвучной речи представляет собой проблему для большинства слышащих людей, добавление зрения говорящего к слышимой речи улучшает обработку речи во многих условиях. Механизмы этого и точные способы, которыми помогает чтение по губам, являются темами текущих исследований. [32] Видение говорящего помогает на всех уровнях обработки речи от фонетического различения признаков до интерпретации прагматических высказываний. [33] Положительные эффекты добавления зрения к слышимой речи сильнее в шумной, чем в тихой обстановке, [34] где, облегчая восприятие речи, видение говорящего может высвободить когнитивные ресурсы, обеспечивая более глубокую обработку речевого содержания.

Поскольку слух становится менее надежным в пожилом возрасте , люди могут больше полагаться на чтение по губам, и их поощряют делать это. Однако большая зависимость от чтения по губам не всегда может компенсировать последствия возрастной потери слуха. Когнитивное снижение при старении может предшествовать и/или быть связано с измеримой потерей слуха. [35] [36] Таким образом, чтение по губам не всегда может полностью компенсировать комбинированное слуховое и когнитивное возрастное снижение.

В определенных (слышащих) группах населения

В ряде исследований сообщается об аномалиях чтения по губам у групп населения с характерными нарушениями развития. Аутизм : люди с аутизмом могут демонстрировать сниженные способности к чтению по губам и сниженную зависимость от зрения при восприятии аудиовизуальной речи. [37] [38] Это может быть связано с аномалиями взгляда в лицо у этих людей. [39] Синдром Уильямса : люди с синдромом Уильямса демонстрируют некоторые нарушения чтения по губам, которые могут быть независимы от их зрительно-пространственных трудностей. [40] Специфические нарушения языка : дети с SLI, как сообщается, также демонстрируют сниженную чувствительность к чтению по губам, [41] как и люди с дислексией . [42]

Глухота

Дебаты бушуют уже сотни лет по поводу роли чтения по губам (« орализм ») по сравнению с другими методами общения (в последнее время — полной коммуникацией ) в образовании глухих людей. Степень, в которой тот или иной подход полезен, зависит от ряда факторов, включая уровень потери слуха глухого человека, возраст потери слуха, родительское участие и родительский язык(и). Затем возникает вопрос о целях глухого человека и его сообщества и опекунов. Является ли целью образования улучшение общения в целом, развитие языка жестов как первого языка или развитие навыков разговорного языка слышащего сообщества? Исследователи теперь сосредотачиваются на том, какие аспекты языка и общения могут быть лучше всего доставлены, какими средствами и в каких контекстах, учитывая статус слуха ребенка и его семьи, а также их образовательные планы. [43] Бимодальный билингвизм (владение как речью, так и языком жестов) является одним из доминирующих современных подходов в языковом образовании глухого ребенка. [44]

Глухие люди часто лучше читают по губам, чем люди с нормальным слухом. [45] Некоторые глухие люди практикуют как профессиональные читатели по губам, например, в судебной экспертизе . У глухих людей, имеющих кохлеарный имплант , предимплантационный навык чтения по губам может предсказать постимплантную (слуховую или аудиовизуальную) обработку речи. [46] У взрослых, чем позже имплантация, тем лучше способности к визуальному чтению речи у глухого человека. [47] Для многих глухих людей доступ к устной коммуникации может быть облегчен, когда устное сообщение передается через обученного профессионального диктора по губам . [48] [49]

В связи с чтением по губам и развитием грамотности, дети, рожденные глухими, обычно демонстрируют задержку развития навыков грамотности [50] , что может отражать трудности в приобретении элементов разговорной речи. [51] В частности, надежное сопоставление фонем и графем может быть более сложным для глухих детей, которым необходимо быть опытными чтецами речи, чтобы освоить этот необходимый шаг в приобретении грамотности. Навык чтения по губам связан со способностями к грамотности у глухих взрослых и детей [52] [53] , и обучение чтению по губам может помочь развить навыки грамотности. [54]

Cued Speech использует чтение по губам с сопровождающими формами рук, которые устраняют неоднозначность виземической (согласной) формы губ. Говорят, что родителям, которые слышат речь с подсказками, легче выучить ее, чем язык жестов, и исследования, в основном из Бельгии, показывают, что глухой ребенок, подвергавшийся воздействию речи с подсказками в младенчестве, может добиться более эффективного прогресса в изучении разговорного языка, чем при одном лишь чтении по губам. [55] Использование речи с подсказками при кохлеарной имплантации для глухоты, вероятно, будет положительным. [56] Похожий подход, включающий использование форм рук, сопровождающих видимую речь, называется Visual Phonics, который используется некоторыми педагогами для поддержки обучения письменному и устному языку.

Обучение и подготовка

Цель обучения и тренировки чтению по губам — развить понимание природы чтения по губам и практиковать способы улучшения способности воспринимать речь «на глаз». [57] Хотя ценность обучения чтению по губам в улучшении «слуха на глаз» не всегда была ясна, особенно для людей с приобретенной потерей слуха, есть доказательства того, что систематическое обучение по привлечению внимания учащихся к видимым речевым действиям может быть полезным. [58] Занятия чтением по губам, часто называемые занятиями по чтению по губам и управлению потерей слуха , в основном нацелены на взрослых с потерей слуха. Самая большая доля взрослых с потерей слуха имеет возрастную или связанную с шумом потерю ; при обеих этих формах потери слуха сначала теряются высокочастотные звуки. Поскольку многие согласные в речи являются высокочастотными звуками, речь искажается. Слуховые аппараты помогают, но не могут вылечить это. Было показано, что занятия чтением по губам приносят пользу в британских исследованиях, заказанных благотворительной организацией Action on Hearing Loss [59] (2012).

Тренеры признают, что чтение по губам — неточное искусство. Студентов учат следить за движениями губ, языка и челюсти, следить за ударением и ритмом языка, использовать остаточный слух, со слуховыми аппаратами или без них, следить за выражением и языком тела, а также использовать свою способность рассуждать и делать выводы. Их обучают алфавиту чтения по губам, группам звуков, которые выглядят одинаково на губах (виземы), например, п, б, м или ф, в. Цель состоит в том, чтобы уловить суть, чтобы иметь уверенность, чтобы присоединиться к разговору и избежать разрушительной социальной изоляции, которая часто сопровождает потерю слуха. Занятия по чтению по губам рекомендуются всем, кто испытывает трудности с восприятием в шуме, и помогают приспособиться к потере слуха.

Тесты

Большинство тестов чтения по губам были разработаны для измерения индивидуальных различий в выполнении определенных задач по обработке речи и для обнаружения изменений в производительности после обучения. Тесты чтения по губам использовались с относительно небольшими группами в экспериментальных условиях или в качестве клинических показателей с отдельными пациентами и клиентами. То есть, большинство тестов чтения по губам на сегодняшний день имеют ограниченную валидность в качестве маркеров навыка чтения по губам в общей популяции. [60]

Машинное чтение и говорение по губам

Автоматическое чтение по губам было темой интереса в вычислительной технике, а также в научно-фантастических фильмах. Инженер-вычислитель Стив Омохундро , среди прочих, был пионером его разработки. В анимации лица цель состоит в том, чтобы генерировать реалистичные движения лица, особенно движения рта, которые имитируют действия человеческой речи. Компьютерные алгоритмы для деформации или манипулирования изображениями лиц могут управляться услышанным или написанным языком. Системы могут быть основаны на подробных моделях, полученных из движений лица ( захват движения ); на анатомическом моделировании действий челюсти, рта и языка; или на отображении известных свойств виземы-фонемы. [61] [62] Анимация лица использовалась в обучении чтению речи (демонстрируя, как «выглядят» разные звуки). [63] Эти системы являются подмножеством моделирования синтеза речи , которое направлено на предоставление надежных выходных данных «текст-в-(видимую)-речь». Дополнительная цель — обратная тому, чтобы заставить лица двигаться в речи — заключается в разработке компьютерных алгоритмов, которые могут предоставлять реалистичные интерпретации речи (т. е. письменную стенограмму или аудиозапись) из естественных видеоданных лица в действии: это распознавание речи по лицу. Эти модели также могут быть получены из различных данных. [64] Автоматическое визуальное распознавание речи по видео было довольно успешным в различении разных языков (из корпуса данных разговорного языка). [65] Демонстрационные модели, использующие алгоритмы машинного обучения, имели определенный успех в чтении по губам речевых элементов, таких как определенные слова, из видео [66] и для определения трудночитаемых по губам фонем из виземически похожих увиденных действий рта. [67] Машинное чтение речи теперь успешно использует алгоритмы на основе нейронных сетей, которые используют большие базы данных говорящих и речевого материала (следуя успешной модели для слухового автоматического распознавания речи ). [68]

Использование машинного чтения по губам может включать автоматическое чтение по губам только видеозаписей, автоматическое чтение по губам ораторов с поврежденными голосовыми трактами и обработку речи в видео лицом к лицу (т. е. из данных видеофона). Автоматическое чтение по губам может помочь в обработке шумной или незнакомой речи. [69] Автоматическое чтение по губам может способствовать биометрической идентификации личности, заменив идентификацию на основе пароля. [70] [71]

Мозг

После открытия того, что слуховые области мозга , включая извилину Хешля , активируются видимой речью, [72] было показано, что нейронная схема для чтения речи включает супрамодальные области обработки, особенно верхнюю височную борозду (все части), а также задние нижние затылочно-височные области, включая области, специализированные для обработки лиц и биологического движения . [73] В некоторых, но не во всех исследованиях сообщается об активации области Брока для чтения речи, [74] [75] предполагая, что артикуляционные механизмы могут быть активированы при чтении речи. [76] Исследования временного хода аудиовизуальной обработки речи показали, что вид речи может подготавливать слуховые области обработки до акустического сигнала. [77] [78] Лучший навык чтения по губам связан с большей активацией в (левой) верхней височной борозде и смежных нижних височных (зрительных) областях у слышащих людей. [79] [80] У глухих людей схема, отвечающая за чтение речи, по-видимому, очень похожа на схему у слышащих людей, с похожими ассоциациями активации верхней височной доли (левой) и навыка чтения по губам. [81]

Ссылки

  1. ^ Altieri, NA; Pisoni, DB; Townsend, JT (2011). «Некоторые нормативные данные о навыках чтения по губам (L)». Журнал акустического общества Америки . 130 (1): 1–4. Bibcode : 2011ASAJ..130 ....1A. doi : 10.1121/1.3593376. PMC  3155585. PMID  21786870.
  2. ^ Вудхаус, Л.; Хиксон, Л.; Додд, Б. (2009). «Обзор визуального восприятия речи слышащими и слабослышащими людьми: клинические аспекты». Международный журнал расстройств языка и коммуникации . 44 (3): 253–70. doi :10.1080/13682820802090281. PMID  18821117.
  3. ^ Эрбер, Н. П. (1969). «Взаимодействие слуха и зрения при распознавании устных речевых стимулов». J Speech Hear Res . 12 (2): 423–5. doi :10.1044/jshr.1202.423. PMID  5808871.
  4. ↑ «Энциклопедия головоломок» Сэма Лойда , 1914 г.
  5. ^ Бенгерель, А. П.; Пичора-Фуллер, М. К. (1982). «Эффекты коартикуляции при чтении по губам». J Speech Hear Res . 25 (4): 600–7. doi :10.1044/jshr.2504.600. PMID  7162162.
  6. ^ Файлс, BT (2015). «Визуальное речевое различение и идентификация естественных и синтетических согласных стимулов». Front. Psychol . 6 : 878. doi : 10.3389/fpsyg.2015.00878 . PMC 4499841. PMID  26217249 . 
  7. ^ Auer, ET (2010). «Исследование чтения речи и глухоты». Журнал Американской академии аудиологии . 21 (3): 163–8. doi :10.3766/jaaa.21.3.4. PMC 3715375. PMID  20211120 . 
  8. ^ Jordan, TR; Thomas, SM (2011). «Когда половина лица так же хороша, как и целое: влияние простой существенной окклюзии на визуальное и аудиовизуальное восприятие речи». Atten Percept Psychophys . 73 (7): 2270–85. doi : 10.3758/s13414-011-0152-4 . PMID  21842332.
  9. ^ Томас, SM; Джордан, TR (2004). «Вклад орального и внеротового движения лица в визуальное и аудиовизуальное восприятие речи». J Exp Psychol Hum Percept Perform . 30 (5): 873–88. doi :10.1037/0096-1523.30.5.873. PMID  15462626.
  10. ^ Спехар, Б.; Гебель, С.; Тай-Мюррей, Н. (2015). «Влияние типа контекста на чтение по губам и эффективность слушания и его значение для обработки предложений». J Speech Lang Hear Res . 58 (3): 1093–102. doi :10.1044/2015_JSLHR-H-14-0360. PMC 4610295. PMID  25863923 . 
  11. ^ Файлс, BT; Тянь, BS; Цзян, J; Бернстайн, LE (2015). «Визуальное речевое различение и идентификация естественных и синтетических согласных стимулов». Front Psychol . 6 : 878. doi : 10.3389/fpsyg.2015.00878 . PMC 4499841. PMID  26217249 . 
  12. ^ Auer, ET; Bernstein, LE (1997). «Чтение речи и структура лексикона: вычислительное моделирование эффектов сниженной фонетической различимости на лексическую уникальность». Журнал акустического общества Америки . 102 (6): 3704–10. Bibcode : 1997ASAJ..102.3704A. doi : 10.1121/1.420402. PMID  9407662.
  13. ^ Feld J1, Sommers M 2011 There Goes the Neighborhood: Lipreading and the Structure of the Mental Lexicon. Речевое общение. Февраль;53(2):220-228
  14. ^ Тай-Мюррей, Н.; Хейл, С.; Спехар, Б.; Майерсон, Дж.; Соммерс, М.С. (2014). «Чтение по губам у детей школьного возраста: роль возраста, состояния слуха и когнитивных способностей». J Speech Lang Hear Res . 57 (2): 556–65. doi :10.1044/2013_JSLHR-H-12-0273. PMC 5736322. PMID  24129010 . 
  15. ^ Feld, JE; Sommers, MS (2009). «Чтение по губам, скорость обработки и рабочая память у молодых и пожилых людей». J Speech Lang Hear Res . 52 (6): 1555–65. doi :10.1044/1092-4388(2009/08-0137). PMC 3119632. PMID  19717657 . 
  16. ^ "HuffPost - Срочные новости, новости США и мира". HuffPost . Получено 11 октября 2020 г.
  17. ^ Мельцофф, AN; Мур, MK (1977). «Имитация мимических и мануальных жестов новорожденными». Science . 198 (4312): 74–8. doi :10.1126/science.897687. PMID  897687. S2CID  30956329.
  18. ^ Додд Б. 1976 Чтение по губам у младенцев: внимание к речи, представленной синхронно и несинхронно. Когнитивная психология октябрь;11(4):478-84
  19. ^ Spelke, E (1976). «Интермодальное восприятие событий у младенцев». Когнитивная психология . 8 (4): 553–560. doi :10.1016/0010-0285(76)90018-9. S2CID  1226796.
  20. ^ Бернхэм, Д.; Додд, Б. (2004). «Аудиовизуальная речевая интеграция у доязыковых младенцев: восприятие появляющегося согласного в эффекте Мак-Гурка». Психобиология развития . 45 (4): 204–20. doi :10.1002/dev.20032. PMID  15549685.
  21. ^ Rosenblum, LD; Schmuckler, MA; Johnson, JA (1997). «Эффект Мак-Гурка у младенцев». Percept Psychophys . 59 (3): 347–57. doi : 10.3758/BF03211902 . PMID  9136265.
  22. ^ Понс, Ф. и др. (2009). «Сужение межсенсорного восприятия речи в младенчестве». Труды Национальной академии наук . 106 (26): 10598–602. Bibcode : 2009PNAS..10610598P. doi : 10.1073/pnas.0904134106 . PMC 2705579. PMID  19541648 . 
  23. ^ Левкович, DJ; Газанфар, AA (2009). «Возникновение мультисенсорных систем через сужение восприятия». Тенденции в когнитивных науках . 13 (11): 470–8. CiteSeerX 10.1.1.554.4323 . doi :10.1016/j.tics.2009.08.004. PMID  19748305. S2CID  14289579. 
  24. ^ Havy, M., Foroud, A., Fais, L., & Werker, JF (в печати; онлайн 26 января 2017 г.). Роль слуховой и визуальной речи в обучении словам в возрасте 18 месяцев и во взрослом возрасте. Развитие ребенка. (Предпечатная версия)
  25. ^ Миллс, А.Е. 1987 Развитие фонологии у слепого ребенка. В B.Dodd & R.Campbell (ред.) Слух глазами: психология чтения по губам, Hove UK, Lawrence Erlbaum Associates
  26. ^ Левкович, DJ; Хансен-Тифт, AM (январь 2012 г.). «Младенцы направляют избирательное внимание на рот говорящего лица при обучении речи». Труды Национальной академии наук . 109 (5): 1431–6. Bibcode : 2012PNAS..109.1431L. doi : 10.1073/pnas.1114783109 . PMC 3277111. PMID  22307596 . 
  27. ^ Дэвис Р.1, Кидд Э.; Ландер К. (2009). «Исследование психолингвистических коррелятов чтения речи у детей дошкольного возраста». Международный журнал расстройств языка и коммуникации . 44 (2): 164–74. doi : 10.1080/13682820801997189. hdl : 11858/00-001M-0000-002E-2344-8 . PMID  18608607.{{cite journal}}: CS1 maint: числовые имена: список авторов ( ссылка )
  28. ^ Додд Б. 1987 Приобретение навыков чтения по губам нормально слышащими детьми. В B.Dodd & R.Campbell (Eds) Hearing by Eye, Erlbaum NJ pp163-176
  29. ^ Джергер, С. и др. (2009). «Сдвиги в развитии чувствительности детей к визуальной речи: новое мультимодальное задание «картинка-слово». J Exp Child Psychol . 102 (1): 40–59. doi :10.1016/j.jecp.2008.08.002. PMC 2612128. PMID  18829049 . 
  30. ^ Кайл, FE; Кэмпбелл, R; Мохаммед, T; Коулман, M; МакСуини, M (2013). «Развитие чтения речи у глухих и слышащих детей: введение в тест чтения речи у детей». Журнал исследований речи, языка и слуха . 56 (2): 416–26. doi :10.1044/1092-4388(2012/12-0039). PMC 4920223. PMID  23275416 . 
  31. ^ Тай-Мюррей, Н.; Хейл, С.; Спехар, Б.; Майерсон, Дж.; Соммерс, М.С. (2014). «Чтение по губам у детей школьного возраста: роль возраста, состояния слуха и когнитивных способностей». J Speech Lang Hear Res . 57 (2): 556–65. doi :10.1044/2013_JSLHR-H-12-0273. PMC 5736322. PMID  24129010 . 
  32. ^ Peelle, JE; Sommers, MS (2015). «Предсказание и ограничение в аудиовизуальном восприятии речи». Cortex . 68 : 169–81. doi :10.1016/j.cortex.2015.03.006. PMC 4475441 . PMID  25890390. 
  33. ^ Кэмпбелл, Р. (2008). «Обработка аудиовизуальной речи: эмпирические и нейронные основы». Philosophical Transactions of the Royal Society B. 363 ( 1493): 1001–1010. doi :10.1098/rstb.2007.2155. PMC 2606792. PMID  17827105 . 
  34. ^ Sumby, WH; Pollack, I (1954). «Визуальный вклад в разборчивость речи в шуме». Журнал Акустического общества Америки . 26 (2): 212–215. Bibcode :1954ASAJ...26..212S. doi :10.1121/1.1907309. hdl : 11858/00-001M-0000-002C-6664-3 .
  35. ^ Taljaard, Schmulian; et al. (2015). «Взаимосвязь между нарушением слуха и когнитивной функцией: метаанализ у взрослых» (PDF) . Clin Otolaryngol . 41 (6): 718–729. doi :10.1111/coa.12607. hdl : 2263/60768 . PMID  26670203. S2CID  5327755.
  36. ^ Hung, SC; et al. (2015). «Потеря слуха связана с риском болезни Альцгеймера: исследование случай-контроль у пожилых людей». J Epidemiol . 25 (8): 517–21. doi :10.2188/jea.JE20140147. PMC 4517989. PMID  25986155 . 
  37. ^ Смит, Э.Г.; Беннетто, Л.Дж. (2007). «Аудиовизуальная речевая интеграция и чтение по губам при аутизме». Журнал детской психологии и психиатрии . 48 (8): 813–21. doi :10.1111/j.1469-7610.2007.01766.x. PMID  17683453.
  38. ^ Ирвин, Дж. Р.; Торнаторе, Л. А.; Бранкацио, Л.; Уэйлен, Д. Х. (2011). «Могут ли дети с расстройствами аутистического спектра «слышать» говорящее лицо?». Child Dev . 82 (5): 1397–403. doi :10.1111/j.1467-8624.2011.01619.x. PMC 3169706. PMID  21790542 . 
  39. ^ Ирвин, Дж. Р.; Бранкацио, Л. (2014). «Видеть, чтобы слышать? Модели взгляда на говорящие лица у детей с расстройствами аутистического спектра». Front Psychol . 5 : 397. doi : 10.3389/fpsyg.2014.00397 . PMC 4021198. PMID  24847297 . 
  40. ^ Бёнинг, М.; Кэмпбелл, Р.; Кармилофф-Смит, А. (2002). «Аудиовизуальное восприятие речи при синдроме Уильямса». Neuropsychologia . 40 (8): 1396–406. doi :10.1016/s0028-3932(01)00208-1. PMID  11931944. S2CID  9125298.
  41. ^ Leybaert, J; Macchi, L; Huyse, A; Champoux, F; Bayard, C; Colin, C; Berthommier, F (2014). «Атипичное аудиовизуальное восприятие речи и эффекты Мак-Гурка у детей со специфическими языковыми нарушениями». Front Psychol . 5 : 422. doi : 10.3389/fpsyg.2014.00422 . PMC 4033223. PMID  24904454 . 
  42. ^ Мохаммед Т1, Кэмпбелл Р.; Максвини, М.; Барри, Ф.; Коулман, М. (2006). «Чтение речи и его связь с чтением среди глухих, слышащих и дислексиков». Клиническая лингвистика и фонетика . 20 (7–8): 621–30. doi :10.1080/02699200500266745. PMID  17056494. S2CID  34877573.{{cite journal}}: CS1 maint: числовые имена: список авторов ( ссылка )
  43. ^ "Руки и голоса :: Статьи".
  44. ^ Суонвик, Р. (2016). «Бимодальное двуязычие и образование глухих детей» (PDF) . Обучение языку . 49 (1): 1–34. doi :10.1017/S0261444815000348. S2CID  146626144.
  45. ^ Бернстайн, LE; Деморест, ME; Такер, PE (2000). «Восприятие речи без слуха». Восприятие и психофизика . 62 (2): 233–52. doi : 10.3758/bf03205546 . PMID  10723205.
  46. ^ Bergeson TR1, Pisoni DB; Davis, RA (2005). «Развитие навыков аудиовизуального понимания у детей с прелингвальной глухотой и кохлеарными имплантами». Ear & Hearing . 26 (2): 149–64. doi :10.1097/00003446-200504000-00004. PMC 3432935 . PMID  15809542. {{cite journal}}: CS1 maint: числовые имена: список авторов ( ссылка )
  47. ^ Pimperton, Hannah; Ralph-Lewis, Amelia; MacSweeney, Mairead (2017). «Чтение речи у глухих взрослых с кохлеарными имплантами: доказательства перцептивной компенсации». Front. Psychol . 8 : 106. doi : 10.3389/fpsyg.2017.00106 . PMC 5294775. PMID  28223951 . 
  48. ^ "Коммуникационная поддержка для глухих". 2015-11-24.
  49. ^ «Lipspeaker UK — Услуги связи для глухих и слабослышащих людей».
  50. ^ "Чтение и дислексия у глухих детей | Nuffield Foundation". 19 ноября 2019 г.
  51. ^ Майер, К. (2007). «Что действительно важно в раннем развитии грамотности глухих детей». J Deaf Stud Deaf Educ . 12 (4): 411–31. doi : 10.1093/deafed/enm020 . PMID  17566067.
  52. ^ Мохаммед, Тара; Кэмпбелл, Рут; Максуини, Мейред; Барри, Фиона; Коулман, Майкл (2006). «Чтение речи и его связь с чтением среди глухих, слышащих и дислексиков». Клиническая лингвистика и фонетика . 20 (7–8): 621–630. doi :10.1080/02699200500266745. PMID  17056494. S2CID  34877573.
  53. ^ Кайл, FE; Харрис, M. (2010). «Предикторы развития чтения у глухих детей: трехлетнее лонгитюдное исследование» (PDF) . J Exp Child Psychol . 107 (3): 229–243. doi :10.1016/j.jecp.2010.04.011. PMID  20570282.
  54. ^ Кайл, Фиона Э.; Кэмпбелл, Рут; Мохаммед, Тара; Коулман, Майк; МакСуини, Мейред (2013). «Развитие чтения речи у глухих и слышащих детей: введение в тест чтения речи у детей». Журнал исследований речи, языка и слуха . 56 (2): 416–426. doi :10.1044/1092-4388(2012/12-0039). PMC 4920223. PMID  23275416 . 
  55. ^ Николс, GH; Линг, D (1982). «Речь с подсказками и восприятие устной речи». J Speech Hear Res . 25 (2): 262–9. doi :10.1044/jshr.2502.262. PMID  7120965.
  56. ^ Leybaert, J; LaSasso, CJ (2010). «Речь с подсказками для улучшения восприятия речи и развития первого языка у детей с кохлеарными имплантами». Trends in Amplification . 14 (2): 96–112. doi :10.1177/1084713810375567. PMC 4111351. PMID  20724357 . 
  57. ^ "Lipreading Alphabet: Round Vowels". Архивировано из оригинала 2014-06-23 . Получено 2014-06-23 .
  58. ^ Бернстайн, LE; Джордан, N; Ауэр, ET; Эберхардт, SP (2022). «Чтение по губам: обзор его сохраняющейся важности для распознавания речи при приобретенной потере слуха и возможностей эффективного обучения». Американский журнал аудиологии . 31 (2): 453–469. doi :10.1044/2021_AJA-21-00112. PMC 9524756. PMID  35316072 . 
  59. ^ «Кампании и влияние».
  60. ^ Altieri, NA; Pisoni, DB; Townsend, JT (2011). «Некоторые нормативные данные о навыках чтения по губам». Журнал акустического общества Америки . 130 (1): 1–4. Bibcode : 2011ASAJ..130....1A. doi : 10.1121/1.3593376. PMC 3155585. PMID  21786870 . 
  61. ^ "Главная > Рэйчел-Уокер > Колледж литературы, искусств и наук имени Дэны и Дэвида Дорнсайфа при Университете Южной Калифорнии" (PDF) .
  62. ^ «Визуальный синтез речи на основе правил». 1995. С. 299–302.
  63. ^ Босселер, Алексис; Массаро, Доминик В. (2003). «Разработка и оценка компьютерного анимированного репетитора для изучения словарного запаса и языка у детей с аутизмом». Журнал аутизма и нарушений развития . 33 (6): 653–672. doi :10.1023/B:JADD.0000006002.82367.4f. PMID  14714934. S2CID  17406145.
  64. ^ «Визуальный синтез речи — UEA».
  65. ^ «Компьютер, читающий по губам, может различать языки».
  66. ↑ Архивировано в Ghostarchive и Wayback Machine: «Видео в текст: чтение по губам и распознавание слов». YouTube .
  67. ^ Хики, Шейн (24.04.2016). «Инноваторы: можно ли научить компьютеры читать по губам?». The Guardian .
  68. ^ «Искусственный интеллект DeepMind от Google может читать по губам телепередачи лучше профессионала».
  69. ^ Petajan, E.; Bischoff, B.; Bodoff, D.; Brooke, NM (1988). "Улучшенная автоматическая система чтения по губам для улучшения распознавания речи". Труды конференции SIGCHI по человеческим факторам в вычислительных системах - CHI '88 . стр. 19–25. doi :10.1145/57167.57170. ISBN 978-0201142372. S2CID  15211759.
  70. ^ Люттин, Юрген; Такер, Нил А.; Бит, Стив В. «Определение говорящего по чтению по губам» (PDF) . Лаборатории прикладной науки и инжиниринга .
  71. ^ http://www.planetbiometrics.com-article-details-i-2250 [ постоянная мертвая ссылка ]
  72. ^ Calvert, GA; Bullmore, ET; Brammer, MJ; et al. (1997). «Активация слуховой коры во время безмолвного чтения по губам». Science . 276 (5312): 593–6. doi :10.1126/science.276.5312.593. PMID  9110978.
  73. ^ Бернстайн, LE; Либенталь, E (2014). «Нейронные пути для визуального восприятия речи». Front Neurosci . 8 : 386. doi : 10.3389/fnins.2014.00386 . PMC 4248808. PMID  25520611 . 
  74. ^ Скиппер, JI; ван Вассенхове, V; Нусбаум, HC; Смолл, SL (2007). «Слышать губы и видеть голоса: как корковые области, поддерживающие производство речи, опосредуют аудиовизуальное восприятие речи». Cerebral Cortex . 17 (10): 2387–2399. doi :10.1093/cercor/bhl147. PMC 2896890 . PMID  17218482. 
  75. ^ Кэмпбелл, Р.; МакСуини, М.; Сургуладзе, С.; Калверт, Г.; МакГвайр, П.; Саклинг, Дж.; Браммер, М.Дж.; Дэвид, А.С. (2001). «Корковые субстраты для восприятия действий лица: исследование с помощью фМРТ специфичности активации для видимой речи и для бессмысленных действий нижней части лица (мурлыканье)». Brain Res Cogn Brain Res . 12 (2): 233–43. doi :10.1016/s0926-6410(01)00054-4. PMID  11587893.
  76. ^ Сваминатан, С.; МакСуини, М.; Бойлз, Р.; Уотерс, Д.; Уоткинс, К.Е.; Мёттонен, Р. (2013). «Моторная возбудимость во время визуального восприятия известных и неизвестных разговорных языков». Мозг и язык . 126 (1): 1–7. doi :10.1016/j.bandl.2013.03.002. PMC 3682190. PMID  23644583 . 
  77. ^ Сэмс, М. и др. (1991). «Ауленко и др. 1991 Видение речи: визуальная информация от движений губ изменяет активность слуховой коры человека». Neuroscience Letters . 127 (1): 141–145. doi :10.1016/0304-3940(91)90914-f. PMID  1881611. S2CID  9035639.
  78. ^ Ван Вассенхов, В.; Грант, К. В.; Поппель, Д. (январь 2005 г.). «Визуальная речь ускоряет нейронную обработку слуховой речи». Труды Национальной академии наук . 102 (4): 1181–6. Bibcode : 2005PNAS..102.1181V. doi : 10.1073/pnas.0408949102 . PMC 545853. PMID  15647358 . 
  79. ^ Холл DA1, Фуссел C, Саммерфилд AQ. 2005 Чтение беглой речи с говорящих лиц: типичные мозговые сети и индивидуальные различия. J. Cogn Neurosci. 17(6):939-53.
  80. ^ Бернстайн, LE; Цзян, J; Пантазис, D; Лу, ZL; Джоши, A (2011). «Визуальная фонетическая обработка, локализованная с использованием речевых и неречевых жестов лица в видео и точечных дисплеях». Hum Brain Mapp . 32 (10): 1660–76. doi :10.1002/hbm.21139. PMC 3120928. PMID  20853377 . 
  81. ^ Capek, CM; Macsweeney, M; Woll, B; Waters, D; McGuire, PK; David, AS; Brammer, MJ; Campbell, R (2008). «Корковые цепи для беззвучного чтения речи у глухих и слышащих людей». Neuropsychologia . 46 (5): 1233–41. doi :10.1016/j.neuropsychologia.2007.11.026. PMC 2394569 . PMID  18249420. 

Библиография

Дальнейшее чтение

Смотрите также