Чтение по губам , также известное как чтение речи , представляет собой метод понимания ограниченного диапазона речи путем визуальной интерпретации движений губ, лица и языка без звука. Оценки диапазона чтения по губам различаются: некоторые цифры достигают 30%, поскольку чтение по губам зависит от контекста, знания языка и остаточного слуха. [1] Хотя чтение по губам чаще всего используется глухими и слабослышащими людьми, большинство людей с нормальным слухом обрабатывают некоторую речевую информацию, видя движущийся рот. [2]
Хотя восприятие речи считается слуховым навыком, оно по своей сути мультимодально, поскольку для произнесения речи говорящему требуется совершать движения губ, зубов и языка, которые часто видны при личном общении. Информация с губ и лица поддерживает слуховое восприятие [3] , и большинство слушателей, свободно владеющих языком, чувствительны к видимым речевым действиям (см. Эффект Макгерка ). Степень, в которой люди используют видимые речевые действия, зависит от заметности речевого действия, а также знаний и навыков воспринимающего.
Фонема — это наименьшая обнаруживаемая звуковая единица языка, которая служит для различения слов друг от друга . /pit/ и /pik/ различаются одной фонемой и относятся к разным понятиям. Разговорный английский имеет около 44 фонем. При чтении по губам количество визуально различающихся единиц — визем — намного меньше, поэтому несколько фонем сопоставляются с несколькими виземами. Это связано с тем, что многие фонемы образуются во рту и горле и их трудно увидеть. К ним относятся голосовые согласные и большинство жестов языка. Звонкие и глухие пары выглядят одинаково, например [p] и [b], [k] и [g], [t] и [d], [f] и [v], и [s] и [z]; аналогично и для назализации (например, [m] против [b]). Гомофены – это слова, которые при чтении по губам выглядят одинаково, но содержат разные фонемы. Поскольку в английском языке фонем примерно в три раза больше, чем визем, часто утверждают, что только 30% речи можно прочитать по губам. Гомофены являются важнейшим источником неправильного чтения по губам.
Висемы можно запечатлеть в виде неподвижных изображений, но речь разворачивается во времени. Плавная артикуляция звуков речи в последовательности может означать, что рисунок рта может быть «формирован» соседней фонемой: звук «th» в словах «зуб» и «зубы» выглядит очень по-разному из-за голосового контекста . Эта особенность динамического чтения речи влияет на чтение по губам «вне висемы». [5]
Хотя висемы служат полезной отправной точкой для понимания чтения по губам, разговорные различия внутри висемы можно различить и помочь в идентификации. [6] Более того, статистическое распределение фонем в лексике языка неравномерно. Хотя существуют группы слов, которые фонематически похожи друг на друга («лексические соседи», такие как плевать/глотать/сидеть/палка... и т. д.), другие не похожи на все остальные слова: они «уникальны» с точки зрения распределение их фонем (примером может быть «зонтик»). Опытные пользователи языка применяют эти знания при интерпретации речи, поэтому обычно труднее идентифицировать услышанное слово со многими лексическими соседями, чем слово с небольшим количеством соседей. Применяя это понимание к видимой речи, некоторые слова в языке можно однозначно читать по губам, даже если они содержат мало визем - просто потому, что никакие другие слова не могут «подойти». [7]
На видимость говорящего лица влияют многие факторы, включая освещенность, движение головы/камеры, частоту кадров движущегося изображения и расстояние от зрителя (см., например, [8] ). Движения головы, сопровождающие нормальную речь, также могут улучшить чтение по губам независимо от оральных действий. [9] Однако при чтении по губам связанной речи знание зрителем разговорного языка, знакомство с говорящим и стилем речи, а также контекст читающего по губам материала [10] так же важны, как и видимость говорящего. . Хотя большинство слышащих людей чувствительны к видимой речи, индивидуальные навыки чтения речи сильно различаются. Хорошие читатели по губам зачастую точнее, чем плохие, распознают фонемы в визуальной речи.
Простая висемическая мера «читаемости по губам» подвергается сомнению некоторыми исследователями. [11] Показатель «класс эквивалентности фонем» учитывает статистическую структуру лексики, а также может учитывать индивидуальные различия в способности читать по губам. [12] [13] В соответствии с этим, отличное чтение по губам часто связано с более широкими когнитивными навыками, включая общее знание языка, исполнительные функции и рабочую память . [14] [15]
Видение рта играет роль в ранней чувствительности младенцев к речи и готовит их к тому, чтобы научиться говорить в возрасте 1–2 лет. Чтобы подражать, малыш должен научиться формировать губы в соответствии со звуками, которые он слышит; вид говорящего может помочь им в этом. [16] Новорожденные имитируют движения рта взрослых, такие как высовывание языка или открытие рта, что может быть предшественником дальнейшего подражания и последующего изучения языка. [17] Младенцы беспокоятся, когда аудиовизуальная речь знакомого говорящего десинхронизирована [18] и имеют тенденцию демонстрировать разные модели взгляда для знакомых и незнакомых лиц при сопоставлении с (записанными) голосами. [19] Младенцы чувствительны к иллюзиям Макгерка за несколько месяцев до того, как они научились говорить. [20] [21] Эти и многие другие исследования указывают на роль зрения в развитии чувствительности к (слуховой) речи в первом полугодии жизни.
Примерно до шести месяцев большинство слышащих младенцев чувствительны к широкому спектру речевых жестов, в том числе к тем, которые можно увидеть на рту, которые впоследствии могут стать, а могут и не стать частью фонологии их родного языка. Но во вторые шесть месяцев жизни у слышащего младенца наблюдается сужение восприятия фонетической структуры собственного языка – и он может потерять раннюю чувствительность к бесполезным движениям рта. Звуки речи /v/ и /b/, которые висемически различимы в английском языке, но не в кастильском испанском, точно различаются у детей, подвергавшихся воздействию испанского и английского языков, в возрасте до 6 месяцев. Однако дети старшего возраста, контактирующие с испанским языком, теряют способность «видеть» это различие, в то время как оно сохраняется для младенцев, контактирующих с английским языком. [22] Такие исследования показывают, что слух и зрение в младенчестве развиваются независимо друг от друга, а мультимодальная обработка данных является правилом, а не исключением в (языковом) развитии детского мозга. [23]
Учитывая многочисленные исследования, указывающие на роль зрения в развитии речи у долингвальных детей, влияние врожденной слепоты на речевое развитие на удивление невелико. 18-месячные дети легче усваивают новые слова, когда слышат их, и не усваивают их, когда им показывают речевые движения, не слыша их. [24] Однако слепые от рождения дети могут путать /m/ и /n/ в своем раннем произношении английских слов – путаница, редко наблюдаемая у зрячих и слышащих детей, поскольку /m/ и /n/ визуально различимы, но на слух различаются. запутанный. [25] Роль зрения у детей в возрасте 1–2 лет может быть менее важной для овладения родным языком, поскольку к этому возрасту они приобретают навыки, необходимые для распознавания и имитации звуков речи. Однако прослушивание неродного языка может переключить внимание ребенка на зрительное и слуховое взаимодействие посредством чтения по губам и аудирования, чтобы обрабатывать, понимать и воспроизводить речь. [26]
В исследованиях с долингвальными младенцами и детьми используются косвенные невербальные меры для определения чувствительности к видимой речи. Явное чтение по губам можно надежно проверить на слышащих дошкольниках, попросив их «произнести вслух то, что я говорю про себя». [27] У детей школьного возраста можно легко вызвать чтение по губам знакомых замкнутых слов, таких как числовые слова. [28] Индивидуальные различия в навыках чтения по губам, которые проверялись, когда ребенка просили «произнести слово, которое вы читаете по губам», или путем сопоставления произнесения, читаемого по губам, с картинкой, [29] показывают взаимосвязь между навык чтения и возраст. [30] [31]
Хотя чтение безмолвной речи по губам представляет собой проблему для большинства слышащих людей, добавление зрения говорящего к услышанной речи улучшает обработку речи во многих случаях. Механизмы этого и то, каким образом чтение по губам помогает, являются темами текущих исследований. [32] Наблюдение за говорящим помогает на всех уровнях обработки речи: от распознавания фонетических особенностей до интерпретации прагматических высказываний. [33] Положительный эффект от добавления зрения к услышанной речи больше в шумной, чем в тихой обстановке, [34] где, облегчая восприятие речи, вид говорящего может высвободить когнитивные ресурсы, позволяя более глубоко обрабатывать речевой контент.
Поскольку в пожилом возрасте слух становится менее надежным , люди склонны больше полагаться на чтение по губам, и это поощряется. Однако более широкое использование чтения по губам не всегда может компенсировать последствия возрастной потери слуха. Когнитивному снижению с возрастом может предшествовать и/или быть связано с измеримой потерей слуха. [35] [36] Таким образом, чтение по губам не всегда может полностью компенсировать совокупное снижение слуха и когнитивных функций, связанное с возрастом.
В ряде исследований сообщается об аномалиях чтения по губам в популяциях с выраженными нарушениями развития. Аутизм . У людей с аутизмом могут наблюдаться сниженные способности читать по губам и меньшая зависимость от зрения при аудиовизуальном восприятии речи. [37] [38] Это может быть связано с аномалиями взгляда в лицо у этих людей. [39] Синдром Вильямса . Люди с синдромом Вильямса демонстрируют некоторые нарушения в чтении речи, которые могут быть независимыми от их зрительно-пространственных проблем. [40] Специфические нарушения речи : также сообщается, что у детей с SLI снижается чувствительность к чтению по губам, [41] как и у людей с дислексией . [42]
В течение сотен лет бушевали дебаты о роли чтения по губам (« орализм ») по сравнению с другими методами общения (в последнее время - тотальным общением ) в образовании глухих. Степень пользы того или иного подхода зависит от ряда факторов, включая уровень потери слуха глухого человека, возраст потери слуха, участие родителей и язык(и) родителей. Тогда возникает вопрос о целях глухого человека, его сообщества и лиц, осуществляющих уход. Целью образования является улучшение общения в целом, развитие языка жестов как первого языка или развитие навыков разговорного языка слышащего сообщества? Сейчас исследователи сосредотачивают внимание на том, какие аспекты языка и общения могут быть лучше всего реализованы, какими средствами и в каких контекстах, учитывая состояние слуха ребенка и его семьи, а также их образовательные планы. [43] Бимодальный билингвизм (владение речью и языком жестов) является одним из доминирующих современных подходов в языковом обучении глухих детей. [44]
Глухие люди часто лучше читают по губам, чем люди с нормальным слухом. [45] Некоторые глухие люди практикуют профессиональные чтения по губам, например, в судебно-медицинской экспертизе чтения по губам . У глухих людей, имеющих кохлеарный имплант , навык чтения по губам до имплантации может предсказать постимплантационную (слуховую или аудиовизуальную) обработку речи. [46] У взрослых, чем позже возраст имплантации, тем лучше способности к визуальному чтению речи у глухого человека. [47] Для многих глухих людей доступ к устному общению может быть облегчен, если устное сообщение передается через обученного профессионального говорящего по губам . [48] [49]
Что касается чтения по губам и развития грамотности, у детей, рожденных глухими, обычно наблюдается задержка развития навыков грамотности [50] , что может отражать трудности в освоении элементов разговорной речи. [51] В частности, надежное сопоставление фонем и графем может быть более трудным для глухих детей, которым необходимо уметь хорошо читать речь, чтобы освоить этот необходимый шаг в приобретении грамотности. Навык чтения по губам связан со способностями к грамотности у глухих взрослых и детей [52] [53], а обучение чтению по губам может помочь в развитии навыков грамотности. [54]
Cued Speech использует чтение по губам с сопровождающими формами рук, которые устраняют неоднозначность висемической (согласной) формы губ. Говорят, что слышащим родителям легче освоить жестовую речь, чем язык жестов, а исследования, в основном проведенные в Бельгии, показывают, что глухой ребенок, подвергавшийся жестовой речи в младенчестве, может добиться более эффективного прогресса в изучении разговорного языка, чем только чтение по губам. [55] Использование речи при кохлеарной имплантации при глухоте, вероятно, будет положительным. [56] Подобный подход, включающий использование форм рук, сопровождающих видимую речь, - это визуальная фонетика, которая используется некоторыми преподавателями для поддержки изучения письменной и устной речи.
Целью обучения и тренировки чтения по губам является развитие понимания природы чтения по губам и отработка способов улучшения способности воспринимать речь «на глаз». [57] Хотя ценность обучения чтению по губам в улучшении «слуха глазами» не всегда была очевидна, особенно для людей с приобретенной потерей слуха, есть свидетельства того, что систематическое обучение чтению по губам для улучшения «слуха глазами» может быть полезным. [58] Занятия по чтению по губам, часто называемые занятиями по чтению по губам и управлению потерей слуха , в основном предназначены для взрослых, страдающих потерей слуха. Наибольшая доля взрослых с потерей слуха имеет возрастную или связанную с шумом потерю слуха ; при обеих этих формах тугоухости в первую очередь теряются высокочастотные звуки. Поскольку многие согласные в речи являются высокочастотными звуками, речь искажается. Слуховые аппараты помогают, но не могут вылечить эту проблему. Полезность занятий чтением по губам была доказана в британских исследованиях, проведенных по заказу благотворительной организации Action on Hearing Loss [59] (2012).
Тренеры признают, что чтение по губам — неточное искусство. Студентов учат наблюдать за движениями губ, языка и челюсти, следить за напряжением и ритмом речи, использовать остаточный слух, со слуховыми аппаратами или без них, наблюдать за выражением лица и языком тела, а также использовать свою способность рассуждать и делать выводы. . Их учат алфавиту чтения по губам, группам звуков, которые выглядят одинаково на губах (висемы), например р, б, м или ж, в. Цель состоит в том, чтобы уловить суть, чтобы иметь уверенность, чтобы присоединиться к разговору. и избежать пагубной социальной изоляции, которая часто сопровождает потерю слуха. Занятия по чтению по губам рекомендуются всем, кто с трудом слышит в шуме, и помогают адаптироваться к потере слуха.
Большинство тестов на чтение по губам были разработаны для измерения индивидуальных различий в выполнении конкретных задач по обработке речи и выявления изменений в производительности после тренировки. Тесты на чтение по губам использовались в относительно небольших группах в экспериментальных условиях или в качестве клинических индикаторов для отдельных пациентов и клиентов. То есть большинство тестов на чтение по губам на сегодняшний день имеют ограниченную ценность в качестве маркеров навыка чтения по губам среди населения в целом. [60]
Автоматизированное чтение по губам было предметом интереса в вычислительной технике, а также в научно-фантастических фильмах. Инженер-вычислитель Стив Омохундро , среди прочих, был пионером в его разработке. Целью лицевой анимации является создание реалистичных движений лица, особенно движений рта, которые имитируют речевые действия человека. Компьютерные алгоритмы для деформации или манипулирования изображениями лиц могут управляться услышанной или письменной речью. Системы могут быть основаны на детальных моделях, полученных на основе движений лица ( захват движения ); по анатомическому моделированию действий челюсти, рта и языка; или при картировании известных свойств висеме-фонем. [61] [62] Лицевая анимация использовалась при обучении чтению речи (демонстрируя, как «выглядят» разные звуки). [63] Эти системы представляют собой подмножество моделирования синтеза речи , целью которого является предоставление надежных результатов преобразования текста в (видимую) речь. Дополнительная цель — обратная тому, как заставить лица двигаться в речи — разработать компьютерные алгоритмы, которые смогут обеспечить реалистичную интерпретацию речи (т. е. письменную расшифровку или аудиозапись) на основе естественных видеоданных лица в действии: это распознавание речи по лицу. Эти модели также могут быть получены на основе различных данных. [64] Автоматическое визуальное распознавание речи по видео оказалось весьма успешным в различении разных языков (на основе совокупности данных разговорного языка). [65] Демонстрационные модели, использующие алгоритмы машинного обучения, добились определенных успехов в чтении по губам речевых элементов, таких как определенные слова, из видео [66] и в выявлении трудночитаемых фонем по висемически похожим видимым действиям рта. [67] Машинное чтение речи в настоящее время успешно использует алгоритмы на основе нейронных сетей, которые используют большие базы данных говорящих и речевого материала (следуя успешной модели слухового автоматического распознавания речи ). [68]
Использование машинного чтения по губам может включать автоматическое чтение по губам записей, содержащих только видео, автоматическое чтение по губам говорящих с поврежденными речевыми трактами и обработку речи в личном видео (т. е. на основе данных видеотелефона). Автоматическое чтение по губам может помочь в обработке шумной или незнакомой речи. [69] Автоматизированное чтение по губам может способствовать биометрической идентификации личности, заменяя идентификацию на основе пароля. [70] [71]
После открытия, что слуховые области мозга , включая извилину Хешля , активируются видимой речью, [72] было показано, что нейронные цепи, отвечающие за чтение речи, включают области супрамодальной обработки, особенно верхнюю височную борозду (все части), а также заднюю нижнюю затылочную борозду. -височные области, включая области, специализирующиеся на обработке лиц и биологического движения . [73] В некоторых, но не во всех исследованиях сообщается об активации зоны Брока при чтении речи, [74] [75] что позволяет предположить, что артикуляционные механизмы могут быть активированы при чтении речи. [76] Исследования динамики аудиовизуальной обработки речи показали, что вид речи может активировать области слуховой обработки раньше акустического сигнала. [77] [78] Улучшение навыков чтения по губам связано с большей активацией (левой) верхней височной борозды и прилегающих нижних височных (зрительных) областей у слышащих людей. [79] [80] У глухих людей схемы, отвечающие за чтение речи, очень похожи на схемы у слышащих людей, с аналогичными ассоциациями (левой) верхней височной активации и навыка чтения по губам. [81]
{{cite journal}}
: CS1 maint: числовые имена: список авторов ( ссылка ){{cite journal}}
: CS1 maint: числовые имена: список авторов ( ссылка ){{cite journal}}
: CS1 maint: числовые имена: список авторов ( ссылка )