Распознавание речи

Автоматическое преобразование разговорной речи в текст

Распознавание речи — это междисциплинарная область информатики и компьютерной лингвистики , которая разрабатывает методологии и технологии, позволяющие распознавать и переводить разговорную речь в текст с помощью компьютеров. Он также известен как автоматическое распознавание речи ( ASR ), компьютерное распознавание речи или преобразование речи в текст ( STT ). Он включает в себя знания и исследования в области информатики , лингвистики и компьютерной инженерии . Обратный процесс — синтез речи .

Некоторые системы распознавания речи требуют «обучения» (также называемого «зачислением»), когда отдельный говорящий читает в систему текст или изолированный словарный запас . Система анализирует конкретный голос человека и использует его для точной настройки распознавания речи этого человека, что приводит к повышению точности. Системы, не использующие обучение, называются «динамиконезависимыми» ^[1] системами. Системы, использующие обучение, называются «зависимыми от говорящего».

Приложения распознавания речи включают голосовые пользовательские интерфейсы , такие как голосовой набор (например, «позвонить домой»), маршрутизация вызовов (например, «Я хотел бы сделать платный звонок»), управление домашними устройствами, поиск ключевых слов (например, найти подкаст, в котором есть определенные слова). были произнесены), простой ввод данных (например, ввод номера кредитной карты), подготовка структурированных документов (например, отчет о радиологии), определение характеристик говорящего, ^[2] обработка речи в тексте (например, текстовые процессоры или электронная почта ), и самолеты (обычно называемые прямым голосовым вводом ).

Термин «распознавание голоса» ^{[3] [4] [5]} или идентификация говорящего ^{[6] [7] [8]} относится к идентификации говорящего, а не к тому, что он говорит. Распознавание говорящего может упростить задачу перевода речи в системах, обученных на голосе конкретного человека, или может использоваться для аутентификации или проверки личности говорящего в рамках процесса безопасности.

С технологической точки зрения распознавание речи имеет долгую историю, сопровождавшуюся несколькими волнами крупных инноваций. Совсем недавно эта область получила выгоду от достижений в области глубокого обучения и больших данных . О достижениях свидетельствует не только рост количества научных работ, опубликованных в этой области, но, что более важно, внедрение во всем мире различных методов глубокого обучения при проектировании и развертывании систем распознавания речи.

История

Ключевыми областями роста были: размер словарного запаса, независимость говорящего и скорость обработки информации.

До 1970 г.

• 1952 – Трое исследователей Bell Labs, Стивен Балашек, ^[9] Р. Биддульф и К. Х. Дэвис, построили систему под названием «Одри» ^[10] для распознавания цифр с помощью одного динамика. Их система определяла форманты в спектре мощности каждого высказывания. ^[11]
• 1960 — Гуннар Фант разработал и опубликовал модель речевого производства «источник-фильтр» .
• 1962 — IBM продемонстрировала на Всемирной выставке 1962 года способность распознавания речи своей машины «Shoebox» из 16 слов . ^[12]
• 1966 - Линейное предсказательное кодирование (LPC), метод кодирования речи , было впервые предложено Фумитадой Итакурой из Университета Нагои и Сюдзо Сайто из Nippon Telegraph and Telephone (NTT) во время работы над распознаванием речи. ^[13]
• 1969 – Финансирование Bell Labs прекратилось на несколько лет, когда в 1969 году влиятельный Джон Пирс написал открытое письмо, в котором критиковал и защищал исследования в области распознавания речи. ^[14] Это лишение финансирования продолжалось до тех пор, пока Пирс не ушел на пенсию и его место занял Джеймс Л. Фланаган .

Радж Редди был первым человеком, который взялся за непрерывное распознавание речи, будучи аспирантом Стэнфордского университета в конце 1960-х годов. Предыдущие системы требовали от пользователей делать паузу после каждого слова. Система Редди выдавала голосовые команды для игры в шахматы .

Примерно в это же время советские исследователи изобрели алгоритм динамического искажения времени (DTW) и использовали его для создания распознавателя, способного работать со словарем из 200 слов. ^[15] DTW обрабатывал речь, разделяя ее на короткие кадры, например сегменты по 10 мс, и обрабатывая каждый кадр как единое целое. Хотя DTW был заменен более поздними алгоритмами, этот метод сохранился. Достижение независимости спикеров в тот период оставалось нерешенным.

1970–1990 гг.

• 1971 - DARPA профинансировало пять лет исследований по распознаванию речи , исследований по распознаванию речи, направленных на минимальный размер словарного запаса в 1000 слов. Они думали, что понимание речи будет ключом к прогрессу в распознавании речи , но позже это оказалось неправдой. ^[16] В программе приняли участие BBN , IBM , Карнеги-Меллон и Стэнфордский исследовательский институт . ^{[17] [18]} Это возрожденное исследование распознавания речи после письма Джона Пирса.

• 1972 – Группа IEEE по акустике, речи и обработке сигналов провела конференцию в Ньютоне, штат Массачусетс.
• 1976 — Первая конференция ICASSP прошла в Филадельфии , которая с тех пор стала основным местом публикации исследований по распознаванию речи. ^[19]

В конце 1960-х годов Леонард Баум разработал математику цепей Маркова в Институте оборонного анализа . Десять лет спустя в CMU ученики Раджа Редди Джеймс Бейкер и Джанет М. Бейкер начали использовать скрытую марковскую модель (HMM) для распознавания речи. ^[20] Джеймс Бейкер узнал о HMM во время летней работы в Институте оборонного анализа во время учебы в бакалавриате. ^[21] Использование HMM позволило исследователям объединить различные источники знаний, такие как акустика, язык и синтаксис, в единую вероятностную модель.

• К середине 1980-х годов команда Фреда Елинека из IBM создала пишущую машинку с голосовым управлением под названием Tangora, которая могла обрабатывать словарный запас в 20 000 слов ^. методы моделирования, такие как HMM. (Группа Елинека независимо обнаружила применение HMM к речи. ^[21] ). Это вызвало споры среди лингвистов, поскольку HMM слишком упрощены, чтобы объяснить многие общие черты человеческих языков. ^[23] Однако HMM оказался очень полезным способом моделирования речи и заменил динамическое искажение времени, став доминирующим алгоритмом распознавания речи в 1980-х годах. ^{[24] [25]}

• 1982 – Компания Dragon Systems, основанная Джеймсом и Джанет М. Бейкер , ^[26] была одним из немногих конкурентов IBM.

Практическое распознавание речи

В 1980-е годы также была представлена ​​языковая модель n-грамм .

• 1987 – Модель отсрочки позволила языковым моделям использовать n-граммы разной длины, а CSELT ^[27] использовал HMM для распознавания языков (как в программном обеспечении, так и в специализированных аппаратных процессорах, например RIPAC ).

Большая часть прогресса в этой области обусловлена ​​быстро растущими возможностями компьютеров. По окончании программы DARPA в 1976 году лучшим компьютером, доступным исследователям, был PDP-10 с 4 МБ оперативной памяти. ^[28] Для декодирования всего лишь 30 секунд речи может потребоваться до 100 минут. ^[29]

Двумя практическими продуктами были:

• 1984 г. - выпущен Apricot Portable с поддержкой до 4096 слов, из которых только 64 могут храниться в оперативной памяти одновременно. ^[30]
• 1987 г. – признанный специалист компании Kurzweil Applied Intelligence.
• 1990 – Dragon Dictate, потребительский продукт, выпущенный в 1990 году. ^{[31] [32] В 1992 году} компания AT&T развернула службу обработки вызовов с распознаванием голоса для маршрутизации телефонных звонков без использования человека-оператора. ^[33] Технология была разработана Лоуренсом Рабинером и другими сотрудниками Bell Labs.

К этому моменту словарный запас типичной коммерческой системы распознавания речи уже превышал средний человеческий словарный запас. ^[28] Бывший ученик Раджа Редди, Сюэдун Хуан , разработал систему Sphinx-II в CMU. Система Sphinx-II была первой системой, обеспечивающей независимость от говорящего, большой словарный запас и непрерывное распознавание речи, и она показала лучшие результаты по оценке DARPA 1992 года. Обработка непрерывной речи с помощью большого словарного запаса стала важной вехой в истории распознавания речи. В 1993 году Хуанг основал группу по распознаванию речи в Microsoft. Ученик Раджа Редди Кай-Фу Ли присоединился к Apple, где в 1992 году он помог разработать прототип речевого интерфейса для компьютера Apple, известного как Casper.

Lernout & Hauspie , бельгийская компания по распознаванию речи, приобрела несколько других компаний, в том числе Kurzweil Applied Intelligence в 1997 году и Dragon Systems в 2000 году. Речевая технология L&H использовалась в операционной системе Windows XP . L&H была лидером отрасли до тех пор, пока бухгалтерский скандал не положил конец компании в 2001 году. Речевую технологию L&H купила компания ScanSoft, которая в 2005 году стала Nuance. Первоначально Apple лицензировала программное обеспечение Nuance, чтобы обеспечить возможность распознавания речи своему цифровому помощнику Siri . ^[34]

2000-е

В 2000-х годах DARPA спонсировало две программы распознавания речи: «Эффективное доступное повторное использование речи в тексте» (EARS) в 2002 году и « Global Autonomous Language Exploitation» (GALE). В программе EARS участвовали четыре команды: IBM , команда под руководством BBN с LIMSI и Univ. Питтсбурга , Кембриджского университета и группы, состоящей из ICSI , SRI и Вашингтонского университета . EARS профинансировал сбор корпуса телефонной речи Switchboard , содержащий 260 часов записанных разговоров более чем 500 говорящих. ^[35] Программа GALE фокусировалась на новостной речи на арабском и китайском языках . Первые попытки Google в области распознавания речи были предприняты в 2007 году после найма нескольких исследователей из Nuance . ^[36] Первым продуктом был GOOG-411 , телефонная служба каталогов. Записи GOOG-411 предоставили ценные данные, которые помогли Google улучшить свои системы распознавания. Голосовой поиск Google теперь поддерживается более чем на 30 языках.

В Соединенных Штатах Агентство национальной безопасности использует тип распознавания речи для определения ключевых слов , по крайней мере, с 2006 года . ^[37] Эта технология позволяет аналитикам выполнять поиск в больших объемах записанных разговоров и изолировать упоминания ключевых слов. Записи можно индексировать, а аналитики могут выполнять запросы к базе данных, чтобы найти интересующие разговоры. Некоторые правительственные исследовательские программы были сосредоточены на интеллектуальных приложениях распознавания речи, например, программа EARS DARPA и программа Babel IARPA .

В начале 2000-х годов в распознавании речи все еще доминировали традиционные подходы, такие как скрытые марковские модели в сочетании с искусственными нейронными сетями прямого распространения . ^[38] Однако сегодня многие аспекты распознавания речи были взяты на вооружение методом глубокого обучения под названием « Длинная краткосрочная память» (LSTM), рекуррентной нейронной сети, опубликованной Зеппом Хохрайтером и Юргеном Шмидхубером в 1997 году. ^[39] LSTM RNN избежать проблемы исчезающего градиента и научиться выполнять задачи «очень глубокого обучения» ^[40] , требующие воспоминаний о событиях, произошедших тысячи дискретных шагов назад, что важно для речи. Примерно в 2007 году LSTM, обученный коннекционистской временной классификацией (CTC) ^[41], начал превосходить традиционное распознавание речи в некоторых приложениях. ^[42] Сообщается, что в 2015 году производительность распознавания речи Google резко выросла на 49% благодаря LSTM, обученному CTC, который теперь доступен через Google Voice для всех пользователей смартфонов. ^[43] Трансформеры , тип нейронной сети, основанный исключительно на внимании, получили широкое распространение в компьютерном зрении ^{[44] [45]} и языковом моделировании, ^{[46] [47]} что вызвало интерес к адаптации таких моделей к новым областям, включая распознавание речи. ^{[48] ​​[49] [50]} В некоторых недавних статьях сообщалось о превосходных уровнях производительности при использовании моделей преобразователей для распознавания речи, но эти модели обычно требуют крупномасштабных наборов обучающих данных для достижения высоких уровней производительности.

Использование сетей с глубокой прямой связью (нерекуррентных) для акустического моделирования было предложено во второй половине 2009 года Джеффри Хинтоном и его студентами в Университете Торонто, а также Ли Денгом ^[51] и коллегами из Microsoft Research, первоначально в совместной работе работа между Microsoft и Университетом Торонто, которая впоследствии была расширена за счет IBM и Google (отсюда подзаголовок «Общие взгляды четырех исследовательских групп» в их обзорном документе 2012 года). ^{[52] [53] [54]} Руководитель исследования Microsoft назвал это нововведение «самым резким изменением точности с 1979 года». ^[55] В отличие от устойчивых постепенных улучшений последних нескольких десятилетий, применение глубокого обучения снизило частоту ошибок в словах на 30%. ^[55] Это нововведение быстро распространилось по всей области. Исследователи также начали использовать методы глубокого обучения для языкового моделирования.

За долгую историю распознавания речи как поверхностные, так и глубокие формы (например, рекуррентные сети) искусственных нейронных сетей исследовались в течение многих лет в 1980-х, 1990-х годах и в течение нескольких лет в 2000-х годах. ^{[56] [57] [58]} Но эти методы никогда не побеждали неоднородную модель гауссовской смеси с внутренним ручным созданием / технологию скрытой марковской модели (GMM-HMM), основанную на генеративных моделях речи, обученных дискриминативно. ^[59] В 1990-х годах был методологически проанализирован ряд ключевых трудностей, включая уменьшение градиента ^[60] и слабую структуру временной корреляции в нейронных прогнозирующих моделях. ^{[61] [62]} Все эти трудности были в дополнение к отсутствию больших обучающих данных и большой вычислительной мощности в те первые дни. Большинство исследователей в области распознавания речи, которые понимали такие барьеры, впоследствии отошли от нейронных сетей и стали использовать подходы генеративного моделирования до недавнего возрождения глубокого обучения, начавшегося примерно в 2009–2010 годах, которое преодолело все эти трудности. Хинтон и др. и Дэнг и др. рассмотрели часть этой недавней истории о том, как их сотрудничество друг с другом, а затем с коллегами из четырех групп (Университет Торонто, Microsoft, Google и IBM) положило начало возрождению приложений глубоких нейронных сетей с прямой связью для распознавания речи. ^{[53] [54] [63] [64]}

2010-е годы

К началу 2010-х годов распознавание речи , также называемое распознаванием голоса ^{[65] [66] [67]} , было четко дифференцировано от распознавания говорящего , а независимость говорящего считалась большим прорывом. До этого системам требовался период «обучения». Реклама куклы 1987 года имела слоган «Наконец-то кукла, которая тебя понимает». - несмотря на то, что его описывали как «которое дети могут научить реагировать на свой голос». ^[12]

В 2017 году исследователи Microsoft достигли исторической вехи человеческого паритета, расшифровав разговорную телефонную речь с помощью широко проверенной задачи Switchboard. Для оптимизации точности распознавания речи использовалось несколько моделей глубокого обучения. Сообщается, что частота ошибок в словах при распознавании речи составляет всего лишь 4 профессиональных транскрибатора, работающих вместе над одним и тем же тестом, который финансировался речевой командой IBM Watson для выполнения одной и той же задачи. ^[68]

Модели, методы и алгоритмы

И акустическое моделирование , и языковое моделирование являются важными частями современных статистических алгоритмов распознавания речи. Скрытые марковские модели (СММ) широко используются во многих системах. Языковое моделирование также используется во многих других приложениях обработки естественного языка, таких как классификация документов или статистический машинный перевод .

Скрытые марковские модели

Современные системы распознавания речи общего назначения основаны на скрытых марковских моделях. Это статистические модели, которые выводят последовательность символов или величин. HMM используются при распознавании речи, поскольку речевой сигнал можно рассматривать как кусочно-стационарный сигнал или кратковременный стационарный сигнал. В коротком временном масштабе (например, 10 миллисекунд) речь можно аппроксимировать как стационарный процесс . Речь можно рассматривать как модель Маркова для многих стохастических целей.

Другая причина популярности HMM заключается в том, что их можно обучать автоматически, а также они просты и осуществимы с вычислительной точки зрения. При распознавании речи скрытая модель Маркова будет выводить последовательность n -мерных векторов с действительными значениями (где n — небольшое целое число, например 10), выдавая один из них каждые 10 миллисекунд. Векторы будут состоять из кепстральных коэффициентов, которые получаются путем преобразования Фурье короткого временного окна речи и декорреляции спектра с помощью косинусного преобразования , а затем взятия первых (наиболее значимых) коэффициентов. Скрытая марковская модель будет иметь в каждом состоянии статистическое распределение, представляющее собой смесь гауссиан диагональной ковариации, что даст вероятность для каждого наблюдаемого вектора. Каждое слово или (для более общих систем распознавания речи) каждая фонема будет иметь различное выходное распределение; скрытая модель Маркова для последовательности слов или фонем создается путем объединения отдельных обученных скрытых моделей Маркова для отдельных слов и фонем.

Выше описаны основные элементы наиболее распространенного подхода к распознаванию речи, основанного на HMM. Современные системы распознавания речи используют различные комбинации ряда стандартных методов для улучшения результатов по сравнению с базовым подходом, описанным выше. Типичная система с большим словарным запасом потребует контекстной зависимости для фонем (поэтому фонемы с разным левым и правым контекстом имеют разные реализации, как утверждает HMM); он будет использовать кепстральную нормализацию для нормализации для разных говорящих и условий записи; для дальнейшей нормализации говорящего он может использовать нормализацию длины голосового тракта (VTLN) для нормализации мужского и женского пола и линейную регрессию максимального правдоподобия (MLLR) для более общей адаптации говорящего. Эти функции будут иметь так называемые коэффициенты дельта и дельта-дельта для фиксации динамики речи и, кроме того, могут использовать гетероскедастический линейный дискриминантный анализ (HLDA); или можно пропустить коэффициенты дельта и дельта-дельта и использовать сплайсинг и проекцию на основе LDA с последующим, возможно, гетероскедастическим линейным дискриминантным анализом или глобальным полусвязанным ковариационным преобразованием (также известным как линейное преобразование максимального правдоподобия или MLLT). Многие системы используют так называемые методы дискриминационного обучения, которые обходятся без чисто статистического подхода к оценке параметров HMM и вместо этого оптимизируют некоторые меры обучающих данных, связанные с классификацией. Примерами являются максимальная взаимная информация (MMI), минимальная ошибка классификации (MCE) и минимальная ошибка телефона (MPE).

Декодирование речи (термин, обозначающий то, что происходит, когда системе предоставляется новое высказывание и она должна вычислить наиболее вероятное исходное предложение), вероятно, будет использовать алгоритм Витерби для поиска наилучшего пути, и здесь есть выбор между динамическим созданием комбинированная скрытая модель Маркова, которая включает в себя информацию как акустической, так и языковой модели и предварительно статически объединяет ее ( подход преобразователя конечных состояний , или FST).

Возможным улучшением декодирования является сохранение набора хороших кандидатов вместо того, чтобы просто сохранять лучшего кандидата, и использование улучшенной функции оценки (повторной оценки) для оценки этих хороших кандидатов, чтобы мы могли выбрать лучшего в соответствии с этой уточненной оценкой. . Набор кандидатов может храниться либо в виде списка (подход N-лучшего списка), либо в виде подмножества моделей (решетка ) . Повторная оценка обычно выполняется путем минимизации байесовского риска ^[69] (или его приближения): вместо того, чтобы брать исходное предложение с максимальной вероятностью, мы пытаемся взять предложение, которое минимизирует математическое ожидание данной функции потерь относительно все возможные транскрипции (т. е. мы берем предложение, которое минимизирует среднее расстояние до других возможных предложений, взвешенное по их предполагаемой вероятности). Функция потерь обычно представляет собой расстояние Левенштейна , хотя для конкретных задач это могут быть разные расстояния; набор возможных транскрипций, конечно, сокращается, чтобы сохранить читаемость. Были разработаны эффективные алгоритмы для восстановления решеток , представленных как взвешенные преобразователи конечных состояний с расстояниями редактирования , представляющими собой преобразователи конечных состояний , проверяющие определенные предположения. ^[70]

Распознавание речи на основе динамического искажения времени (DTW)

Динамическое искажение времени — это подход, который исторически использовался для распознавания речи, но в настоящее время в значительной степени вытеснен более успешным подходом, основанным на HMM.

Динамическое искажение времени — это алгоритм измерения сходства между двумя последовательностями, которые могут различаться по времени или скорости. Например, сходство в характере ходьбы будет обнаружено, даже если в одном видео человек шел медленно, а в другом он или она шел быстрее, или даже если в ходе одного наблюдения наблюдались ускорения и замедления. DTW применяется к видео, аудио и графике — действительно, любые данные, которые можно преобразовать в линейное представление, можно проанализировать с помощью DTW.

Хорошо известным применением является автоматическое распознавание речи, позволяющее справляться с различной скоростью речи. В общем, это метод, который позволяет компьютеру находить оптимальное соответствие между двумя заданными последовательностями (например, временными рядами) с определенными ограничениями. То есть последовательности нелинейно «искажаются», чтобы соответствовать друг другу. Этот метод выравнивания последовательностей часто используется в контексте скрытых моделей Маркова.

Нейронные сети

Нейронные сети стали привлекательным подходом к акустическому моделированию в ASR в конце 1980-х годов. С тех пор нейронные сети использовались во многих аспектах распознавания речи, таких как классификация фонем, ^[71] классификация фонем с помощью многокритериальных эволюционных алгоритмов, ^[72] распознавание отдельных слов, ^[73] распознавание аудиовизуальной речи , распознавание аудиовизуального говорящего и говорящего. приспособление.

Нейронные сети делают меньше явных предположений о статистических свойствах функций, чем HMM, и обладают рядом качеств, которые делают их привлекательными моделями распознавания речи. При использовании для оценки вероятностей сегмента речевого признака нейронные сети позволяют проводить различительное обучение естественным и эффективным способом. Однако, несмотря на свою эффективность в классификации кратковременных единиц, таких как отдельные фонемы и изолированные слова, ^[74] ранние нейронные сети редко были успешными для задач непрерывного распознавания из-за их ограниченной способности моделировать временные зависимости.

Одним из подходов к этому ограничению было использование нейронных сетей в качестве предварительной обработки, преобразования признаков или уменьшения размерности ^[75] перед распознаванием на основе HMM. Однако совсем недавно LSTM и связанные с ним рекуррентные нейронные сети (RNN), ^{[39] [43] [76] [77]} нейронные сети с временной задержкой (TDNN), ^[78] и преобразователи ^{[48] [49]} [ 50 ^] продемонстрировал улучшение показателей в этой области.

Глубокая прямая связь и рекуррентные нейронные сети

Глубокие нейронные сети и автоэнкодеры с шумоподавлением ^[79] также находятся в стадии изучения. Нейронная сеть глубокого прямого распространения (DNN) — это искусственная нейронная сеть с несколькими скрытыми слоями блоков между входным и выходным слоями. ^[53] Подобно мелким нейронным сетям, DNN могут моделировать сложные нелинейные отношения. Архитектуры DNN создают композиционные модели, в которых дополнительные уровни позволяют комбинировать функции нижних уровней, обеспечивая огромные возможности обучения и, следовательно, потенциал моделирования сложных шаблонов речевых данных. ^[80]

Успех DNN в распознавании речи с большим словарным запасом произошел в 2010 году промышленными исследователями в сотрудничестве с академическими исследователями, где были приняты большие выходные слои DNN на основе контекстно-зависимых состояний HMM, построенных с помощью деревьев решений. ^{[81] [82] [83]} См. подробные обзоры этой разработки и современного состояния по состоянию на октябрь 2014 года в недавней книге Springer от Microsoft Research. ^[84] См. также информацию об автоматическом распознавании речи и влиянии различных парадигм машинного обучения, в частности, глубокого обучения , в недавних обзорных статьях. ^{[85] [86]}

Один из фундаментальных принципов глубокого обучения — отказаться от ручной разработки функций и использовать необработанные функции. Этот принцип был впервые успешно исследован в архитектуре глубокого автокодирования на «необработанных» спектрограммах или функциях линейного банка фильтров, ^[87] показав его превосходство над функциями Mel-Cepstral, которые содержат несколько стадий фиксированного преобразования из спектрограмм. Совсем недавно было показано, что настоящие «сырые» характеристики речи, формы сигналов, дают превосходные результаты распознавания речи в более крупном масштабе. ^[88]

Сквозное автоматическое распознавание речи

С 2014 года наблюдается большой исследовательский интерес к «сквозному» ASR. Традиционные подходы, основанные на фонетике (т. е. все модели на основе HMM ), требовали отдельных компонентов и обучения для модели произношения, акустики и языка . Сквозные модели совместно изучают все компоненты распознавателя речи. Это ценно, поскольку упрощает процесс обучения и процесс развертывания. Например, для всех систем на базе HMM требуется языковая модель n-грамм , а типичная языковая модель n-грамм часто занимает несколько гигабайт памяти, что делает ее непрактичным для развертывания на мобильных устройствах. ^[89] Следовательно, современные коммерческие системы ASR от Google и Apple (по состоянию на 2017 год ^{[обновлять]}) развертываются в облаке и требуют подключения к сети, а не локального устройства.

Первая попытка сквозного ASR была предпринята с помощью систем на основе коннекционистской временной классификации (CTC), представленных Алексом Грейвсом из Google DeepMind и Навдипом Джейтли из Университета Торонто в 2014 году . ^[90] Модель состояла из рекуррентных нейронных сетей и слой CTC. Совместно модель RNN-CTC изучает произношение и акустическую модель вместе, однако она не способна изучать язык из-за предположений об условной независимости , аналогичных HMM. Следовательно, модели CTC могут напрямую научиться сопоставлять акустику речи с английскими символами, но модели допускают множество распространенных орфографических ошибок и должны полагаться на отдельную языковую модель для очистки расшифровок. Позже Baidu расширила работу с чрезвычайно большими наборами данных и продемонстрировала некоторый коммерческий успех на китайском и английском языках. ^[91] В 2016 году Оксфордский университет представил LipNet , ^[92] первую сквозную модель чтения по губам на уровне предложений, использующую пространственно-временные свертки в сочетании с архитектурой RNN-CTC, превосходящую производительность человеческого уровня в ограниченном наборе грамматических данных. ^{[93] В 2018 году компания} Google DeepMind представила крупномасштабную архитектуру CNN-RNN-CTC, производительность которой в 6 раз выше, чем у экспертов-людей. ^[94]

Альтернативным подходом к моделям, основанным на CTC, являются модели, основанные на внимании. Модели ASR, основанные на внимании, были представлены одновременно Chan et al. из Университета Карнеги-Меллона и Google Brain и Bahdanau et al. из Монреальского университета в 2016 году. ^{[95] [96]} Модель под названием «Слушай, посещай и произноси» (LAS) буквально «слушает» акустический сигнал, обращает «внимание» на различные части сигнала и «заклинает» " выводить расшифровку по одному символу за раз. В отличие от моделей на основе CTC, модели на основе внимания не имеют предположений об условной независимости и могут напрямую изучать все компоненты распознавателя речи, включая произношение, акустическую и языковую модель. Это означает, что во время развертывания нет необходимости носить с собой языковую модель, что делает ее очень удобной для приложений с ограниченной памятью. К концу 2016 года модели, основанные на внимании, добились значительных успехов, в том числе превзойдя модели CTC (с моделью внешнего языка или без нее). ^[97] После первоначальной модели LAS были предложены различные расширения. Разложение скрытых последовательностей (LSD) было предложено Университетом Карнеги-Меллона , Массачусетским технологическим институтом и Google Brain для прямого выделения единиц подслов, которые более естественны, чем английские символы; ^[98] Оксфордский университет и Google DeepMind расширили LAS до «Смотри, слушай, посещай и произноси» (WLAS), чтобы обеспечить чтение по губам, превосходящее человеческие возможности. ^[99]

Приложения

Автомобильные системы

Обычно ввод ручного управления, например, с помощью пальца на рулевом колесе, активирует систему распознавания речи, и об этом сообщается водителю посредством звуковой подсказки. После звуковой подсказки система имеет «окно прослушивания», в течение которого она может принять речевой ввод для распознавания. ^{[ нужна цитата ]}

Простые голосовые команды можно использовать для совершения телефонных звонков, выбора радиостанций или воспроизведения музыки с совместимого смартфона, MP3-плеера или флэш-накопителя с музыкой. Возможности распознавания голоса различаются в зависимости от марки и модели автомобиля. Некоторые из последних ^{[ когда? ]} модели автомобилей предлагают распознавание речи на естественном языке вместо фиксированного набора команд, что позволяет водителю использовать полные предложения и общие фразы. Таким образом, в таких системах пользователю нет необходимости запоминать набор фиксированных командных слов. ^{[ нужна цитата ]}

Здравоохранение

Медицинская документация

В секторе здравоохранения распознавание речи может быть реализовано на начальном или конечном этапе процесса обработки медицинской документации. Фронтальное распознавание речи — это когда провайдер диктует механизму распознавания речи, распознанные слова отображаются по мере их произнесения, а диктатор отвечает за редактирование и подписание документа. Внутреннее или отложенное распознавание речи — это когда провайдер диктует в систему цифровой диктовки , голос направляется через машину распознавания речи, а распознанный черновик документа направляется вместе с исходным голосовым файлом в редактор, где черновик редактируется. и отчет завершен. В настоящее время отложенное распознавание речи широко используется в отрасли.

Одна из основных проблем, связанных с использованием распознавания речи в здравоохранении, заключается в том, что Американский закон о восстановлении и реинвестировании 2009 года ( ARRA ) предусматривает существенные финансовые выгоды для врачей, которые используют EMR в соответствии со стандартами «осмысленного использования». Эти стандарты требуют, чтобы значительный объем данных хранился в электронной медицинской карте (сейчас ее чаще называют электронной медицинской картой или ЭМК). Использование распознавания речи более естественно подходит для создания описательного текста как части интерпретации рентгенологического/патологоанатомического исследования, заметки о ходе работы или резюме выписки: эргономические преимущества использования распознавания речи для ввода структурированных дискретных данных (например, числовых значений или кодов) из списка или контролируемого словаря ) относительно минимальны для зрячих людей, умеющих пользоваться клавиатурой и мышью.

Более существенная проблема заключается в том, что большинство EHR не предназначены специально для использования возможностей распознавания голоса. Большая часть взаимодействия врача с ЭМК включает в себя навигацию по пользовательскому интерфейсу с использованием меню и щелчков по вкладкам/кнопкам и в значительной степени зависит от клавиатуры и мыши: голосовая навигация обеспечивает лишь скромные эргономические преимущества. Напротив, многие специализированные системы для радиологической или патологоанатомической диктовки реализуют голосовые «макросы», где использование определенных фраз – например, «нормальный отчет» – автоматически заполняет большое количество значений по умолчанию и/или генерирует шаблон, который варьируются в зависимости от типа исследования – например, рентгенография грудной клетки или серия контрастов желудочно-кишечного тракта для радиологической системы.

Терапевтическое использование

Длительное использование программного обеспечения для распознавания речи в сочетании с текстовыми процессорами показало преимущества в восстановлении кратковременной памяти у пациентов с АВМ головного мозга , перенесших резекцию . Необходимо провести дальнейшие исследования для определения когнитивных преимуществ у людей, чьи АВМ лечились с использованием радиологических методов. ^{[ нужна цитата ]}

Военный

Высокопроизводительный истребитель

За последнее десятилетие значительные усилия были направлены на тестирование и оценку распознавания речи на истребителях . Особо следует отметить программу США по распознаванию речи для самолетов Advanced Fighter Technology Integration (AFTI) / F-16 ( F-16 VISTA ), программу во Франции для самолетов Mirage и другие программы в Великобритании, посвященные различным авиационных платформ. В этих программах распознаватели речи успешно используются на истребителях, включая настройку радиочастот, управление системой автопилота, установку координат точки управления и параметров выпуска оружия, а также управление отображением полета.

Работая со шведскими пилотами, летавшими в кабине JAS-39 Gripen, Энглунд (2004) обнаружил, что распознавание ухудшается с увеличением перегрузок . В отчете также сделан вывод, что адаптация значительно улучшила результаты во всех случаях и что внедрение моделей дыхания значительно улучшило показатели распознавания. Вопреки ожиданиям, никаких последствий ломаного английского говорящих обнаружено не было. Было очевидно, что спонтанная речь, как и следовало ожидать, вызывала проблемы у узнавающего. Таким образом, можно ожидать, что ограниченный словарь и, прежде всего, правильный синтаксис существенно улучшат точность распознавания. ^[100]

Eurofighter Typhoon , в настоящее время стоящий на вооружении ВВС Великобритании , использует систему, зависящую от динамика, требующую от каждого пилота создания шаблона. Система не используется для каких-либо задач, критически важных для безопасности или вооружения, таких как выпуск оружия или опускание шасси, но используется для широкого спектра других функций кабины. Голосовые команды подтверждаются визуальным и/или слуховым откликом. Система рассматривается как основная конструктивная особенность, позволяющая снизить рабочую нагрузку пилота [ 101 ^] и даже позволяет пилоту назначать цели своему самолету с помощью двух простых голосовых команд или любому из своих ведомых с помощью всего пяти команд. ^[102]

Независимые от динамиков системы также разрабатываются и проходят испытания для F35 Lightning II (JSF) и учебного истребителя Alenia Aermacchi M-346 Master . Эти системы показали точность слов, превышающую 98%. ^[103]

Вертолеты

Проблемы достижения высокой точности распознавания в условиях стресса и шума особенно актуальны как для вертолетов , так и для реактивных истребителей. Проблема акустического шума на самом деле более серьезна в среде вертолета не только из-за высокого уровня шума, но и потому, что пилот вертолета, как правило, не носит лицевую маску , которая снизила бы акустический шум в микрофоне . За последнее десятилетие были проведены обширные программы испытаний и оценки приложений систем распознавания речи на вертолетах, в частности, Отделом исследований и разработок авионики армии США (AVRADA) и Королевским аэрокосмическим институтом ( RAE ) в Великобритании. Работа во Франции включала распознавание речи на вертолете Puma . В Канаде также было проделано много полезной работы . Результаты были обнадеживающими: голосовые приложения включали в себя: управление радиосвязью, настройку навигационных систем и управление автоматизированной системой передачи цели.

Как и в случае с истребителями, основной проблемой голосовой связи в вертолетах является ее влияние на эффективность пилотирования. Сообщается об обнадеживающих результатах испытаний AVRADA, хотя они представляют собой лишь демонстрацию осуществимости в тестовой среде. Еще многое предстоит сделать как в распознавании речи, так и в технологии речи в целом , чтобы последовательно добиваться повышения производительности в операционных условиях.

Обучение авиадиспетчеров

Обучение диспетчеров воздушного движения (УВД) представляет собой отличное применение систем распознавания речи. Многие системы обучения УВД в настоящее время требуют, чтобы человек действовал в качестве «псевдопилота», участвуя в голосовом диалоге с диспетчером-стажером, который имитирует диалог, который диспетчеру пришлось бы вести с пилотами в реальной ситуации УВД. Методы распознавания и синтеза речи потенциально могут исключить необходимость выполнения человеком функций псевдопилота, тем самым сокращая объем обучения и вспомогательного персонала. Теоретически задачи воздушного контроллера также характеризуются высокоструктурированной речью в качестве основного вывода контроллера, следовательно, должно быть возможно снижение сложности задачи распознавания речи. На практике это случается редко. В документе FAA 7110.65 подробно описаны фразы, которые должны использовать авиадиспетчеры. Хотя в этом документе приведено менее 150 примеров таких фраз, количество фраз, поддерживаемых системами распознавания речи одного из поставщиков симуляторов, превышает 500 000.

ВВС США, морская пехота США, армия США, ВМС США и ФАУ, а также ряд международных учебных организаций по УВД, таких как Королевские ВВС Австралии и органы гражданской авиации в Италии, Бразилии и Канаде, в настоящее время используют симуляторы УВД с распознаванием речи от множество разных продавцов. ^{[ нужна цитата ]}

Телефония и другие домены

ASR в настоящее время является обычным явлением в области телефонии и становится все более распространенным в области компьютерных игр и моделирования. В системах телефонии ASR сейчас преимущественно используется в контакт-центрах путем интеграции с системами IVR . Несмотря на высокий уровень интеграции с текстовой обработкой в ​​обычных персональных компьютерах, в области производства документов ASR не наблюдается ожидаемого роста использования.

Повышение скорости мобильных процессоров сделало распознавание речи практичным в смартфонах . Речь используется в основном как часть пользовательского интерфейса для создания предопределенных или пользовательских речевых команд.

Использование в образовании и повседневной жизни.

При изучении языка распознавание речи может быть полезно для изучения второго языка . Он может научить правильному произношению, а также помочь человеку развить беглость разговорных навыков. ^[104]

Слепые (см. « Слепота и образование ») или учащиеся с очень слабым зрением могут извлечь выгоду из использования этой технологии для передачи слов, а затем услышать, как компьютер их произносит, а также использовать компьютер, командуя голосом, вместо того, чтобы смотреть на экран и клавиатура. ^[105]

Учащиеся с физическими недостатками, имеющие травмы от повторяющихся перенапряжений /другие травмы верхних конечностей, могут быть освобождены от необходимости беспокоиться о почерке, наборе текста или работе с писцом над школьными заданиями с помощью программ преобразования речи в текст. Они также могут использовать технологию распознавания речи, чтобы наслаждаться поиском в Интернете или использованием компьютера дома без необходимости физически управлять мышью и клавиатурой. ^[105]

Распознавание речи может позволить учащимся с ограниченными возможностями обучения лучше писать. Произнося слова вслух, они могут повысить плавность письма и избавить их от проблем, связанных с орфографией, пунктуацией и другими механизмами письма. ^[106] Также см. «Нарушение обучаемости» .

Использование программного обеспечения для распознавания голоса в сочетании с цифровым диктофоном и персональным компьютером, на котором установлено программное обеспечение для обработки текста, оказалось положительным для восстановления поврежденной емкости кратковременной памяти у людей, перенесших инсульт или трепанацию черепа.

Люди с ограниченными возможностями

Люди с ограниченными возможностями могут воспользоваться программами распознавания речи. Для глухих или слабослышащих людей программное обеспечение распознавания речи используется для автоматического создания субтитров разговоров, таких как дискуссии в конференц-залах, классные лекции и/или религиозные службы. ^[107]

Распознавание речи также очень полезно для людей, испытывающих трудности с использованием рук: от легких травм, вызванных повторяющимся стрессом, до инвалидности, не позволяющей использовать обычные компьютерные устройства ввода. Фактически, люди, которые много использовали клавиатуру и разработали RSI, стали востребованным ранним рынком для распознавания речи. ^{[108] [109]} Распознавание речи используется в телефонии для глухих , например, голосовая почта в текст, услуги ретрансляции и телефон с субтитрами . Лица с ограниченными возможностями обучения, у которых есть проблемы с коммуникацией мысли на бумаге (по сути, они думают об идее, но она обрабатывается неправильно, в результате чего на бумаге она оказывается по-другому), возможно, могут извлечь выгоду из программного обеспечения, но технология не защищена от ошибок. ^[110] Кроме того, сама идея «говорить в текст» может быть трудной для людей с умственными недостатками из-за того, что редко кто-либо пытается изучить технологию обучения человека с ограниченными возможностями. ^[111]

Этот тип технологии может помочь людям с дислексией, но другие виды инвалидности все еще под вопросом. Эффективность продукта – это проблема, которая мешает ему быть эффективным. Хотя ребенок может произнести слово в зависимости от того, насколько четко он его произнес, технология может подумать, что он говорит другое слово, и ввести неправильное. Им приходится тратить больше времени на исправление неправильного слова. ^[112]

Дальнейшие применения

• Аэрокосмическая отрасль (например , исследование космоса , космические корабли и т. д.) Марсианский полярный посадочный модуль НАСА использовал технологию распознавания речи от Sensory, Inc. в марсианском микрофоне посадочного модуля ^[113]
• Автоматические субтитры с распознаванием речи
• Автоматическое распознавание эмоций ^[114]
• Автоматический список кадров в аудиовизуальном производстве
• Автоматический перевод
• eDiscovery (Юридическое раскрытие)
• Компьютерные вычисления без помощи рук : пользовательский интерфейс компьютера с распознаванием речи
• Домашняя автоматизация
• Интерактивный голосовой отклик
• Мобильная телефония , включая мобильную электронную почту
• Мультимодальное взаимодействие ^[64]
• Оценка произношения в приложениях для компьютерного изучения языка
• Субтитры в реальном времени ^[115]
• Робототехника
• Безопасность, включая использование с другими биометрическими сканерами для многофакторной аутентификации ^[116]
• Речь в текст (транскрипция речи в текст, субтитры к видео в реальном времени , судебные протоколы)
• Телематика (например, навигационные системы транспортных средств)
• Транскрипция (цифровое преобразование речи в текст)
• Видеоигры , рабочие примеры которых — Tom Clancy's EndWar и Lifeline.
• Виртуальный помощник (например , Siri от Apple )

Производительность

Производительность систем распознавания речи обычно оценивают с точки зрения точности и скорости. ^{[117] [118]} Точность обычно оценивается по коэффициенту ошибок в словах (WER), тогда как скорость измеряется с помощью коэффициента реального времени. Другие меры точности включают коэффициент ошибок в одном слове (SWER) и коэффициент успешности команд (CSR).

Однако машинное распознавание речи — очень сложная проблема. Вокализации различаются по акценту, произношению, артикуляции, шероховатости, назальности, высоте, громкости и скорости. Речь искажается фоновым шумом и эхом, электрическими характеристиками. Точность распознавания речи может варьироваться в зависимости от следующего: ^{[119] [ нужна ссылка ]}

• Размер словарного запаса и его путаница
• Зависимость говорящего против независимости
• Изолированная, прерывистая или непрерывная речь
• Ограничения по задачам и языку
• Чтение против спонтанной речи
• Неблагоприятные условия

Точность

Как упоминалось ранее в этой статье, точность распознавания речи может варьироваться в зависимости от следующих факторов:

• Частота ошибок увеличивается по мере увеличения размера словаря:

например, 10 цифр от «ноля» до «девяти» могут распознаваться практически идеально, но размеры словаря 200, 5000 или 100000 могут иметь частоту ошибок 3%, 7% или 45% соответственно.

• Словарный запас трудно распознать, если он содержит запутанные буквы:

например, 26 букв английского алфавита трудно различить, потому что они путают слова (наиболее известный набор E: «B, C, D, E, G, P, T, V, Z — когда «Z» произносится «зи», а не «зед» в зависимости от английского региона); уровень ошибок в 8% считается хорошим для этого словаря. ^[120]

• Зависимость от говорящего против независимости:

Динамико-зависимая система предназначена для использования одним динамиком.

Динамико-независимая система предназначена для использования любым динамиком (более сложная система).

• Изолированная, прерывистая или непрерывная речь

При изолированной речи используются отдельные слова, поэтому распознавать речь становится легче.

При прерывистой речи используются полные предложения, разделенные молчанием, поэтому распознавать речь становится легче, как и при изолированной речи.
При слитной речи используются естественно произнесенные предложения, поэтому становится труднее распознавать речь, отличающуюся как от изолированной, так и от прерывистой речи.

• Ограничения по задачам и языку
  • например, запрашивающее приложение может отклонить гипотезу «Яблоко красное».
  • например, ограничения могут быть семантическими; отвергая «Яблоко сердится».
  • например Синтаксический; отвергая «Красное яблоко».

Ограничения часто представляются грамматикой.

• Чтение против спонтанной речи. Когда человек читает, обычно он читает в заранее подготовленном контексте, но когда человек использует спонтанную речь, ему трудно распознать речь из-за неловкости (например, «э-э» и «м-м»). фальстарты, неполные предложения, заикание, кашель и смех) и ограниченный словарный запас.
• Неблагоприятные условия – Шум окружающей среды (например, шум в автомобиле или на заводе). Акустические искажения (например, эхо, акустика помещения)

Распознавание речи — это многоуровневая задача распознавания образов.

• Акустические сигналы структурированы в иерархию единиц, например , фонемы , слова, фразы и предложения;
• Каждый уровень предоставляет дополнительные ограничения;

например, известное произношение слов или допустимые последовательности слов, которые могут компенсировать ошибки или неточности на более низком уровне;

• Эта иерархия ограничений используется. Благодаря вероятностному объединению решений на всех нижних уровнях и принятию более детерминированных решений только на самом высоком уровне, машинное распознавание речи представляет собой процесс, разбитый на несколько этапов. С вычислительной точки зрения это проблема, в которой звуковой образец необходимо распознать или классифицировать в категорию, которая представляет значение для человека. Каждый акустический сигнал можно разбить на более мелкие, более базовые подсигналы. Поскольку более сложный звуковой сигнал разбивается на более мелкие подзвуки, создаются разные уровни, где на верхнем уровне мы имеем сложные звуки, которые состоят из более простых звуков на нижнем уровне и переходят на более низкие уровни, еще больше, мы создаем более простые, короткие и простые звуки. На самом низком уровне, где звуки являются наиболее фундаментальными, машина будет проверять простые и более вероятностные правила того, что должен представлять звук. Как только эти звуки объединятся в более сложные звуки на верхнем уровне, новый набор более детерминированных правил должен предсказать, что должен представлять собой новый сложный звук. Самый верхний уровень детерминированного правила должен определять значение сложных выражений. Чтобы расширить наши знания о распознавании речи, нам необходимо принять во внимание нейронные сети. Существует четыре этапа подхода нейронной сети:
• Оцифруйте речь, которую мы хотим распознать

Для телефонной речи частота дискретизации составляет 8000 выборок в секунду;

• Вычислить характеристики спектральной области речи (с преобразованием Фурье);

вычисляется каждые 10 мс, с одним участком длительностью 10 мс, называемым кадром;

Анализ подходов четырехшаговых нейронных сетей можно объяснить с помощью дополнительной информации. Звук создается вибрацией воздуха (или какой-либо другой среды), которую мы регистрируем ушами, а машины — приемниками. Основной звук создает волну, которая имеет два описания: амплитуда (насколько она сильна) и частота (как часто она вибрирует в секунду). Точность можно вычислить с помощью коэффициента ошибок в словах (WER). Коэффициент ошибок в словах можно рассчитать путем выравнивания распознанного слова и слова, на которое указывает ссылка, с использованием динамического выравнивания строк. Проблема может возникнуть при вычислении частоты ошибок в словах из-за разницы между длинами последовательностей распознанного слова и слова, на которое ссылаются.

Формула для расчета коэффициента ошибок в словах (WER):

${\displaystyle WER={(s+d+i) \over n}}$

где s — количество замен, d — количество удалений, i — количество вставок, а n — количество ссылок на слова.

При вычислениях используется скорость распознавания слов (WRR). Формула:

${\displaystyle WRR=1-WER={(n-s-d-i) \over n}={h-i \over n}}$

где h — количество правильно распознанных слов:

${\displaystyle h=n-(s+d)}$.

Проблемы безопасности

Распознавание речи может стать средством атаки, кражи или случайного срабатывания. Например, слова активации, такие как «Alexa», произнесенные в аудио- или видеотрансляции, могут привести к тому, что устройства в домах и офисах начнут ненадлежащим образом прослушивать входные данные или, возможно, предпримут нежелательные действия. ^[121] Устройства с голосовым управлением также доступны посетителям здания или даже тем, кто находится за пределами здания, если их можно услышать внутри. Злоумышленники могут получить доступ к личной информации, такой как календарь, содержимое адресной книги, личные сообщения и документы. Они также могут выдавать себя за пользователя, чтобы отправлять сообщения или совершать онлайн-покупки.

Были продемонстрированы две атаки с использованием искусственных звуков. Один передает ультразвук и пытается отправить команды незаметно для окружающих. ^[122] Другой добавляет небольшие, неслышимые искажения к другой речи или музыке, которые специально созданы для того, чтобы сбить с толку конкретную систему распознавания речи и заставить ее распознавать музыку как речь, или чтобы то, что для человека звучит как одна команда, звучало как другая команда для человека. система. ^[123]

Дальнейшая информация

Конференции и журналы

Популярные конференции по распознаванию речи, проводимые каждый год или два, включают SpeechTEK и SpeechTEK Europe, ICASSP , Interspeech/Eurospeech и IEEE ASRU. Конференции в области обработки естественного языка , такие как ACL , NAACL , EMNLP и HLT, начинают включать статьи по обработке речи . Важные журналы включают IEEE Transactions on Speech and Language Processing (позже переименованный в IEEE Transactions on Audio, Speech and Language Processing, а с сентября 2014 года переименованный в IEEE /ACM Transactions on Audio, Speech and Language Processing — после слияния с публикацией ACM), Computer Speech. и язык, и речевое общение.

Книги

Такие книги, как «Основы распознавания речи» Лоуренса Рабинера, могут быть полезны для приобретения базовых знаний, но могут быть не совсем современными (1993). Еще одним хорошим источником могут быть «Статистические методы распознавания речи» Фредерика Елинека и «Обработка разговорной речи (2001)» Сюэдуна Хуанга и др., «Компьютерная речь» Манфреда Р. Шредера , второе издание, опубликованное в 2004 году, и «Речь». Обработка: динамический и ориентированный на оптимизацию подход», опубликованный в 2003 году Ли Дэном и Дугом О'Шонесси. В обновленном учебнике «Обработка речи и языка» (2008 г.) Юрафски и Мартина представлены основы и современное состояние ASR. Распознавание говорящего также использует те же функции, большую часть той же внешней обработки и методов классификации, что и при распознавании речи. Комплексный учебник «Основы распознавания говорящих» представляет собой подробный источник актуальной информации о теории и практике. ^[124] Хорошее представление о методах, используемых в лучших современных системах, можно получить, обратив внимание на спонсируемые правительством оценки, например, организованные DARPA (крупнейшим проектом, связанным с распознаванием речи, продолжающимся по состоянию на 2007 год, является проект GALE, который включает в себя как компоненты распознавания речи, так и компоненты перевода).

Хорошее и доступное введение в технологию распознавания речи и ее историю дает книга Роберто Пьераччини для широкой аудитории «Голос в машине. Создание компьютеров, которые понимают речь» (2012).

Самая последняя книга по распознаванию речи — «Автоматическое распознавание речи: подход к глубокому обучению» (издатель: Springer), написанная исследователями Microsoft Д. Ю и Л. Денгом и опубликованная в конце 2014 года, с математически ориентированными техническими подробностями о том, как глубокое обучение методы выводятся и реализуются в современных системах распознавания речи на основе DNN и связанных с ними методов глубокого обучения. ^[84] Соответствующая книга Л. Денга и Д. Ю «Глубокое обучение: методы и приложения», опубликованная ранее в 2014 году, представляет собой менее технический, но более методологически ориентированный обзор распознавания речи на основе DNN в 2009–2014 годах, помещенный в более общем контексте приложений глубокого обучения, включая не только распознавание речи, но и распознавание изображений, обработку естественного языка, поиск информации, мультимодальную обработку и многозадачное обучение. ^[80]

Программное обеспечение

Что касается свободно доступных ресурсов, набор инструментов Sphinx Университета Карнеги-Меллона — это то место, где можно начать как изучать распознавание речи, так и начать экспериментировать. Другой ресурс (бесплатный, но защищенный авторским правом) — это книга HTK (и прилагаемый к ней набор инструментов HTK). Для более современных и современных методов можно использовать набор инструментов Kaldi . ^[125] В 2017 году Mozilla запустила проект с открытым исходным кодом под названием Common Voice ^[126] для сбора большой базы данных голосов, которая поможет создать бесплатный проект распознавания речи DeepSpeech (доступен бесплатно на GitHub ), ^[127] с использованием платформы Google с открытым исходным кодом TensorFlow . ^[128] Когда в 2020 году Mozilla перенаправила финансирование из проекта, первоначальные разработчики создали его форк под названием Coqui STT ^[129] с использованием той же лицензии с открытым исходным кодом. ^{[130] [131]}

Google Gboard поддерживает распознавание речи во всех приложениях Android . Его можно активировать через значок микрофона . ^[132]

Коммерческие облачные API-интерфейсы распознавания речи широко доступны.

Дополнительные ресурсы по программному обеспечению см. в разделе Список программного обеспечения для распознавания речи .

Смотрите также

• AI-эффект
• АЛЬПАК
• Приложения искусственного интеллекта
• Распознавание артикуляционной речи
• Аудио майнинг
• Аудиовизуальное распознавание речи
• Автоматический языковой переводчик
• Автомобильное головное устройство
• Брэйна
• Модель языка кэша
• Дракон ЕстественноГоворящий
• Свободная голосовая технология
• Голосовой поиск Google
• IBM черезVoice
• Определение ключевых слов
• Кинект
• Монграден
• Поиск мультимедийной информации
• Происхождение речи
• Технология фонетического поиска
• Диаризация спикеров
• Распознавание говорящего
• Речевая аналитика
• Рекомендации по речевому интерфейсу
• Программное обеспечение для распознавания речи для Linux
• Синтез речи
• Проверка речи
• Субтитры (субтитры)
• ГолосXML
• VoxForge
• Распознавание речи Windows

Списки

• Список программного обеспечения для распознавания речи
• Список новых технологий
• Очерк искусственного интеллекта
• Хронология распознавания речи и голоса

Рекомендации

1. «Независимое от говорящего распознавание речи - Компьютерная корпорация пятого поколения» . Пятое поколение.com. Архивировано из оригинала 11 ноября 2013 года . Проверено 15 июня 2013 г.
2. П. Нгуен (2010). «Автоматическая классификация характеристик динамиков». Международная конференция по связи и электронике 2010 . стр. 147–152. дои : 10.1109/ICCE.2010.5670700. ISBN 978-1-4244-7055-6. S2CID  13482115.
3. «Британско-английское определение распознавания голоса» . Макмиллан Паблишерс Лимитед. Архивировано из оригинала 16 сентября 2011 года . Проверено 21 февраля 2012 г.
4. «Распознавание голоса, определение». WebFinance, Inc. Архивировано из оригинала 3 декабря 2011 года . Проверено 21 февраля 2012 г.
5. "Почтовый мешок LG # 114" . Linuxgazette.net. Архивировано из оригинала 19 февраля 2013 года . Проверено 15 июня 2013 г.
6. Саранги, Сусанта; Сахидулла, Мэриленд; Саха, Гутам (сентябрь 2020 г.). «Оптимизация набора фильтров на основе данных для автоматической проверки говорящих». Цифровая обработка сигналов . 104 : 102795. arXiv : 2007.10729 . дои : 10.1016/j.dsp.2020.102795. S2CID  220665533.
7. Рейнольдс, Дуглас; Роуз, Ричард (январь 1995 г.). «Надежная независимая от текста идентификация говорящего с использованием моделей говорящих с гауссовой смесью» (PDF) . Транзакции IEEE по обработке речи и аудио . 3 (1): 72–83. дои : 10.1109/89.365379. ISSN  1063-6676. OCLC  26108901. S2CID  7319345. Архивировано (PDF) из оригинала 8 марта 2014 г. . Проверено 21 февраля 2014 г.
8. «Идентификация говорящего (WhisperID)» . Исследования Майкрософт . Майкрософт. Архивировано из оригинала 25 февраля 2014 года . Проверено 21 февраля 2014 г. Когда вы разговариваете с кем-то, они не просто понимают, что вы говорите: они узнают, кто вы. WhisperID позволит компьютерам делать это и определять, кто вы, по тому, как вы говорите.
9. «Некрологи: Стивен Балашек». Стар-Леджер . 22 июля 2012 г.
10. "IBM-Shoebox-front.jpg" . androidauthority.net . Проверено 4 апреля 2019 г.
11. Хуанг, Б.Х.; Рабинер, Лоуренс Р. «Автоматическое распознавание речи – краткая история развития технологии» (PDF) . п. 6. Архивировано (PDF) из оригинала 17 августа 2014 года . Проверено 17 января 2015 г.
12. Мелани Пинола (2 ноября 2011 г.). «Распознавание речи на протяжении десятилетий: как мы закончили с Siri». Мир ПК . Проверено 22 октября 2018 г.
13. Грей, Роберт М. (2010). «История цифровой речи в реальном времени в пакетных сетях: Часть II линейного прогнозирующего кодирования и интернет-протокола» (PDF) . Найденный. Процесс сигналов трендов . 3 (4): 203–303. дои : 10.1561/2000000036 . ISSN  1932-8346.
14. Джон Р. Пирс (1969). «Где распознавание речи?». Журнал Акустического общества Америки . 46 (48): 1049–1051. Бибкод : 1969ASAJ...46.1049P. дои : 10.1121/1.1911801.
15. Бенести, Джейкоб; Сондхи, ММ; Хуан, Итенг (2008). Справочник Springer по обработке речи . Springer Science & Business Media. ISBN 978-3540491255.
16. Джон Махул. «Медалист ISCA: за лидерство и большой вклад в обработку речи и языка». Архивировано из оригинала 24 января 2018 года . Проверено 23 января 2018 г.
17. Блехман, Р.О.; Блехман, Николас (23 июня 2008 г.). «Привет, Хэл». Житель Нью-Йорка . Архивировано из оригинала 20 января 2015 года . Проверено 17 января 2015 г.
18. Клатт, Деннис Х. (1977). «Обзор проекта распознавания речи ARPA». Журнал Акустического общества Америки . 62 (6): 1345–1366. Бибкод : 1977ASAJ...62.1345K. дои : 10.1121/1.381666.
19. Рабинер (1984). «Общество акустики, речи и обработки сигналов. Историческая перспектива» (PDF) . Архивировано (PDF) из оригинала 9 августа 2017 года . Проверено 23 января 2018 г.
20. «Из первых рук: Скрытая марковская модель - Wiki по истории техники и технологий» . ethw.org . 12 января 2015 г. Архивировано из оригинала 3 апреля 2018 г. . Проверено 1 мая 2018 г.
21. "Интервью Джеймса Бейкера". Архивировано из оригинала 28 августа 2017 года . Проверено 9 февраля 2017 г.
22. «Новаторское распознавание речи». 7 марта 2012 года. Архивировано из оригинала 19 февраля 2015 года . Проверено 18 января 2015 г.
23. Хуан, Сюэдун; Бейкер, Джеймс; Редди, Радж (январь 2014 г.). «Историческая перспектива распознавания речи». Коммуникации АКМ . 57 (1): 94–103. дои : 10.1145/2500887. ISSN  0001-0782. Архивировано из оригинала 8 декабря 2023 года.
24. Хуанг, Б.Х.; Рабинер, Лоуренс Р. «Автоматическое распознавание речи – краткая история развития технологии» (PDF) : 10. Архивировано (PDF) из оригинала 17 августа 2014 года . Проверено 17 января 2015 г. {{cite journal}}: Требуется цитировать журнал |journal=( помощь )
25. Ли, Сяочан (1 июля 2023 г.). «Нет данных лучше, чем больше данных»: автоматическое распознавание речи и создание алгоритмической культуры». Осирис . 38 : 165–182. дои : 10.1086/725132. ISSN  0369-7827.
26. «История распознавания речи». Медицинская транскрипция Дракона . Архивировано из оригинала 13 августа 2015 года . Проверено 17 января 2015 г.
27. Билли, Роберто; Канавесио, Франко; Чарамелла, Альберто; Неббия, Лучано (1 ноября 1995 г.). «Интерактивная голосовая технология в действии: опыт CSELT». Речевое общение . 17 (3): 263–271. дои : 10.1016/0167-6393(95)00030-R.
28. Сюэдун Хуан; Джеймс Бейкер; Радж Редди. «Историческая перспектива распознавания речи». Коммуникации АКМ. Архивировано из оригинала 20 января 2015 года . Проверено 20 января 2015 г.
29. Кевин МакКин (8 апреля 1980 г.). «Когда Коул говорит, компьютеры слушают». Журнал Сарасоты. АП . Проверено 23 ноября 2015 г.
30. "ACT/Apricot - История абрикоса" . actapricot.org . Проверено 2 февраля 2016 г.
31. Мелани Пинола (2 ноября 2011 г.). «Распознавание речи на протяжении десятилетий: как мы закончили с Siri». Мир ПК . Архивировано из оригинала 13 января 2017 года . Проверено 28 июля 2017 г.
32. "Биография Рэя Курцвейла" . KurzweilAINetwork. Архивировано из оригинала 5 февраля 2014 года . Проверено 25 сентября 2014 г.
33. Хуанг, Б.Х.; Рабинер, Лоуренс. «Автоматическое распознавание речи – краткая история развития технологий» (PDF) . Архивировано (PDF) из оригинала 9 августа 2017 года . Проверено 28 июля 2017 г. {{cite journal}}: Требуется цитировать журнал |journal=( помощь )
34. «Nuance Exec на iPhone 4S, Siri и будущее речи». Технические шестерни. 10 октября 2011 года. Архивировано из оригинала 19 ноября 2011 года . Проверено 23 ноября 2011 г.
35. «Распределительный щит-1, выпуск 2» . Архивировано из оригинала 11 июля 2017 года . Проверено 26 июля 2017 г.
36. Джейсон Кинкейд (13 февраля 2011 г.). «Сила голоса: разговор с главой отдела речевых технологий Google». Технический кризис . Архивировано из оригинала 21 июля 2015 года . Проверено 21 июля 2015 г.
37. Фрумкин, Дэн (5 мая 2015 г.). «КОМПЬЮТЕРЫ СЛУШАЮТ». Перехват . Архивировано из оригинала 27 июня 2015 года . Проверено 20 июня 2015 г.
38. Эрве Бурлар и Нельсон Морган , Распознавание речи коннекционистов: гибридный подход, Международная серия Kluwer по инженерным наукам и информатике; т. 247, Бостон: Kluwer Academic Publishers, 1994.
39. Зепп Хохрайтер ; Дж. Шмидхубер (1997). «Долгая кратковременная память». Нейронные вычисления . 9 (8): 1735–1780. дои : 10.1162/neco.1997.9.8.1735. PMID  9377276. S2CID  1915014.
40. Шмидхубер, Юрген (2015). «Глубокое обучение в нейронных сетях: обзор». Нейронные сети . 61 : 85–117. arXiv : 1404.7828 . doi :10.1016/j.neunet.2014.09.003. PMID  25462637. S2CID  11715509.
41. Алекс Грейвс, Сантьяго Фернандес, Фаустино Гомес и Юрген Шмидхубер (2006). Коннекционистская временная классификация: маркировка данных несегментированных последовательностей с помощью рекуррентных нейронных сетей. Материалы ICML'06, стр. 369–376.
42. Сантьяго Фернандес, Алекс Грейвс и Юрген Шмидхубер (2007). Применение рекуррентных нейронных сетей для распознавания ключевых слов ^{[ постоянная мертвая ссылка ]} . Протоколы ICANN (2), стр. 220–229.
43. Хашим Сак, Эндрю Старший, Канишка Рао, Франсуаза Бофе и Йохан Шалквик (сентябрь 2015 г.): «Голосовой поиск Google: быстрее и точнее». Архивировано 9 марта 2016 года в Wayback Machine.
44. Досовицкий, Алексей; Бейер, Лукас; Колесников, Александр; Вайссенборн, Дирк; Чжай, Сяохуа; Унтертинер, Томас; Дегани, Мостафа; Миндерер, Матиас; Хейгольд, Георг; Гелли, Сильвен; Ушкорейт, Якоб; Хоулсби, Нил (3 июня 2021 г.). «Изображение стоит 16x16 слов: преобразователи для распознавания изображений в масштабе». arXiv : 2010.11929 [cs.CV].
45. Ву, Хайпин; Сяо, Бин; Коделла, Ноэль; Лю, Мэнчен; Дай, Сиянг; Юань, Лу; Чжан, Лэй (29 марта 2021 г.). «CvT: введение сверток в преобразователи зрения». arXiv : 2103.15808 [cs.CV].
46. Васвани, Ашиш; Шазир, Ноам; Пармар, Ники; Ушкорейт, Якоб; Джонс, Лион; Гомес, Эйдан Н; Кайзер, Лукаш; Полосухин, Илья (2017). «Внимание – это все, что вам нужно». Достижения в области нейронных систем обработки информации . Карран Ассошиэйтс. 30 .
47. Девлин, Джейкоб; Чанг, Мин-Вэй; Ли, Кентон; Тутанова, Кристина (24 мая 2019 г.). «BERT: Предварительная подготовка глубоких двунаправленных преобразователей для понимания языка». arXiv : 1810.04805 [cs.CL].
48. Гун, Юань; Чунг, Ю-Ань; Гласс, Джеймс (8 июля 2021 г.). «AST: Преобразователь аудиоспектрограмм». arXiv : 2104.01778 [cs.SD].
49. Ристеа, Николае-Каталин; Ионеску, Раду Тудор; Хан, Фахад Шахбаз (20 июня 2022 г.). «SepTr: раздельный трансформатор для обработки аудиоспектрограмм». arXiv : 2203.09581 [cs.CV].
50. Лоренц, Тимо; Ли, Чжэнъян; Фингшайдт, Тим (14 июля 2021 г.). «Мультикодирующее обучение и объединение потоков для сквозного автоматического распознавания речи на основе преобразователя». arXiv : 2104.00120 [eess.AS].
51. "Ли Дэн". Сайт Ли Дэн.
52. Семинар NIPS: Глубокое обучение для распознавания речи и связанные с ним приложения, Уистлер, Британская Колумбия, Канада, декабрь 2009 г. (Организаторы: Ли Денг, Джефф Хинтон, Д. Ю).
53. Хинтон, Джеффри; Дэн, Ли; Ю, Донг; Даль, Джордж; Мохамед, Абдель-Рахман; Джейтли, Навдип; Старший, Эндрю; Ванхук, Винсент; Нгуен, Патрик; Сайнат, Тара ; Кингсбери, Брайан (2012). «Глубокие нейронные сети для акустического моделирования в распознавании речи: общие взгляды четырех исследовательских групп». Журнал обработки сигналов IEEE . 29 (6): 82–97. Бибкод : 2012ISPM...29...82H. дои : 10.1109/MSP.2012.2205597. S2CID  206485943.
54. Дэнг, Л.; Хинтон, Г.; Кингсбери, Б. (2013). «Новые типы глубокого обучения нейронных сетей для распознавания речи и связанных с ним приложений: обзор». Международная конференция IEEE 2013 по акустике, речи и обработке сигналов: Новые типы глубокого обучения нейронных сетей для распознавания речи и связанных с ними приложений: обзор . п. 8599. дои : 10.1109/ICASSP.2013.6639344. ISBN 978-1-4799-0356-6. S2CID  13953660.
55. Маркофф, Джон (23 ноября 2012 г.). «Ученые видят многообещающие перспективы в программах глубокого обучения». Газета "Нью-Йорк Таймс . Архивировано из оригинала 30 ноября 2012 года . Проверено 20 января 2015 г.
56. Морган, Бурлард, Реналс, Коэн, Франко (1993) «Гибридные нейронные сети/скрытые системы марковских моделей для непрерывного распознавания речи. ICASSP/IJPRAI»
57. Т. Робинсон (1992). «Система распознавания слов в сети распространения повторяющихся ошибок в реальном времени». [Материалы] ICASSP-92: Международная конференция IEEE 1992 г. по акустике, речи и обработке сигналов . С. 617–620 т.1. дои : 10.1109/ICASSP.1992.225833. ISBN 0-7803-0532-9. S2CID  62446313.
58. Вайбель , Ханадзава, Хинтон, Сикано, Ланг. (1989) «Распознавание фонем с использованием нейронных сетей с задержкой. Транзакции IEEE по акустике, речи и обработке сигналов».
59. Бейкер, Дж.; Ли Дэн; Гласс, Дж.; Худанпур, С.; Чин-Хуэй Ли ; Морган, Н.; О'Шонесси, Д. (2009). «Развития и направления в распознавании и понимании речи, Часть 1». Журнал обработки сигналов IEEE . 26 (3): 75–80. Бибкод : 2009ISPM...26...75B. дои : 10.1109/MSP.2009.932166. hdl : 1721.1/51891 . S2CID  357467.
60. Зепп Хохрайтер (1991), Untersuruchungen zu dynamischen Neuronalen Netzen. Архивировано 6 марта 2015 г. в Wayback Machine , Дипломная работа. Институт ф. Информатика, Технический университет. Мюнхен. Советник: Й. Шмидхубер.
61. Бенджио, Ю. (1991). Искусственные нейронные сети и их применение для распознавания речи/последовательностей (доктор философии). Университет Макгилла.
62. Дэн, Л.; Хасанейн, К.; Элмасри, М. (1994). «Анализ корреляционной структуры модели нейронного прогнозирования с применением к распознаванию речи». Нейронные сети . 7 (2): 331–339. дои : 10.1016/0893-6080(94)90027-2.
63. Основной доклад: Последние разработки в области глубоких нейронных сетей. ICASSP, 2013 (Джефф Хинтон).
64. Основной доклад: «Достижения и проблемы глубокого обучения: от анализа и распознавания речи к языку и мультимодальной обработке. Архивировано 5 марта 2021 года в Wayback Machine », Interspeech, сентябрь 2014 г. (Ли Дэн).
65. «Усовершенствования в программном обеспечении для распознавания голоса увеличиваются» . TechRepublic.com . 27 августа 2002 г. Архивировано из оригинала 23 октября 2018 г. Проверено 22 октября 2018 г. Манерс сказал, что IBM работала над улучшением распознавания речи... или в зале шумной торговой выставки.
66. «Распознавание голоса для облегчения бронирования поездок: Новости деловых поездок» . BusinessTravelNews.com . 3 марта 1997 г. Самыми ранними приложениями программного обеспечения для распознавания речи была диктовка... Четыре месяца назад IBM представила «продукт непрерывной диктовки», предназначенный для... дебюта на выставке Национальной ассоциации делового туризма в 1994 году.
67. Эллис Букер (14 марта 1994 г.). «Распознавание голоса становится мейнстримом». Компьютерный мир . п. 45. Всего несколько лет назад распознавание речи ограничивалось...
68. «Исследователи Microsoft достигли новой вехи в распознавании разговорной речи» . Майкрософт . 21 августа 2017 г.
69. Гоэл, Вайбхава; Бирн, Уильям Дж. (2000). «Автоматическое распознавание речи с минимальным байесовским риском». Компьютерная речь и язык . 14 (2): 115–135. дои : 10.1006/csla.2000.0138 . S2CID  206561058. Архивировано из оригинала 25 июля 2011 года . Проверено 28 марта 2011 г.
70. Мори, М. (2002). «Расстояние редактирования взвешенных автоматов: общие определения и алгоритмы» (PDF) . Международный журнал основ компьютерных наук . 14 (6): 957–982. дои : 10.1142/S0129054103002114. Архивировано (PDF) из оригинала 18 марта 2012 года . Проверено 28 марта 2011 г.
71. Вайбель, А.; Ханадзава, Т.; Хинтон, Г.; Сикано, К.; Ланг, К.Дж. (1989). «Распознавание фонем с использованием нейронных сетей с задержкой». Транзакции IEEE по акустике, речи и обработке сигналов . 37 (3): 328–339. дои : 10.1109/29.21701. hdl : 10338.dmlcz/135496 . S2CID  9563026.
72. Берд, Джордан Дж.; Ваннер, Элизабет; Экарт, Анико; Фариа, Диего Р. (2020). «Оптимизация фонетического распознавания речи с помощью многоцелевых эволюционных алгоритмов» (PDF) . Экспертные системы с приложениями . Эльзевир Б.В. 153 : 113402. doi : 10.1016/j.eswa.2020.113402. ISSN  0957-4174. S2CID  216472225.
73. Ву, Дж.; Чан, К. (1993). «Распознавание изолированных слов с помощью моделей нейронных сетей с коэффициентами взаимной корреляции для динамики речи». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 15 (11): 1174–1185. дои : 10.1109/34.244678.
74. С. А. Захориан, А. М. Циммер и Ф. Мэн, (2002) «Классификация гласных для компьютерной визуальной обратной связи для тренировки речи для людей с нарушениями слуха», в ICSLP, 2002 г.
75. Ху, Хунбин; Захориан, Стивен А. (2010). «Методы уменьшения размерности для фонетического распознавания HMM» (PDF) . ИКАССП 2010 . Архивировано (PDF) из оригинала 6 июля 2012 года.
76. Фернандес, Сантьяго; Грейвс, Алекс; Шмидхубер, Юрген (2007). «Разметка последовательностей в структурированных доменах с помощью иерархических рекуррентных нейронных сетей» (PDF) . Труды IJCAI . Архивировано (PDF) из оригинала 15 августа 2017 года.
77. Грейвс, Алекс; Мохамед, Абдель-Рахман; Хинтон, Джеффри (2013). «Распознавание речи с помощью глубоких рекуррентных нейронных сетей». arXiv : 1303.5778 [cs.NE].ИКАССП 2013.
78. Вайбель, Алекс (1989). «Модульная конструкция нейронных сетей с задержкой для распознавания речи» (PDF) . Нейронные вычисления . 1 (1): 39–46. дои : 10.1162/neco.1989.1.1.39. S2CID  236321. Архивировано (PDF) из оригинала 29 июня 2016 года.
79. Маас, Эндрю Л.; Ле, Куок В.; О'Нил, Тайлер М.; Виньялс, Ориол; Нгуен, Патрик; Нг, Эндрю Ю. (2012). «Рекуррентные нейронные сети для снижения шума в надежном ASR». Материалы Interspeech 2012 .
80. Дэн, Ли; Ю, Донг (2014). «Глубокое обучение: методы и приложения» (PDF) . Основы и тенденции в области обработки сигналов . 7 (3–4): 197–387. CiteSeerX 10.1.1.691.3679 . дои : 10.1561/2000000039. Архивировано (PDF) из оригинала 22 октября 2014 г. 
81. Ю, Д.; Дэн, Л.; Даль, Г. (2010). «Роль предварительного обучения и тонкой настройки контекстно-зависимых DBN-HMM для реального распознавания речи» (PDF) . Семинар NIPS по глубокому обучению и обучению функций без учителя .
82. Даль, Джордж Э.; Ю, Донг; Дэн, Ли; Асеро, Алекс (2012). «Контекстно-зависимые предварительно обученные глубокие нейронные сети для распознавания речи с большим словарным запасом». Транзакции IEEE по обработке звука, речи и языка . 20 (1): 30–42. дои : 10.1109/TASL.2011.2134090. S2CID  14862572.
83. Дэн Л., Ли, Дж., Хуан, Дж., Яо, К., Ю, Д., Сейде, Ф. и др. Последние достижения в области глубокого обучения для исследования речи в Microsoft. МКАССП, 2013.
84. Ю, Д.; Дэн, Л. (2014). «Автоматическое распознавание речи: подход глубокого обучения (Издатель: Springer)». {{cite journal}}: Требуется цитировать журнал |journal=( помощь )
85. Дэн, Л.; Ли, Сяо (2013). «Парадигмы машинного обучения для распознавания речи: обзор» (PDF) . Транзакции IEEE по обработке звука, речи и языка . 21 (5): 1060–1089. дои : 10.1109/TASL.2013.2244083. S2CID  16585863.
86. Шмидхубер, Юрген (2015). «Глубокое обучение». Схоларпедия . 10 (11): 32832. Бибкод : 2015SchpJ..1032832S. doi : 10.4249/scholarpedia.32832 .
87. Л. Денг, М. Зельцер, Д. Ю, А. Асеро, А. Мохамед и Г. Хинтон (2010) Двоичное кодирование речевых спектрограмм с использованием глубокого автоматического кодировщика. Интерспич.
88. Тюске, Золтан; Голик, Павел; Шлютер, Ральф; Ней, Герман (2014). «Акустическое моделирование с помощью глубоких нейронных сетей с использованием необработанного сигнала времени для LVCSR» (PDF) . Интерспич 2014 . Архивировано (PDF) из оригинала 21 декабря 2016 года.
89. Юрафски, Дэниел (2016). Речевая и языковая обработка .
90. Грейвс, Алекс (2014). «На пути к сквозному распознаванию речи с помощью рекуррентных нейронных сетей» (PDF) . ИКМЛ . Архивировано из оригинала (PDF) 10 января 2017 года . Проверено 22 июля 2019 г.
91. Амодей, Дарио (2016). «Deep Speech 2: Сквозное распознавание речи на английском и китайском языках». arXiv : 1512.02595 [cs.CL].
92. «LipNet: Как вы думаете, насколько легко читать по губам?» YouTube . Архивировано из оригинала 27 апреля 2017 года . Проверено 5 мая 2017 г.
93. Ассаэль, Яннис; Шиллингфорд, Брендан; Уайтсон, Шимон; де Фрейтас, Нандо (5 ноября 2016 г.). «LipNet: сквозное чтение по губам на уровне предложений». arXiv : 1611.01599 [cs.CV].
94. Шиллингфорд, Брендан; Ассаэль, Яннис; Хоффман, Мэтью В.; Пейн, Томас; Хьюз, Циан; Прабху, Утсав; Ляо, Хэнк; Сак, Хасим; Рао, Канишка (13 июля 2018 г.). «Масштабное визуальное распознавание речи». arXiv : 1807.05162 [cs.CV].
95. Чан, Уильям; Джейтли, Навдип; Ле, Куок; Виньялс, Ориол (2016). «Слушай, посещай и произноси по буквам: нейронная сеть для распознавания разговорной речи с большим словарным запасом» (PDF) . ИКАССП .
96. Богданов, Дмитрий (2016). «Сквозное распознавание речи с большим словарным запасом на основе внимания». arXiv : 1508.04395 [cs.CL].
97. Хоровски, Ян; Джейтли, Навдип (8 декабря 2016 г.). «На пути к лучшему декодированию и интеграции языковых моделей в модели последовательностей». arXiv : 1612.02695 [cs.NE].
98. Чан, Уильям; Чжан, Ю; Ле, Куок; Джейтли, Навдип (10 октября 2016 г.). «Разложение скрытых последовательностей». arXiv : 1610.03035 [stat.ML].
99. Чунг, Джун Сон; Старший, Эндрю; Виньялс, Ориол; Зиссерман, Эндрю (16 ноября 2016 г.). «Предложения, читающие по губам в дикой природе». Конференция IEEE 2017 по компьютерному зрению и распознаванию образов (CVPR) . стр. 3444–3453. arXiv : 1611.05358 . дои : 10.1109/CVPR.2017.367. ISBN 978-1-5386-0457-1. S2CID  1662180.
100. Энглунд, Кристина (2004). Распознавание речи в самолете JAS 39 Gripen: Адаптация к речи при различных перегрузках (PDF) (Магистерская диссертация). Стокгольмский королевский технологический институт . Архивировано (PDF) из оригинала 2 октября 2008 г.
101. "Кабина". Еврофайтер Тайфун . Архивировано из оригинала 1 марта 2017 года.
102. «Еврофайтер Тайфун - самый совершенный истребитель в мире» . www.eurofighter.com . Архивировано из оригинала 11 мая 2013 года . Проверено 1 мая 2018 г.
103. Шютте, Джон (15 октября 2007 г.). «Исследователи настраивают речевую систему пилота самолета F-35». ВВС США. Архивировано из оригинала 20 октября 2007 года.
104. Серф, Винтон; Врубель, Роб; Шервуд, Сьюзен. «Может ли программное обеспечение для распознавания речи преодолеть образовательные языковые барьеры?». Любопытство.com . Дискавери Коммуникейшнс. Архивировано из оригинала 7 апреля 2014 года . Проверено 26 марта 2014 г.
105. «Распознавание речи для обучения». Национальный центр технологических инноваций. 2010. Архивировано из оригинала 13 апреля 2014 года . Проверено 26 марта 2014 г.
106. Фолленсби, Боб; Макклоски-Дейл, Сьюзен (2000). «Распознавание речи в школах: последние новости с мест». Конференция «Технологии и люди с ограниченными возможностями» , 2000 г. Архивировано из оригинала 21 августа 2006 года . Проверено 26 марта 2014 г.
107. «Преодоление коммуникативных барьеров в классе». МассМАТЧ. 18 марта 2010 г. Архивировано из оригинала 25 июля 2013 г. . Проверено 15 июня 2013 г.
108. «Распознавание речи для людей с ограниченными возможностями» . Архивировано из оригинала 4 апреля 2008 года.
109. Международная группа поддержки друзей
110. Гарретт, Дженнифер Тумлин; и другие. (2011). «Использование программного обеспечения для распознавания речи для повышения беглости письма у людей с ограниченными физическими возможностями». Журнал технологий специального образования . 26 (1): 25–41. дои : 10.1177/016264341102600104. S2CID  142730664.
111. Форгрейв, Карен Э. «Вспомогательные технологии: расширение прав и возможностей учащихся с ограниченными возможностями». Информационный центр 75.3 (2002): 122–6. Веб.
112. Тан, КВ; Камуа, Рида; Сутан, Виктор (2004). «Технология распознавания речи для образования людей с ограниченными возможностями». Журнал систем образовательных технологий . 33 (2): 173–84. CiteSeerX 10.1.1.631.3736 . дои : 10.2190/K6K8-78K2-59Y7-R9R2. S2CID  143159997. 
113. «Проекты: Планетарные микрофоны» . Планетарное общество. Архивировано из оригинала 27 января 2012 года.
114. Каридакис, Джордж; Кастеллано, Джиневра; Кессоус, Лоик; Раузайу, Амариллис; Малатеста, Лори; Астериадис, Стелиос; Карпузис, Костас (19 сентября 2007 г.). «Мультимодальное распознавание эмоций по выразительным лицам, жестам и речи». Искусственный интеллект и инновации 2007: от теории к приложениям . ИФИП — Международная федерация обработки информации. Том. 247. Спрингер США. стр. 375–388. дои : 10.1007/978-0-387-74161-1_41. ISBN 978-0-387-74160-4.
115. «Что такое субтитры в реальном времени? | СДЕЛАЙТЕ ЭТО» . www.washington.edu . Проверено 11 апреля 2021 г.
116. Чжэн, Томас Фанг; Ли, Ланьтянь (2017). Проблемы, связанные с надежностью распознавания говорящего. SpringerBriefs по электротехнике и вычислительной технике. Сингапур: Springer Сингапур. дои : 10.1007/978-981-10-3238-7. ISBN 978-981-10-3237-0.
117. Чарамелла, Альберто. «Отчет об оценке производительности прототипа». Рабочий пакет солнечных часов 8000 (1993 г.).
118. Гербино, Э.; Баджиа, П.; Чарамелла, А.; Руллент, К. (1993). «Тестирование и оценка системы разговорного диалога». Международная конференция IEEE по акустике речи и обработке сигналов . С. 135–138 т.2. дои : 10.1109/ICASSP.1993.319250. ISBN 0-7803-0946-4. S2CID  57374050.
119. Национальный институт стандартов и технологий. «История автоматической оценки распознавания речи в NIST. Архивировано 8 октября 2013 года в Wayback Machine ».
120. «Названия букв могут вызвать путаницу и другие вещи, которые нужно знать об отношениях буквы и звука» . НАЕЙК . Проверено 27 октября 2023 г.
121. «Слушайте: ваш помощник по искусственному интеллекту тоже сходит с ума по NPR» . ЭНЕРГЕТИЧЕСКИЙ ЯДЕРНЫЙ РЕАКТОР . 6 марта 2016 г. Архивировано из оригинала 23 июля 2017 г.
122. Клэберн, Томас (25 августа 2017 г.). «Можно ли управлять Amazon Alexa, Google Now с помощью неразборчивых команд? Абсолютно». Регистр . Архивировано из оригинала 2 сентября 2017 года.
123. «Цели атак на системы автоматического распознавания речи» . вице.com . 31 января 2018 г. Архивировано из оригинала 3 марта 2018 г. Проверено 1 мая 2018 г.
124. Бейги, Хомайун (2011). Основы распознавания говорящих. Нью-Йорк: Спрингер. ISBN 978-0-387-77591-3. Архивировано из оригинала 31 января 2018 года.
125. Пови, Д., Гошал, А., Булианна, Г., Берджет, Л., Глембек, О., Гоэл, Н., ... и Весели, К. (2011). Набор инструментов для распознавания речи Kaldi. На семинаре IEEE 2011 по автоматическому распознаванию и пониманию речи (№ CONF). Общество обработки сигналов IEEE.
126. "Общий голос Mozilla" . voice.mozilla.org . Архивировано из оригинала 27 февраля 2020 года . Проверено 9 ноября 2019 г.
127. «Реализация TensorFlow архитектуры DeepSpeech от Baidu: mozilla/DeepSpeech» . 9 ноября 2019 г. – через GitHub.
128. «GitHub — tensorflow/docs: документация TensorFlow» . 9 ноября 2019 г. – через GitHub.
129. «Coqui, стартап, предоставляющий технологии открытой речи для всех» . Гитхаб . Проверено 7 марта 2022 г.
130. Коффи, Донавин (28 апреля 2021 г.). «Маори пытаются спасти свой язык от крупных технологий». Проводная Великобритания . ISSN  1357-0978 . Проверено 16 октября 2021 г.
131. «Почему вам следует перейти с DeepSpeech на coqui.ai» . Дискурс Мозиллы . 7 июля 2021 г. Проверено 16 октября 2021 г.
132. «Печатайте голосом» .

дальнейшее чтение

• Коул, Рональд; Мариани, Джозеф ; Ушкорейт, Ганс; Вариле, Джованни Баттиста; Заенен, Энни; Замполли; Зуэ, Виктор, ред. (1997). Обзор современного состояния технологии человеческого языка . Кембриджские исследования по обработке естественного языка. Том. XII–XIII. Издательство Кембриджского университета. ISBN 978-0-521-59277-2.
• Жункуа, Ж.-К.; Хатон, Ж.-П. (1995). Надежность автоматического распознавания речи: основы и приложения . Академическое издательство Клювер. ISBN 978-0-7923-9646-8.
• Карат, Клэр-Мари; Верго, Джон; Нахаму, Дэвид (2007). «Технологии диалогового интерфейса». В Сирс, Эндрю ; Джако, Джули А. (ред.). Справочник по взаимодействию человека и компьютера: основы, развивающиеся технологии и новые приложения (человеческий фактор и эргономика) . ISBN Лоуренса Эрлбаума Associates Inc. 978-0-8058-5870-9.
• Пьераччини, Роберто (2012). Голос в машине. Создание компьютеров, понимающих речь . Массачусетский технологический институт Пресс. ISBN 978-0262016858.
• Пирани, Джанкарло, изд. (2013). Передовые алгоритмы и архитектуры для понимания речи . Springer Science & Business Media. ISBN 978-3-642-84341-9.
• Signer, Beat and Hoste, Lode: SpeeG2: интерфейс на основе речи и жестов для эффективного ввода текста без контроллера, в материалах ICMI 2013, 15-я Международная конференция по мультимодальному взаимодействию, Сидней, Австралия, декабрь 2013 г.
• Вельфель, Матиас; Макдонаф, Джон (26 мая 2009 г.). Распознавание речи на расстоянии . Уайли. ISBN 978-0470517048.

Внешние ссылки

• Речевые технологии в Curlie