Длинная кратковременная память

Архитектура искусственных рекуррентных нейронных сетей, используемая в глубоком обучении

Ячейка долговременной краткосрочной памяти (LSTM) может обрабатывать данные последовательно и сохранять свое скрытое состояние во времени.

Сеть долговременной краткосрочной памяти ( LSTM ) ^{[1] представляет собой} рекуррентную нейронную сеть (RNN), предназначенную для решения проблемы исчезающего градиента ^[2] , присутствующей в традиционных RNN. Его относительная нечувствительность к длине промежутка является его преимуществом перед другими RNN, скрытыми моделями Маркова и другими методами обучения последовательностей. Его цель — обеспечить RNN кратковременную память, которая может сохраняться на тысячи временных шагов, то есть « долгую кратковременную память». ^[1] Он применим для классификации , обработки и прогнозирования данных на основе временных рядов , например, при рукописном вводе , ^[3] распознавании речи , ^{[4] [5]} машинном переводе , ^{[6] [7]} обнаружении речевой активности, ^{[8] ]} управление роботом, ^{[9] [10]} видеоигры, ^{[11] [12]} и здравоохранение. ^[13]

Обычный блок LSTM состоит из ячейки , входного вентиля , выходного вентиля ^[14] и вентиля забывания . ^[15] Ячейка запоминает значения в течение произвольных интервалов времени, а три ворота регулируют поток информации в ячейку и из нее. Ворота забывания решают, какую информацию следует отбросить из предыдущего состояния, присваивая предыдущему состоянию по сравнению с текущим входом значение от 0 до 1. (Округленное) значение 1 означает сохранение информации, а значение 0 означает сохранение информации. откажитесь от него. Входные ворота решают, какие фрагменты новой информации хранить в текущем состоянии, используя ту же систему, что и ворота забывания. Выходные вентили контролируют, какие фрагменты информации в текущем состоянии выводить, присваивая информации значение от 0 до 1 с учетом предыдущего и текущего состояний. Выборочный вывод соответствующей информации из текущего состояния позволяет сети LSTM поддерживать полезные долгосрочные зависимости для прогнозирования как на текущих, так и на будущих временных шагах.

Мотивация

Теоретически классические (или «ванильные») RNN могут отслеживать произвольные долгосрочные зависимости во входных последовательностях. Проблема с ванильными RNN носит вычислительный (или практический) характер: при обучении ванильных RNN с использованием обратного распространения ошибки долгосрочные градиенты, распространяющиеся с помощью обратного распространения, могут «исчезать» (то есть они могут стремиться к нулю) или «исчезать». взорваться» (то есть они могут стремиться к бесконечности) ^[2] из-за вычислений, участвующих в этом процессе, в которых используются числа конечной точности . RNN, использующие блоки LSTM, частично решают проблему исчезновения градиента , поскольку блоки LSTM позволяют градиентам течь без изменений . Однако сети LSTM все еще могут страдать от проблемы взрывного градиента. ^[16]

Идея архитектуры LSTM заключается в создании дополнительного модуля в нейронной сети, который учится, когда запоминать, а когда забывать соответствующую информацию. ^[15] Другими словами, сеть эффективно узнает, какая информация может понадобиться позже в последовательности, а когда эта информация больше не нужна. Например, в контексте обработки естественного языка сеть может изучать грамматические зависимости. ^[17] LSTM может обработать предложение « Дэйв , в результате его спорных утверждений, теперь является изгоем», запоминая (статистически вероятный) грамматический род и число подлежащего Дэйв , обратите внимание, что эта информация относится к местоимению. his и обратите внимание, что эта информация больше не важна после глагола is .

Варианты

В приведенных ниже уравнениях переменные нижнего регистра представляют векторы. Матрицы и содержат соответственно веса входных и рекуррентных соединений, где индекс может быть либо входным вентилем , выходным вентилем , вентилем забывания или ячейкой памяти , в зависимости от вычисляемой активации. Таким образом, в этом разделе мы используем «векторную запись». Так, например, это не просто одна единица одной ячейки LSTM, но содержит единицы ячейки LSTM. ${\displaystyle W_{q}}$ ${\displaystyle U_{q}}$ ${\displaystyle _{q}}$ ${\displaystyle i}$ ${\displaystyle o}$ ${\displaystyle f}$ ${\displaystyle c}$ ${\displaystyle c_{t}\in \mathbb {R} ^{h}}$ ${\displaystyle h}$

LSTM с воротами забывания

Компактные формы уравнений для прямого прохода ячейки LSTM с воротами забывания: ^{[1] [15]}

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\\{\tilde {c}}_{t}&=\sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot {\tilde {c}}_{t}\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}}$

где начальные значения — и, а оператор обозначает произведение Адамара (поэлементное произведение). Нижний индекс индексирует шаг по времени. ${\displaystyle c_{0}=0}$ ${\displaystyle h_{0}=0}$ ${\displaystyle \odot }$ ${\displaystyle t}$

Переменные

Верхние индексы и обозначают количество входных объектов и количество скрытых блоков соответственно: ${\displaystyle d}$ ${\displaystyle h}$

• ${\displaystyle x_{t}\in \mathbb {R} ^{d}}$: входной вектор в модуль LSTM
• ${\displaystyle f_{t}\in {(0,1)}^{h}}$: забыть вектор активации ворот
• ${\displaystyle i_{t}\in {(0,1)}^{h}}$: вектор активации входа/обновления ворот
• ${\displaystyle o_{t}\in {(0,1)}^{h}}$: вектор активации выходного вентиля
• ${\displaystyle h_{t}\in {(-1,1)}^{h}}$: вектор скрытого состояния, также известный как выходной вектор модуля LSTM.
• ${\displaystyle {\tilde {c}}_{t}\in {(-1,1)}^{h}}$: вектор активации ввода ячейки
• ${\displaystyle c_{t}\in \mathbb {R} ^{h}}$: вектор состояния ячейки
• ${\displaystyle W\in \mathbb {R} ^{h\times d}}$, и : весовые матрицы и параметры вектора смещения, которые необходимо изучить во время обучения. ${\displaystyle U\in \mathbb {R} ^{h\times h}}$ ${\displaystyle b\in \mathbb {R} ^{h}}$

Функции активации

• ${\displaystyle \sigma _{g}}$: сигмовидная функция .
• ${\displaystyle \sigma _{c}}$: функция гиперболического тангенса .
• ${\displaystyle \sigma _{h}}$: гиперболическая функция тангенса или, как предполагает статья LSTM с глазком ^{[18] [19]} , . ${\displaystyle \sigma _{h}(x)=x}$

Глазок ЛСТМ

Блок LSTM «глазок» с входными (т.е. ), выходными (т.е. ) и воротами забывания (т.е.) . ${\displaystyle i}$ ${\displaystyle o}$ ${\displaystyle f}$

Рисунок справа представляет собой графическое изображение блока LSTM с глазковыми соединениями (т.е. глазок LSTM). ^{[18] [19]} Соединения «глазок» позволяют воротам получить доступ к карусели постоянных ошибок (CEC), активацией которой является состояние ячейки. ^[18] не используется, вместо него используется в большинстве мест. ${\displaystyle h_{t-1}}$ ${\displaystyle c_{t-1}}$

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}c_{t-1}+b_{o})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot \sigma _{c}(W_{c}x_{t}+b_{c})\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}}$

Каждый из вентилей можно рассматривать как «стандартный» нейрон в нейронной сети прямого распространения (или многослойной): то есть они вычисляют активацию (используя функцию активации) взвешенной суммы. и представляют собой активации соответственно входных, выходных и вентилей забывания на временном шаге . ${\displaystyle i_{t},o_{t}}$ ${\displaystyle f_{t}}$ ${\displaystyle t}$

Три стрелки выхода из ячейки памяти к трем воротам представляют собой соединения глазка . Эти глазковые связи на самом деле обозначают вклад активации ячейки памяти на временном шаге , т.е. вклад (а не , как можно предположить из рисунка). Другими словами, вентили и вычисляют свои активации на такте времени (т.е. соответственно и ) также учитывая активацию ячейки памяти на такте времени , т.е. ${\displaystyle c}$ ${\displaystyle i,o}$ ${\displaystyle f}$ ${\displaystyle c}$ ${\displaystyle t-1}$ ${\displaystyle c_{t-1}}$ ${\displaystyle c_{t}}$ ${\displaystyle i,o}$ ${\displaystyle f}$ ${\displaystyle t}$ ${\displaystyle i_{t},o_{t}}$ ${\displaystyle f_{t}}$ ${\displaystyle c}$ ${\displaystyle t-1}$ ${\displaystyle c_{t-1}}$

Единственная стрелка слева направо, выходящая из ячейки памяти, не является соединением «глазок» и обозначает . ${\displaystyle c_{t}}$

Маленькие кружочки, содержащие символ, представляют собой поэлементное умножение между его входами. Большие круги, содержащие S -образную кривую, представляют собой применение дифференцируемой функции (например, сигмовидной функции) к взвешенной сумме. ${\displaystyle \times }$

Сверточный глазок LSTM

Глазок сверточного LSTM. ^[20] Обозначает оператор свертки . ${\displaystyle *}$

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}*x_{t}+U_{f}*h_{t-1}+V_{f}\odot c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}*x_{t}+U_{i}*h_{t-1}+V_{i}\odot c_{t-1}+b_{i})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot \sigma _{c}(W_{c}*x_{t}+U_{c}*h_{t-1}+b_{c})\\o_{t}&=\sigma _{g}(W_{o}*x_{t}+U_{o}*h_{t-1}+V_{o}\odot c_{t}+b_{o})\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}}$

Обучение

RNN, использующая блоки LSTM, может быть обучена контролируемым образом на наборе обучающих последовательностей, используя алгоритм оптимизации, такой как градиентный спуск в сочетании с обратным распространением ошибки во времени , для вычисления градиентов, необходимых в процессе оптимизации, чтобы изменить каждый вес LSTM. сети пропорционально производной ошибки (на выходном уровне сети LSTM) по соответствующему весу.

Проблема с использованием градиентного спуска для стандартных RNN заключается в том, что градиенты ошибок исчезают экспоненциально быстро с увеличением временного лага между важными событиями. Это происходит потому, что спектральный радиус меньше 1. ^{[2] [21]} ${\displaystyle \lim _{n\to \infty }W^{n}=0}$ ${\displaystyle W}$

Однако в модулях LSTM, когда значения ошибок распространяются обратно из выходного слоя, ошибка остается в ячейке модуля LSTM. Эта «карусель ошибок» постоянно передает ошибку обратно каждому из вентилей блока LSTM, пока они не научатся отсекать значение.

Функция оценки CTC

Многие приложения используют стеки LSTM RNN ^[22] и обучают их с помощью коннекционистской временной классификации (CTC) ^[23] для нахождения весовой матрицы RNN, которая максимизирует вероятность последовательностей меток в обучающем наборе с учетом соответствующих входных последовательностей. CTC достигает как согласованности, так и признания.

Альтернативы

Иногда может быть выгодно обучать (части) LSTM с помощью нейроэволюции ^[24] или методов политического градиента, особенно когда нет «учителя» (то есть обучающих меток).

Успех

Было несколько успешных историй обучения RNN без присмотра с помощью модулей LSTM.

В 2018 году Билл Гейтс назвал «огромной вехой в развитии искусственного интеллекта», когда боты, разработанные OpenAI, смогли победить людей в игре Dota 2. ^[11] OpenAI Five состоит из пяти независимых, но скоординированных нейронных сетей. Каждая сеть обучается методом градиента политики без надзора учителя и содержит однослойную долговременную память на 1024 единицы, которая видит текущее состояние игры и генерирует действия через несколько возможных головок действий. ^[11]

В 2018 году OpenAI также обучила аналогичный LSTM с помощью политических градиентов для управления человекоподобной роботизированной рукой, которая манипулирует физическими объектами с беспрецедентной ловкостью. ^[10]

В 2019 году программа AlphaStar компании DeepMind использовала глубокое ядро ​​LSTM, чтобы добиться успеха в сложной видеоигре Starcraft II . ^[12] Это было расценено как значительный прогресс на пути к искусственному общему интеллекту. ^[12]

Приложения

Приложения LSTM включают:

• Управление роботом ^[9]
• Прогнозирование временных рядов ^[24]
• Распознавание речи ^{[25] [26] [27]}
• Обучение ритму ^[19]
• Гидрологическое моделирование осадков и стока ^[28]
• Музыкальная композиция ^[29]
• Изучение грамматики ^{[30] [18] [31]}
• Распознавание рукописного ввода ^{[32] [33]}
• Распознавание действий человека ^[34]
• Сурдоперевод ^[35]
• Обнаружение гомологии белков ^[36]
• Прогнозирование субклеточной локализации белков ^[37]
• Обнаружение аномалий временных рядов ^[38]
• Некоторые задачи прогнозирования в области управления бизнес-процессами ^[39]
• Прогнозирование в путях оказания медицинской помощи ^[40]
• Семантический анализ ^[41]
• Совместная сегментация объектов ^{[42] [43]}
• Управление пассажирами аэропорта ^[44]
• Краткосрочный прогноз трафика ^[45]
• Дизайн лекарств ^[46]
• Прогноз рынка ^[47]
• Классификация действий в видео ^[48]

Хронология разработки

1989: Работа Майка Мозера по сфокусированному обратному распространению ошибки ^[49] позже будет цитироваться в основной статье LSTM. ^[1] Уравнение Мозера (3.1) предвидит аспекты ячеек LSTM: c_i(t+1) = d_i c_i(t) + f(x(t)), где c_i(t) — активация i-го само- подключенная «контекстная единица» на временном шаге t, x(t) — текущий вход, f — нелинейная функция, а d_i — действительный «вес затухания», который можно изучить. Остаточное соединение в «карусели постоянных ошибок» ячейки LSTM упрощает это, устанавливая d_i = 1,0: c_i(t+1) = c_i(t) + f(x(t)). В статье LSTM ^[1] это называется «центральной особенностью LSTM» и утверждается: «Обратите внимание на сходство с системой фиксированной постоянной времени Мозера (1992) — постоянная времени 1,0 подходит для потенциально бесконечных временных задержек».

1991: Зепп Хохрайтер проанализировал проблему исчезающего градиента и разработал принципы метода в своей немецкой дипломной работе ^{[2] , которую его научный руководитель} Юрген Шмидхубер назвал «одним из самых важных документов в истории машинного обучения» . ^[50]

1995: «Долгая кратковременная память (LSTM)» опубликована в техническом отчете Зеппа Хохрайтера и Юргена Шмидхубера . ^[51]

1996: LSTM опубликован на рецензируемой конференции NIPS'1996. ^[14]

1997: Основная статья LSTM опубликована в журнале Neural Computation . ^[1] Вводя блоки карусели постоянных ошибок (CEC), LSTM решает проблему исчезновения градиента . Первоначальная версия блока LSTM включала ячейки, входные и выходные элементы. ^[52]

1999: Феликс Герс , Юрген Шмидхубер и Фред Камминс представили шлюз забывания (также называемый «воротом сохранения») в архитектуру LSTM, ^[53] позволяющий LSTM сбросить свое собственное состояние. ^[52]

2000: Герс, Шмидхубер и Камминс добавили в архитектуру соединения глазков (соединения от ячейки к воротам). ^{[18] [19]} Кроме того, функция активации выхода была опущена. ^[52]

2001: Герс и Шмидхубер научили LSTM изучать языки, которые невозможно выучить с помощью традиционных моделей, таких как скрытые марковские модели. ^{[18] [54]}

Хохрейтер и др. использовал LSTM для метаобучения (т.е. изучения алгоритма обучения). ^[55]

2004: Первое успешное применение LSTM к речи Алекс Грейвс и др. ^{[56] [54]}

2005: Первая публикация (Грейвс и Шмидхубер) LSTM с полным обратным распространением ошибки во времени и двунаправленным LSTM. ^{[25] [54]}

2005: Даан Виерстра, Фаустино Гомес и Шмидхубер обучали LSTM методом нейроэволюции без учителя. ^[24]

2006: Грейвс, Фернандес, Гомес и Шмидхубер представляют новую функцию ошибок для LSTM: коннекционистскую временную классификацию (CTC) для одновременного выравнивания и распознавания последовательностей. ^[23] LSTM, обученный CTC, привел к прорыву в распознавании речи. ^{[26] [57] [58] [59]}

Майер и др. обучил LSTM управлять роботами . ^[9]

2007: Виерстра, Ферстер, Петерс и Шмидхубер обучили LSTM с помощью политических градиентов для обучения с подкреплением без учителя. ^[60]

Хохрейтер, Хойзель и Обермайр применили LSTM для обнаружения гомологии белков в области биологии . ^[36]

2009: LSTM, обученный CTC, выиграл соревнование по распознаванию рукописного текста, подключенное к ICDAR . Три такие модели были представлены командой под руководством Алекса Грейвса . ^[3] Одна из моделей была самой точной на соревновании, а другая — самой быстрой. ^[61] Это был первый раз, когда RNN выиграла международные соревнования. ^[54]

2009: Джастин Байер и др. представил поиск нейронной архитектуры для LSTM. ^{[62] [54]}

2013: Алекс Грейвс, Абдель-Рахман Мохамед и Джеффри Хинтон использовали сети LSTM в качестве основного компонента сети, которая достигла рекордного уровня ошибок фонем 17,7% в классическом наборе данных естественной речи TIMIT . ^[27]

2014: Кёнхён Чо и др. выдвинул упрощенный вариант шлюза забывания LSTM ^[53] под названием Gated recurrent unit (GRU). ^[63]

2015: Google начал использовать LSTM, обученный CTC, для распознавания речи в Google Voice. ^{[57] [58]} Согласно официальному сообщению в блоге, новая модель сократила количество ошибок транскрипции на 49%. ^[64]

2015: Рупеш Кумар Шривастава, Клаус Грефф и Шмидхубер использовали принципы LSTM ^[53] для создания сети Highway — нейронной сети прямого распространения с сотнями слоев, гораздо более глубокой, чем предыдущие сети. ^{[65] [66] [67]} 7 месяцев спустя, Каймин Хэ, Сянъюй Чжан; Шаоцин Рен и Цзянь Сунь выиграли конкурс ImageNet 2015, предложив вариант сети шоссе с открытыми воротами или без ворот под названием Остаточная нейронная сеть . ^[68] Эта нейронная сеть стала наиболее цитируемой в 21 веке. ^[67]

2016: Google начал использовать LSTM для предложения сообщений в приложении Allo Chat. ^[69] В том же году Google выпустила систему нейронного машинного перевода Google для Google Translate, которая использовала LSTM для уменьшения ошибок перевода на 60%. ^{[6] [70] [71]}

Apple объявила на своей Всемирной конференции разработчиков , что начнет использовать LSTM для быстрого ввода ^{[72] [73] [74]} на iPhone и для Siri. ^{[75] [76]}

Amazon выпустила Polly , которая генерирует голоса Alexa, используя двунаправленный LSTM для технологии преобразования текста в речь. ^[77]

2017: Facebook ежедневно выполняет около 4,5 миллиардов автоматических переводов, используя сети долговременной краткосрочной памяти. ^[7]

Исследователи из Мичиганского государственного университета , IBM Research и Корнелльского университета опубликовали исследование на конференции Knowledge Discovery and Data Mining (KDD). ^{[78] [79] [80]} Их LSTM с учетом времени (T-LSTM) работает лучше с определенными наборами данных, чем стандартный LSTM.

Microsoft сообщила о достижении точности распознавания 94,9% в корпусе Switchboard, словарь которого составляет 165 000 слов. В этом подходе использовалась «долговременная память на основе сеансов диалога». ^[59]

2018: OpenAI использовала LSTM, обученную с помощью градиентов политики, чтобы побеждать людей в сложной видеоигре Dota 2 ^[11] и управлять человекоподобной рукой робота, которая манипулирует физическими объектами с беспрецедентной ловкостью. ^{[10] [54]}

2019: DeepMind использовала LSTM, обученную по градиентам политики, чтобы преуспеть в сложной видеоигре Starcraft II . ^{[12] [54]}

2021: По данным Google Scholar , в 2021 году LSTM цитировали более 16 000 раз в течение одного года. Это отражает применение LSTM во многих различных областях, включая здравоохранение. ^[13]

Смотрите также

• Внимание (машинное обучение)
• Глубокое обучение
• Дифференцируемый нейронный компьютер
• Закрытый рекуррентный блок
• Сеть автомобильных дорог
• Долгосрочное потенцирование
• Рабочая память префронтальной коры базальных ганглиев
• Рекуррентная нейронная сеть
• Seq2seq
• Долговременная кратковременная память с осознанием времени
• Трансформатор (модель машинного обучения)
• Временная последовательность

Рекомендации

1. Зепп Хохрайтер ; Юрген Шмидхубер (1997). «Длинная кратковременная память». Нейронные вычисления . 9 (8): 1735–1780. дои : 10.1162/neco.1997.9.8.1735. PMID  9377276. S2CID  1915014.
2. Хохрайтер, Зепп (1991). Untersuruchungen zu dynamischen Neuronalen Netzen (PDF) (дипломная работа). Технический университет Мюнхена, Институт компьютерных наук.
3. Грейвс, А.; Ливицкий, М.; Фернандес, С.; Бертолами, Р.; Бунке, Х.; Шмидхубер, Дж. (май 2009 г.). «Новая коннекционистская система для неограниченного распознавания рукописного текста». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 31 (5): 855–868. CiteSeerX 10.1.1.139.4502 . дои :10.1109/tpami.2008.137. ISSN  0162-8828. PMID  19299860. S2CID  14635907. 
4. Сак, Хасим; Старший, Эндрю; Бофе, Франсуаза (2014). «Архитектуры рекуррентных нейронных сетей с долгосрочной кратковременной памятью для крупномасштабного акустического моделирования» (PDF) . Архивировано из оригинала (PDF) 24 апреля 2018 г.
5. Ли, Сянган; У, Сихун (15 октября 2014 г.). «Построение глубоких рекуррентных нейронных сетей на основе долговременной памяти для распознавания речи с большим словарным запасом». arXiv : 1410.4281 [cs.CL].
6. Ву, Юнхуэй; Шустер, Майк; Чен, Чжифэн; Ле, Куок В.; Норузи, Мохаммед; Машери, Вольфганг; Крикун, Максим; Цао, Юань; Гао, Цинь (26 сентября 2016 г.). «Система нейронного машинного перевода Google: преодоление разрыва между человеческим и машинным переводом». arXiv : 1609.08144 [cs.CL].
7. Онг, Туи (4 августа 2017 г.). «Переводы Facebook теперь полностью выполняются искусственным интеллектом». www.allthingsdistributed.com . Проверено 15 февраля 2019 г.
8. Сахидулла, Мэриленд; Патино, Хосе; Корнелл, Сэмюэл; Инь, Жуйкинг; Сивасанкаран, Сунит; Бредин, Эрве; Коршунов Павел; Брутти, Алессио; Серизель, Ромен; Винсент, Эммануэль; Эванс, Николас; Марсель, Себастьян; Сквартини, Стефано; Баррас, Клод (6 ноября 2019 г.). «Скорая подача на DIHARD II: вклад и извлеченные уроки». arXiv : 1911.02388 [eess.AS].
9. Майер, Х.; Гомес, Ф.; Виерстра, Д.; Надь, И.; Нолл, А.; Шмидхубер, Дж. (октябрь 2006 г.). «Система для роботизированной кардиохирургии, которая учится завязывать узлы с помощью рекуррентных нейронных сетей». 2006 Международная конференция IEEE/RSJ по интеллектуальным роботам и системам . стр. 543–548. CiteSeerX 10.1.1.218.3399 . дои : 10.1109/IROS.2006.282190. ISBN  978-1-4244-0258-8. S2CID  12284900.
10. «Обучение ловкости». ОпенАИ . 30 июля 2018 г. Проверено 28 июня 2023 г.
11. Родригес, Хесус (2 июля 2018 г.). «Наука, лежащая в основе OpenAI Five, которая только что совершила один из величайших прорывов в истории искусственного интеллекта». На пути к науке о данных . Архивировано из оригинала 26 декабря 2019 г. Проверено 15 января 2019 г.
12. Стэнфорд, Стейси (25 января 2019 г.). «ИИ DeepMind, AlphaStar демонстрирует значительный прогресс в области искусственного интеллекта». Средние мемуары ML . Проверено 15 января 2019 г.
13. Шмидхубер, Юрген (2021). «2010-е годы: наше десятилетие глубокого обучения / Перспективы на 2020-е годы». Блог ИИ . ИДСИА, Швейцария . Проверено 30 апреля 2022 г.
14. Хохрейтер, Зепп; Шмидхубер, Юрген (1996). LSTM может решить сложные проблемы с длительной задержкой. Достижения в области нейронных систем обработки информации.
15. Феликс А. Герс; Юрген Шмидхубер; Фред Камминс (2000). «Учимся забывать: постоянное прогнозирование с помощью LSTM». Нейронные вычисления . 12 (10): 2451–2471. CiteSeerX 10.1.1.55.5709 . дои : 10.1162/089976600300015015. PMID  11032042. S2CID  11598600. 
16. Калин, Овидиу (14 февраля 2020 г.). Архитектуры глубокого обучения . Чам, Швейцария: Springer Nature. п. 555. ИСБН 978-3-030-36720-6.
17. Лакрец, Яир; Крушевский, немец; Десборд, Тео; Хупкес, Дьюк; Деэн, Станислас; Барони, Марко (2019), «Появление числовых и синтаксических единиц», Появление числовых и синтаксических единиц (PDF) , Ассоциация компьютерной лингвистики, стр. 11–20, doi : 10.18653/v1/N19-1002, hdl : 11245.1/16cb6800-e10d-4166-8e0b-fed61ca6ebb4, S2CID  81978369
18. Герс, ФА; Шмидхубер, Дж. (2001). «Рекуррентные сети LSTM изучают простые контекстно-свободные и контекстно-зависимые языки» (PDF) . Транзакции IEEE в нейронных сетях . 12 (6): 1333–1340. дои : 10.1109/72.963769. PMID  18249962. S2CID  10192330.
19. Герс, Ф.; Шраудольф, Н.; Шмидхубер, Дж. (2002). «Изучение точного времени с помощью рекуррентных сетей LSTM» (PDF) . Журнал исследований машинного обучения . 3 : 115–143.
20. Синцзянь Ши; Чжоуронг Чен; Хао Ван; Дит-Ян Юнг; Вай-кин Вонг; Ван Чун У (2015). «Сверточная сеть LSTM: подход машинного обучения для прогнозирования текущих осадков». Материалы 28-й Международной конференции по нейронным системам обработки информации : 802–810. arXiv : 1506.04214 . Бибкод : 2015arXiv150604214S.
21. Хохрейтер, С.; Бенджио, Ю.; Фраскони, П.; Шмидхубер, Дж. (2001). «Градиентный поток в рекуррентных сетях: сложность изучения долгосрочных зависимостей (доступна загрузка в формате PDF)». В Кремере и, СК; Колен, Дж. Ф. (ред.). Полевое руководство по динамическим рекуррентным нейронным сетям . IEEE Пресс.
22. Фернандес, Сантьяго; Грейвс, Алекс; Шмидхубер, Юрген (2007). «Разметка последовательностей в структурированных доменах с помощью иерархических рекуррентных нейронных сетей». Учеб. 20-й Международный Совместная конф. Об искусственном интеллекте, Ijcai 2007 : 774–779. CiteSeerX 10.1.1.79.1887 . 
23. Грейвс, Алекс; Фернандес, Сантьяго; Гомес, Фаустино; Шмидхубер, Юрген (2006). «Временная классификация коннекционистов: маркировка данных несегментированных последовательностей с помощью рекуррентных нейронных сетей». В материалах Международной конференции по машинному обучению, ICML 2006 : 369–376. CiteSeerX 10.1.1.75.6306 . 
24. Виерстра, Даан; Шмидхубер, Дж.; Гомес, Ф.Дж. (2005). «Эволино: гибридная нейроэволюция/оптимальный линейный поиск для последовательного обучения». Материалы 19-й Международной совместной конференции по искусственному интеллекту (IJCAI), Эдинбург : 853–858.
25. Грейвс, А.; Шмидхубер, Дж. (2005). «Кадровая классификация фонем с помощью двунаправленного LSTM и других архитектур нейронных сетей». Нейронные сети . 18 (5–6): 602–610. CiteSeerX 10.1.1.331.5800 . doi :10.1016/j.neunet.2005.06.042. PMID  16112549. S2CID  1856462. 
26. Фернандес, С.; Грейвс, А.; Шмидхубер, Дж. (9 сентября 2007 г.). «Применение рекуррентных нейронных сетей для различительного обнаружения ключевых слов». Материалы 17-й Международной конференции по искусственным нейронным сетям . ICANN'07. Берлин, Гейдельберг: Springer-Verlag: 220–229. ISBN 978-3540746935. Проверено 28 декабря 2023 г.
27. Грейвс, Алекс; Мохамед, Абдель-Рахман; Хинтон, Джеффри (2013). «Распознавание речи с помощью глубоких рекуррентных нейронных сетей». Международная конференция IEEE 2013 по акустике, речи и обработке сигналов . стр. 6645–6649. arXiv : 1303.5778 . дои : 10.1109/ICASSP.2013.6638947. ISBN 978-1-4799-0356-6. S2CID  206741496.
28. Кратцерт, Фредерик; Клотц, Дэниел; Шалев, Гай; Кламбауэр, Гюнтер; Хохрейтер, Зепп; Близится, Грей (17 декабря 2019 г.). «На пути к изучению универсального, регионального и местного гидрологического поведения с помощью машинного обучения, применяемого к наборам данных большой выборки». Гидрология и науки о системе Земли . 23 (12): 5089–5110. arXiv : 1907.08456 . Бибкод : 2019HESS...23.5089K. дои : 10.5194/hess-23-5089-2019 . ISSN  1027-5606.
29. Эк, Дуглас; Шмидхубер, Юрген (28 августа 2002 г.). «Изучение долгосрочной структуры блюза». Искусственные нейронные сети — ICANN 2002 . Конспекты лекций по информатике. Том. 2415. Шпрингер, Берлин, Гейдельберг. стр. 284–289. CiteSeerX 10.1.1.116.3620 . дои : 10.1007/3-540-46084-5_47. ISBN  978-3540460848.
30. Шмидхубер, Дж.; Герс, Ф.; Эк, Д.; Шмидхубер, Дж.; Герс, Ф. (2002). «Изучение нерегулярных языков: сравнение простых рекуррентных сетей и LSTM». Нейронные вычисления . 14 (9): 2039–2041. CiteSeerX 10.1.1.11.7369 . дои : 10.1162/089976602320263980. PMID  12184841. S2CID  30459046. 
31. Перес-Ортис, JA; Герс, Ф.А.; Эк, Д.; Шмидхубер, Дж. (2003). «Фильтры Калмана улучшают производительность сети LSTM в задачах, неразрешимых традиционными рекуррентными сетями». Нейронные сети . 16 (2): 241–250. CiteSeerX 10.1.1.381.1992 . дои : 10.1016/s0893-6080(02)00219-8. ПМИД  12628609. 
32. А. Грейвс, Дж. Шмидхубер. Распознавание рукописного текста в автономном режиме с помощью многомерных рекуррентных нейронных сетей. Достижения в области нейронных систем обработки информации 22, NIPS'22, стр. 545–552, Ванкувер, MIT Press, 2009.
33. Грейвс, А.; Фернандес, С.; Ливицкий, М.; Бунке, Х.; Шмидхубер, Дж. (3 декабря 2007 г.). «Неограниченное онлайн-распознавание рукописного текста с помощью рекуррентных нейронных сетей». Материалы 20-й Международной конференции по нейронным системам обработки информации . НИПС'07. США: Curran Associates Inc.: 577–584. ISBN 9781605603520. Проверено 28 декабря 2023 г.
34. Баккуш, М.; Мамалет, Ф.; Вольф, К.; Гарсия, К.; Баскурт, А. (2011). «Последовательное глубокое обучение для распознавания действий человека». Ин Салах, А.А.; Лепри, Б. (ред.). 2-й Международный семинар по пониманию человеческого поведения (HBU) . Конспекты лекций по информатике. Том. 7065. Амстердам, Нидерланды: Springer. стр. 29–39. дои : 10.1007/978-3-642-25446-8_4. ISBN 978-3-642-25445-1.
35. Хуан, Цзе; Чжоу, Венган; Чжан, Цилинь; Ли, Хоуцян; Ли, Вэйпин (30 января 2018 г.). «Распознавание языка жестов на основе видео без временной сегментации». arXiv : 1801.10111 [cs.CV].
36. Хохрейтер, С.; Хойзель, М.; Обермайер, К. (2007). «Быстрое обнаружение гомологии белков на основе моделей без выравнивания». Биоинформатика . 23 (14): 1728–1736. doi : 10.1093/биоинформатика/btm247 . ПМИД  17488755.
37. Тиреу, Т.; Речко, М. (2007). «Двунаправленные сети долговременной краткосрочной памяти для прогнозирования субклеточной локализации эукариотических белков». Транзакции IEEE/ACM по вычислительной биологии и биоинформатике . 4 (3): 441–446. дои : 10.1109/tcbb.2007.1015. PMID  17666763. S2CID  11787259.
38. Малхотра, Панкадж; Виг, Лавкеш; Шрофф, Гаутам; Агарвал, Пунит (апрель 2015 г.). «Сети долговременной памяти для обнаружения аномалий во временных рядах» (PDF) . Европейский симпозиум по искусственным нейронным сетям, вычислительному интеллекту и машинному обучению — ESANN 2015 . Архивировано из оригинала (PDF) 30 октября 2020 г. Проверено 21 февраля 2018 г.
39. Налог, Н.; Веренич И.; Ла Роза, М.; Дюма, М. (2017). «Прогнозирующий мониторинг бизнес-процессов с помощью нейронных сетей LSTM». Инженерия передовых информационных систем . Конспекты лекций по информатике. Том. 10253. стр. 477–492. arXiv : 1612.02130 . дои : 10.1007/978-3-319-59536-8_30. ISBN 978-3-319-59535-1. S2CID  2192354.
40. Чой, Э.; Бахадори, Монтана; Шуец, Э.; Стюарт, В.; Сан, Дж. (2016). «Доктор ИИ: прогнозирование клинических событий с помощью рекуррентных нейронных сетей». Материалы семинара и конференции JMLR . 56 : 301–318. arXiv : 1511.05942 . Бибкод : 2015arXiv151105942C. ПМК 5341604 . ПМИД  28286600. 
41. Цзя, Робин; Лян, Перси (2016). «Рекомбинация данных для нейронного семантического анализа». arXiv : 1606.03622 [cs.CL].
42. Ван, Ле; Дуань, Сюйхуань; Чжан, Цилинь; Ню, Чжэньсин; Хуа, Банда; Чжэн, Наньнин (22 мая 2018 г.). «Segment-Tube: локализация пространственно-временных действий в необрезанных видео с покадровой сегментацией» (PDF) . Датчики . 18 (5): 1657. Бибкод : 2018Senso..18.1657W. дои : 10.3390/s18051657 . ISSN  1424-8220. ПМЦ 5982167 . ПМИД  29789447. 
43. Дуань, Сюйхуань; Ван, Ле; Чжай, Чанбо; Чжэн, Наньнин; Чжан, Цилинь; Ню, Чжэньсин; Хуа, Банда (2018). «Совместная локализация пространственно-временных действий в необрезанных видео с покадровой сегментацией». 2018 25-я Международная конференция IEEE по обработке изображений (ICIP) . 25-я Международная конференция IEEE по обработке изображений (ICIP). стр. 918–922. дои : 10.1109/icip.2018.8451692. ISBN 978-1-4799-7061-2.
44. Орсини, Ф.; Гастальди, М.; Мантеккини, Л.; Росси, Р. (2019). Нейронные сети, обученные с помощью трассировок Wi-Fi, прогнозируют поведение пассажиров в аэропорту . 6-я Международная конференция по моделям и технологиям интеллектуальных транспортных систем. Краков: IEEE. arXiv : 1910.14026 . дои :10.1109/МТИЦ.2019.8883365. 8883365.
45. Чжао, З.; Чен, В.; Ву, Х.; Чен, PCY; Лю, Дж. (2017). «Сеть LSTM: подход глубокого обучения для краткосрочного прогнозирования трафика». ИЭПП Интеллектуальные Транспортные Системы . 11 (2): 68–75. doi : 10.1049/iet-its.2016.0208. S2CID  114567527.
46. Гупта А., Мюллер А.Т., Хьюсман Б.Дж.Х., Фукс Дж.А., Шнайдер П., Шнайдер Г. (2018). «Генераторные рекуррентные сети для разработки лекарств De Novo». Мол Информ . 37 (1–2). дои : 10.1002/минф.201700111. ПМК 5836943 . ПМИД  29095571. {{cite journal}}: CS1 maint: multiple names: authors list (link)
47. Сайфул Ислам, Мэриленд; Хоссейн, Эмам (26 октября 2020 г.). «Прогнозирование курса иностранной валюты с использованием гибридной сети GRU-LSTM». Мягкие компьютерные буквы . 3 : 100009. doi : 10.1016/j.socl.2020.100009 . ISSN  2666-2221.
48. {{Цитируйте Эбби Мартин, Эндрю Дж. Хилл, Константин М. Зайлер и Мехала Баламурали (2023) Автоматическое распознавание действий экскаватора и локализация необрезанного видео с использованием гибридных сетей LSTM-Transformer, Международный журнал горного дела, мелиорации и окружающей среды, DOI: 10.1080 /17480930.2023.2290364}}
49. Мозер, Майк (1989). «Алгоритм сфокусированного обратного распространения ошибки для распознавания временных образов». Сложные системы .
50. Шмидхубер, Юрген (2022). «Аннотированная история современного искусственного интеллекта и глубокого обучения». arXiv : 2212.11279 [cs.NE].
51. Зепп Хохрейтер ; Юрген Шмидхубер (21 августа 1995 г.), Кратковременная долговременная память, Викиданные  Q98967430
52. Клаус Грефф; Рупеш Кумар Шривастава; Ян Кутник; Бас Р. Стойнебринк; Юрген Шмидхубер (2015). «LSTM: Поисковая космическая одиссея». Транзакции IEEE в нейронных сетях и системах обучения . 28 (10): 2222–2232. arXiv : 1503.04069 . Бибкод : 2015arXiv150304069G. дои : 10.1109/TNNLS.2016.2582924. PMID  27411231. S2CID  3356463.
53. Герс, Феликс; Шмидхубер, Юрген; Камминс, Фред (1999). «Учимся забывать: постоянное предсказание с помощью LSTM». 9-я Международная конференция по искусственным нейронным сетям: ICANN '99 . Том. 1999. стр. 850–855. дои : 10.1049/cp: 19991218. ISBN 0-85296-721-7.
54. Шмидхубер, Юрген (10 мая 2021 г.). «Глубокое обучение: наш чудесный 1990–1991 год». arXiv : 2005.05744 [cs.NE].
55. Хохрейтер, С.; Младший, А.С.; Конвелл, PR (2001). «Учимся учиться с помощью градиентного спуска». Искусственные нейронные сети — ICANN 2001 (PDF) . Конспекты лекций по информатике. Том. 2130. стр. 87–94. CiteSeerX 10.1.1.5.323 . дои : 10.1007/3-540-44668-0_13. ISBN  978-3-540-42486-4. ISSN  0302-9743. S2CID  52872549.
56. Грейвс, Алекс; Беринджер, Николь; Эк, Дуглас; Шмидхубер, Юрген (2004). Биологически правдоподобное распознавание речи с помощью нейронных сетей LSTM . Семинар по биологическим подходам к передовым информационным технологиям, Bio-ADIT 2004, Лозанна, Швейцария. стр. 175–184.
57. Beaufays, Франсуаза (11 августа 2015 г.). «Нейронные сети, лежащие в основе транскрипции Google Voice». Исследовательский блог . Проверено 27 июня 2017 г.
58. Сак, Хашим; Старший, Эндрю; Рао, Канишка; Бофе, Франсуаза; Шалквик, Йохан (24 сентября 2015 г.). «Голосовой поиск Google: быстрее и точнее». Исследовательский блог . Проверено 27 июня 2017 г.
59. Хариди, Рич (21 августа 2017 г.). «Система распознавания речи Microsoft теперь не хуже человека». newatlas.com . Проверено 27 августа 2017 г.
60. Виерстра, Даан; Ферстер, Александр; Петерс, Ян; Шмидхубер, Юрген (2005). «Решение POMDP глубокой памяти с повторяющимися градиентами политики». Международная конференция по искусственным нейронным сетям ICANN'07 .
61. Маргнер, Волкер; Абед, Хайкал Эль (июль 2009 г.). «Конкурс ICDAR 2009 по распознаванию арабского почерка». 2009 10-я Международная конференция по анализу и распознаванию документов . стр. 1383–1387. дои : 10.1109/ICDAR.2009.256. ISBN 978-1-4244-4500-4. S2CID  52851337.
62. Байер, Джастин; Виерстра, Даан; Тогелиус, Джулиан; Шмидхубер, Юрген (2009). «Развитие структур ячеек памяти для последовательного обучения». Международная конференция по искусственным нейронным сетям ICANN'09, Кипр .
63. Чо, Кёнхён; ван Мерриенбур, Барт; Гульчере, Чаглар; Богданов Дмитрий; Бугарес, Фетхи; Швенк, Хольгер; Бенджио, Йошуа (2014). «Изучение представлений фраз с использованием кодера-декодера RNN для статистического машинного перевода». arXiv : 1406.1078 [cs.CL].
64. «Неоновый рецепт… точнее, новая транскрипция для Google Voice» . Официальный блог Google . 23 июля 2015 года . Проверено 25 апреля 2020 г.
65. Шривастава, Рупеш Кумар; Грефф, Клаус; Шмидхубер, Юрген (2 мая 2015 г.). «Дорожные сети». arXiv : 1505.00387 [cs.LG].
66. Шривастава, Рупеш К; Грефф, Клаус; Шмидхубер, Юрген (2015). «Обучение очень глубоких сетей». Достижения в области нейронных систем обработки информации . Curran Associates, Inc. 28 : 2377–2385.
67. Шмидхубер, Юрген (2021). «Все наиболее цитируемые нейронные сети основаны на работе, проделанной в моих лабораториях». Блог ИИ . ИДСИА, Швейцария . Проверено 30 апреля 2022 г.
68. Он, Кайминг; Чжан, Сянъюй; Рен, Шаоцин; Сунь, Цзянь (2016). Глубокое остаточное обучение для распознавания изображений. Конференция IEEE 2016 по компьютерному зрению и распознаванию образов (CVPR) . Лас-Вегас, Невада, США: IEEE. стр. 770–778. arXiv : 1512.03385 . дои :10.1109/CVPR.2016.90. ISBN 978-1-4673-8851-1.
69. Хайтан, Пранав (18 мая 2016 г.). «Общайтесь с Allo умнее». Исследовательский блог . Проверено 27 июня 2017 г.
70. Мец, Кейд (27 сентября 2016 г.). «Внедрение искусственного интеллекта делает Google Translate более мощным, чем когда-либо | WIRED» . Проводной . Проверено 27 июня 2017 г.
71. «Нейронная сеть для машинного перевода в масштабе производства» . Блог Google AI . 27 сентября 2016 г. Проверено 25 апреля 2020 г.
72. Эфрати, Амир (13 июня 2016 г.). «Машины Apple тоже могут учиться». Информация . Проверено 27 июня 2017 г.
73. Рейнджер, Стив (14 июня 2016 г.). «iPhone, искусственный интеллект и большие данные: вот как Apple планирует защитить вашу конфиденциальность | ZDNet». ЗДНет . Проверено 27 июня 2017 г.
74. «Может ли глобальный семантический контекст улучшить модели нейронного языка? - Apple» . Журнал Apple по машинному обучению . Проверено 30 апреля 2020 г.
75. Смит, Крис (13 июня 2016 г.). «iOS 10: Siri теперь работает в сторонних приложениях и оснащена дополнительными функциями искусственного интеллекта». БГР . Проверено 27 июня 2017 г.
76. Кейпс, Тим; Коулз, Пол; Конки, Алистер; Голипур, Ладан; Хаджитархани, Аби; Ху, Цюн; Хаддлстон, Нэнси; Хант, Мелвин; Ли, Цзянчуань; Ниракер, Матиас; Прахаллад, Кишор (20 августа 2017 г.). «Система преобразования текста в речь, управляемая с помощью глубокого обучения Siri на устройстве». Интерспич 2017 . ISCA: 4011–4015. doi :10.21437/Interspeech.2017-1798.
77. Фогельс, Вернер (30 ноября 2016 г.). «Привнесение волшебства Amazon AI и Alexa в приложения на AWS. – Все распределено». www.allthingsdistributed.com . Проверено 27 июня 2017 г.
78. «Подтипирование пациентов с помощью сетей LSTM с учетом времени» (PDF) . msu.edu . Проверено 21 ноября 2018 г.
79. «Подтипирование пациентов через сети LSTM с учетом времени» . Кдд.орг . Проверено 24 мая 2018 г.
80. "СИГКДД". Кдд.орг . Проверено 24 мая 2018 г.

^[1]

дальнейшее чтение

• Моннер, Дерек Д.; Реджиа, Джеймс А. (2010). «Обобщенный LSTM-подобный алгоритм обучения для рекуррентных нейронных сетей второго порядка» (PDF) . Нейронные сети . 25 (1): 70–83. doi :10.1016/j.neunet.2011.07.003. ПМК  3217173 . PMID  21803542. Высокопроизводительное расширение LSTM, упрощенное до одного типа узла и способное обучать произвольные архитектуры.
• Герс, Феликс А.; Шраудольф, Никол Н.; Шмидхубер, Юрген (август 2002 г.). «Изучение точного времени с помощью рекуррентных сетей LSTM» (PDF) . Журнал исследований машинного обучения . 3 : 115–143.
• Герс, Феликс (2001). «Долгая краткосрочная память в рекуррентных нейронных сетях» (PDF) . Кандидатская диссертация .
• Абидогун, Олусола Аденийи (2005). Интеллектуальный анализ данных, обнаружение мошенничества и мобильные телекоммуникации: анализ шаблонов вызовов с помощью неконтролируемых нейронных сетей. Магистерская диссертация (Диссертация). Университет Западного Кейпа. hdl : 11394/249. Архивировано (PDF) из оригинала 22 мая 2012 г.
  • оригинал с двумя главами, посвященными объяснению рекуррентных нейронных сетей, особенно LSTM.

Внешние ссылки

• Рекуррентные нейронные сети с более чем 30 статьями LSTM группы Юргена Шмидхубера в IDSIA
• Дельфин, Р. (12 ноября 2021 г.). «Сети LSTM – подробное объяснение». Статья .
• Герта, Кристиан. «Как реализовать LSTM в Python с помощью Theano». Руководство .

1. Эбби Мартин, Эндрю Дж. Хилл, Константин М. Зайлер и Мехала Баламурали (2023) Автоматическое распознавание действий экскаватора и локализация необрезанного видео с использованием гибридных сетей LSTM-трансформатора, Международный журнал горного дела, мелиорации и окружающей среды, DOI: 10.1080/17480930.2023. 2290364