stringtranslate.com

Зепп Хохрайтер

Йозеф «Зепп» Хохрайтер (родился 14 февраля 1967 года) — немецкий учёный-компьютерщик . С 2018 года он возглавляет Институт машинного обучения в Университете имени Иоганна Кеплера в Линце после того, как с 2006 по 2018 год возглавлял Институт биоинформатики. В 2017 году он стал руководителем лаборатории искусственного интеллекта в Технологическом институте Линца (LIT). Хохрайтер также является одним из основателей Института передовых исследований в области искусственного интеллекта (IARAI). [1] Ранее он работал в Техническом университете Берлина , Университете Колорадо в Боулдере и Техническом университете Мюнхена . Он является председателем конференции «Критическая оценка анализа массовых данных» (CAMDA). [2]

Хохрайтер внес вклад в области машинного обучения , глубокого обучения и биоинформатики , в частности, в разработку архитектуры нейронной сети с долговременной краткосрочной памятью (LSTM) [3] [4] , а также в метаобучение [5] , обучение с подкреплением [6] [7] и бикластеризацию с применением к данным биоинформатики .

Научная карьера

Долговременная кратковременная память (LSTM)

Хохрайтер разработал архитектуру нейронной сети с долговременной краткосрочной памятью (LSTM) в своей дипломной работе в 1991 году, что привело к основной публикации в 1997 году . [3] [4] LSTM преодолевает проблему численной нестабильности при обучении рекуррентных нейронных сетей (RNN), которая не позволяет им обучаться на длинных последовательностях ( исчезающий или взрывной градиент ). [3] [8] [9] В 2007 году Хохрайтер и другие успешно применили LSTM с оптимизированной архитектурой для очень быстрого обнаружения гомологии белков без необходимости выравнивания последовательностей . [10] Сети LSTM также использовались в Google Voice для транскрипции [11] и поиска, [12] и в приложении чата Google Allo для генерации предложений ответов с малой задержкой. [13]

Другие вклады в машинное обучение

Помимо LSTM, Хохрайтер разработал «Плоский минимальный поиск» для повышения обобщения нейронных сетей [14] и ввел сети с ректифицированными факторами (RFN) для разреженного кодирования [15] [16] , которые применялись в биоинформатике и генетике. [17] Хохрайтер ввел современные сети Хопфилда с непрерывными состояниями [18] и применил их к задаче классификации иммунного репертуара. [19]

Хохрайтер работал с Юргеном Шмидхубером в области обучения с подкреплением в системах актер-критик, которые обучаются с помощью «обратного распространения через модель». [6] [20]

Хохрайтер принимал участие в разработке методов факторного анализа с применением в биоинформатике, включая FABIA для бикластеризации [ 21], HapFABIA для обнаружения коротких сегментов идентичности по происхождению [22] и FARMS для предварительной обработки и суммирования высокоплотных олигонуклеотидных ДНК-микрочипов для анализа экспрессии генов РНК [23] .

В 2006 году Хохрайтер и другие предложили расширение машины опорных векторов (SVM), «Машину потенциальных опорных векторов» (PSVM), [24], которая может быть применена к неквадратным матрицам ядра и может использоваться с ядрами, которые не являются положительно определенными. Хохрайтер и его коллеги применили PSVM к выбору признаков , включая выбор генов для данных микроматриц. [25] [26] [27]

Награды

В 2021 году Хохрайтеру была присуждена премия IEEE CIS Neural Networks Pioneer Prize за его работу над LSTM. [28]

Ссылки

  1. ^ "IARAI – ИНСТИТУТ ПЕРЕДОВЫХ ИССЛЕДОВАНИЙ В ОБЛАСТИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА". www.iarai.ac.at . Получено 13.02.2021 .
  2. ^ "CAMDA 2021". 20-я Международная конференция по критической оценке анализа больших объемов данных . Получено 13 февраля 2021 г.
  3. ^ abc Хохрейтер, С. (1991). Untersuruchungen zu dynamischen Neuronalen Netzen (PDF) (дипломная работа). Технический университет Мюнхена, Институт компьютерных наук.
  4. ^ ab Hochreiter, S.; Schmidhuber, J. (1997). «Долгая кратковременная память». Neural Computation . 9 (8): 1735–1780. doi :10.1162/neco.1997.9.8.1735. PMID  9377276. S2CID  1915014.
  5. ^ Hochreiter, S.; Younger, AS; Conwell, PR (2001). «Обучение обучению с использованием градиентного спуска». Искусственные нейронные сети — ICANN 2001 (PDF) . Конспект лекций по информатике. Том 2130. С. 87–94. CiteSeerX 10.1.1.5.323 . doi :10.1007/3-540-44668-0_13. ISBN  978-3-540-42486-4. ISSN  0302-9743. S2CID  52872549.
  6. ^ аб Хохрайтер, С. (1991). Implementierung und Anwendung eines Neuronalen Echtzeit-Lernalgorithmus für reaktive Umgebungen (PDF) (Отчет). Технический университет Мюнхена, Институт компьютерных наук.
  7. ^ Архона-Медина, JA; Гиллхофер, М.; Видрич, М.; Унтертинер, Т.; Хохрейтер, С. (2018). «РУЛЬ: Разложение возврата для отложенных вознаграждений». arXiv : 1806.07857 [cs.LG].
  8. ^ Хохрайтер, С. (1998). «Проблема исчезающего градиента во время обучения рекуррентных нейронных сетей и решения проблем». Международный журнал неопределенности, нечеткости и систем, основанных на знаниях . 06 (2): 107–116. doi :10.1142/S0218488598000094. ISSN  0218-4885. S2CID  18452318.
  9. ^ Hochreiter, S.; Bengio, Y.; Frasconi, P.; Schmidhuber, J. (2000). Kolen, JF; Kremer, SC (ред.). Градиентный поток в рекуррентных сетях: сложность изучения долгосрочных зависимостей . Полевое руководство по динамическим рекуррентным сетям. Нью-Йорк: IEEE Press. стр. 237–244. CiteSeerX 10.1.1.24.7321 . 
  10. ^ Хохрайтер, С.; Хойзель, М.; Обермайер, К. (2007). «Быстрое определение гомологии белков на основе моделей без выравнивания». Биоинформатика . 23 (14): 1728–1736. doi : 10.1093/bioinformatics/btm247 . PMID  17488755.
  11. ^ «Нейронные сети, лежащие в основе транскрипции Google Voice». 11 августа 2015 г.
  12. ^ "Голосовой поиск Google: быстрее и точнее". 24 сентября 2015 г.
  13. ^ Khaitan, Pranav (18 мая 2016 г.). «Общайтесь умнее с Allo». Блог Google AI . Получено 20 октября 2021 г.
  14. ^ Хохрейтер, С.; Шмидхубер, Дж. (1997). «Плоские минимумы». Нейронные вычисления . 9 (1): 1–42. дои : 10.1162/neco.1997.9.1.1. PMID  9117894. S2CID  733161.
  15. ^ Клеверт, Д.-А.; Майр, А.; Унтертинер, Т.; Хохрайтер, С. (2015). «Сети выпрямленных факторов». arXiv : 1502.06464v2 [cs.LG].
  16. ^ Клеверт, Д.-А.; Майр, А.; Унтертинер, Т.; Хохрайтер, С. (2015). Сети с ректифицированными факторами . Достижения в области нейронных систем обработки информации 29. arXiv : 1502.06464 .
  17. ^ Клеверт, Д.-А.; Унтертинер, Т.; Повысил, Г.; Хохрайтер, С. (2017). «Сети с выпрямленными факторами для бикластеризации омиксных данных». Биоинформатика . 33 (14): i59–i66. doi :10.1093/bioinformatics/btx226. PMC 5870657. PMID  28881961 . 
  18. ^ Рамзауэр, Х.; Шефль, Б.; Ленер, Дж.; Зейдль, П.; Видрич, М.; Грубер, Л.; Хольцляйтнер, М.; Павлович, М.; Сандве, ГК; Грейфф, В.; Крейл, Д.; Копп, М.; Кламбауэр, Г.; Брандстеттер, Дж.; Хохрейтер, С. (2020). «Hopfield Networks — это все, что вам нужно». arXiv : 2008.02217 [cs.NE].
  19. ^ Видрич, М.; Шефль, Б.; Рамзауэр, Х.; Павлович, М.; Грубер, Л.; Хольцляйтнер, М.; Брандстеттер, Дж.; Сандве, ГК; Грейфф, В.; Хохрейтер, С.; Кламбауэр, Г. (2020). «Современные сети Хопфилда и внимание к классификации иммунного репертуара». arXiv : 2007.13505 [cs.LG].
  20. ^ Шмидхубер, Дж. (1990). Делаем мир дифференцируемым: об использовании полностью рекуррентных самоконтролируемых нейронных сетей для динамического обучения с подкреплением и планирования в нестационарных средах (PDF) (Технический отчет). Мюнхенский технический университет, Институт компьютерных наук. FKI-126-90 (пересмотренный).
  21. ^ Хохрейтер, Зепп; Боденхофер, Ульрих; Хойзель, Мартин; Майр, Андреас; Миттерекер, Андреас; Касим, Адетайо; Хамиякова Татьяна; Ван Санден, Сьюзи; Лин, Дэн; Таллоен, Виллем; Бийненс, Люк; Гельманн, Хинрих WH; Шкеди, Зив; Клеверт, Джорк-Арне (15 июня 2010 г.). «ФАБИЯ: факторный анализ для приобретения бикластеров». Биоинформатика . 26 (12): 1520–1527. doi : 10.1093/биоинформатика/btq227. ПМК 2881408 . ПМИД  20418340. 
  22. ^ Хохрайтер, С. (2013). "HapFABIA: Идентификация очень коротких сегментов идентичности по происхождению, характеризующихся редкими вариантами в больших данных секвенирования". Nucleic Acids Research . 41 (22): e202. doi :10.1093/nar/gkt1013. PMC 3905877. PMID 24174545  . 
  23. ^ Хохрайтер, С.; Клеверт, Д.-А.; Обермайер, К. (2006). «Новый метод резюмирования данных на уровне зонда affymetrix». Биоинформатика . 22 (8): 943–949. doi : 10.1093/bioinformatics/btl033 . PMID  16473874.
  24. ^ Хохрайтер, С.; Обермайер, К. (2006). «Машины опорных векторов для диадических данных». Neural Computation . 18 (6): 1472–1510. CiteSeerX 10.1.1.228.5244 . doi :10.1162/neco.2006.18.6.1472. PMID  16764511. S2CID  26201227. 
  25. ^ Хохрайтер, С.; Обермайер, К. (2006). Нелинейный выбор признаков с потенциальной опорной векторной машиной . Извлечение признаков, исследования нечеткости и мягкие вычисления. стр. 419–438. doi :10.1007/978-3-540-35488-8_20. ISBN 978-3-540-35487-1.
  26. ^ Хохрайтер, С.; Обермайер, К. (2003). «Классификация и выбор признаков в матричных данных с применением к анализу экспрессии генов». 54-я сессия Международного статистического института . Архивировано из оригинала 25.03.2012.
  27. ^ Хохрейтер, С.; Обермайер, К. (2004). «Отбор генов для данных микрочипов». Ядерные методы в вычислительной биологии . Массачусетский технологический институт Пресс: 319–355. дои : 10.7551/mitpress/4057.003.0020. ISBN 978-0-262-25692-6. Архивировано из оригинала 2012-03-25.
  28. ^ "Sepp Hochreiter receives IEEE CIS Neural Networks Pioneer Award 2021 - IARAI". www.iarai.ac.at . 24 июля 2020 г. . Получено 3 июня 2021 г. .

Внешние ссылки