stringtranslate.com

Бернхард Шёлькопф

Бернхард Шёлькопф (родился 20 февраля 1968 года) — немецкий учёный-компьютерщик, известный своими работами в области машинного обучения, особенно по методам ядра и причинности . Он является директором Института интеллектуальных систем Макса Планка в Тюбингене , Германия , где он возглавляет кафедру эмпирического вывода. Он также является аффилированным профессором ETH Zürich , почётным профессором Тюбингенского университета и Берлинского технического университета , а также председателем Европейской лаборатории обучения и интеллектуальных систем (ELLIS).

Исследовать

Методы ядра

Шёлькопф разработал методы SVM , достигшие мирового рекорда производительности на тесте распознавания образов MNIST в то время. [2] С введением ядра PCA Шёлькопф и соавторы утверждали, что SVM являются особым случаем гораздо более широкого класса методов, и все алгоритмы, которые могут быть выражены в терминах скалярных произведений, могут быть обобщены на нелинейную настройку с помощью того, что известно как воспроизводящие ядра. [3] [4] [5] Другим важным наблюдением было то, что данные, на которых определяется ядро, не обязательно должны быть векторными, пока матрица Грама ядра является положительно определенной. [3] Оба понимания вместе привели к основанию области методов ядра , охватывающей SVM и многие другие алгоритмы. Методы ядра теперь являются учебными знаниями и одной из основных парадигм машинного обучения в исследованиях и приложениях.

Разрабатывая ядерный PCA, Шёлькопф расширил его для извлечения инвариантных признаков и проектирования инвариантных ядер [4] [6] [7] и показал, как рассматривать другие основные методы снижения размерности, такие как LLE и Isomap, как особые случаи . В дальнейшей работе с Алексом Смолой и другими он расширил метод SVM до регрессии и классификации с заранее заданной разреженностью [8] и оценкой квантиля/поддержки. [9] Он доказал теорему о репрезентаторе , подразумевающую, что SVM, ядерный PCA и большинство других ядерных алгоритмов, регуляризованных нормой в воспроизводящем ядерном гильбертовом пространстве , имеют решения, принимающие форму ядерных расширений на обучающих данных, тем самым сводя бесконечномерную задачу оптимизации к конечномерной. Он был одним из разработчиков методов встраивания ядер распределений для представления распределений вероятностей в гильбертовых пространствах [ 10] [11] [12] [13] со ссылками на дифракцию Фраунгофера [14], а также приложениями для проверки независимости. [15] [16] [17]

Причинность

Начиная с 2005 года, Шёлькопф обратил свое внимание на причинно-следственные связи . Причинно-следственные связи в мире порождают статистические зависимости как эпифеномены, но только последние используются популярными алгоритмами машинного обучения. Знание причинно-следственных структур и механизмов полезно, поскольку позволяет нам предсказывать не только будущие данные, поступающие из того же источника, но и эффект вмешательств в систему, а также облегчает перенос обнаруженных закономерностей в новые ситуации. [18]

Шёлькопф и его коллеги рассмотрели (и в некоторых случаях решили) проблему обнаружения причин для двухпеременных [19] [20] [21] [22] [23] и связали причинность со сложностью Колмогорова . [24]

Около 2010 года Шёлькопф начал изучать, как использовать причинность для машинного обучения, используя предположения о независимости механизмов и инвариантности. [25] Его ранние работы по причинному обучению были представлены более широкой аудитории машинного обучения во время его лекции Познера [26] на NeurIPS 2011, а также в программном докладе на ICML 2017. [27] Он проанализировал, как использовать базовые причинные структуры, чтобы сделать методы машинного обучения более надежными в отношении сдвигов распределения [18] [28] [29] и систематических ошибок, [30] последнее привело к открытию ряда новых экзопланет [31], включая K2-18b , которая, как впоследствии было обнаружено, содержит водяной пар в своей атмосфере, что является первым случаем экзопланеты в обитаемой зоне .

Образование и трудоустройство

Шёлькопф изучал математику, физику и философию в Тюбингене и Лондоне. Его поддерживал Studienstiftung , и он выиграл премию памяти Лайонела Купера за лучшую степень магистра наук в области математики в Лондонском университете . [32] Он получил диплом по физике, а затем перешел в Bell Labs в Нью-Джерси, где работал с Владимиром Вапником , который стал соруководителем его докторской диссертации в Техническом университете Берлина (со Штефаном Йенихеном). Его диссертация, защищенная в 1997 году, получила ежегодную премию Немецкой ассоциации информатики . [33] В 2001 году, после работы в Берлине, Кембридже и Нью-Йорке, он основал Отдел эмпирического вывода в Институте биологической кибернетики Общества Макса Планка , который превратился в ведущий центр исследований в области машинного обучения. В 2011 году он стал директором-основателем Института интеллектуальных систем Общества Макса Планка . [34] [35]

Вместе с Алексом Смолой Шёлькопф стал соучредителем серии летних школ машинного обучения. [36] Он также стал соучредителем программы докторантуры Кембридж-Тюбинген [37] и Центра систем обучения Макса Планка-ETH. [38] В 2016 году он стал соучредителем исследовательского консорциума Cyber ​​Valley. [39] Он участвовал в Глобальной инициативе IEEE по «Этически согласованному проектированию». [40]

Шёлькопф является соредактором главного редактора журнала Journal of Machine Learning Research , журнала, который он помог основать, став частью массовой отставки редакционной коллегии Machine Learning (журнал) . Он входит в число самых цитируемых ученых-компьютерщиков в мире. [41] Среди выпускников его лаборатории — Ульрике фон Люксбург , Карл Расмуссен, Маттиас Хайн, Артур Греттон, Гуннар Рэтч, Маттиас Бетге, Стефани Йегелька, Джейсон Уэстон, Оливье Буске, Оливье Шапель, Хоакин Кинонеро-Кандела и Себастьян Новозин. [42]

По состоянию на конец 2023 года Шёлькопф также является научным консультантом французской исследовательской группы Kyutai, которую финансируют Ксавье Ниль , Родольф Сааде , Эрик Шмидт и другие. [43]

Награды

Среди наград Шёлькопфа — премия Мильнера Королевского общества и, совместно с Изабель Гийон и Владимиром Вапником, премия BBVA Foundation Frontiers of Knowledge в категории «Информационные и коммуникационные технологии». Он был первым ученым, работающим в Европе, получившим эту награду. [44]

Ссылки

  1. ^ «Премия за причинно-следственную связь в статистическом образовании». www.amstat.org .
  2. ^ Декост, Деннис; Шёлькопф, Бернхард (1 января 2002 г.). «Обучение инвариантных опорных векторных машин». Машинное обучение . 46 (1): 161–190. doi :10.1023/A:1012454411458. hdl : 11858/00-001M-0000-0013-E06A-A . S2CID  85843 – через Springer Link.
  3. ^ аб Шёлкопф, Бернхард (1997). Поддержка векторного обучения . GMD-Берихте. Мюнхен Вена: Ольденбург. ISBN 978-3-486-24632-2.
  4. ^ аб Шёлкопф, Бернхард; Смола, Александр; Мюллер, Клаус-Роберт (1 июля 1998 г.). «Анализ нелинейных компонентов как проблема собственных значений ядра». Нейронные вычисления . 10 (5): 1299–1319. дои : 10.1162/089976698300017467. ISSN  0899-7667. S2CID  6674407.
  5. ^ Берджес, Кристофер Дж. К. (1 июня 1998 г.). «Учебное пособие по опорным векторным машинам для распознавания образов». Data Mining and Knowledge Discovery . 2 (2): 121–167. doi :10.1023/A:1009715923555. S2CID  221627509 – через Springer Link.
  6. ^ Schölkopf, P. Simard, AJ Smola и V. Vapnik. Предварительные знания в опорных векторных ядрах. В M. Jordan, M. Kearns и S. Solla , редакторы, Advances in Neural Information Processing Systems 10, страницы 640–646, Cambridge, MA, USA, 1998d. MIT Press
  7. ^ Шапель и Б. Шёлькопф. Включение инвариантов в нелинейные SVM. В TG Dietterich, S. Becker и Z. Ghahramani, редакторы, Advances in Neural Information Processing Systems 14, страницы 609–616, Кембридж, Массачусетс, США, 2002. MIT Press
  8. ^ B. Schölkopf, AJ Smola, RC Williamson и PL Bartlett. Новые алгоритмы опорных векторов. Neural Computation, 12(5):1207–1245, 2000a
  9. ^ B. Schölkopf, JC Platt, J. Shawe-Taylor, AJ Smola и RC Williamson. Оценка поддержки многомерного распределения. Neural Computation, 13(7):1443–1471, 2001b
  10. ^ A. Gretton, K. Borgwardt, M. Rasch, B. Schölkopf и A. Smola. Метод ядра для задачи с двумя выборками. Advances in Neural Information Processing Systems 19: 513—520, 2007
  11. ^ AJ Smola и A. Gretton и L. Song и B. Schölkopf. Вложение в гильбертово пространство для распределений. Алгоритмическая теория обучения: 18-я международная конференция: 13—31, 2007
  12. ^ Б. Шриперумбудур, А. Греттон, К. Фукумизу, Б. Шёлькопф и Г. Ланкриет. Вложения и метрики в пространстве Гильберта для вероятностных мер. Журнал исследований машинного обучения, 11: 1517—1561, 2010
  13. ^ A. Gretton, K. Borgwardt, M. Rasch, B. Schölkopf и AJ Smola. Тест ядра с двумя выборками. Журнал исследований машинного обучения, 13: 723—773, 2012
  14. ^ S. Harmeling, M. Hirsch и B. Schölkopf. О связи между картами среднего ядра и дифракцией Фраунгофера с приложением к сверхразрешению за пределами дифракционного предела. В Computer Vision and Pattern Recognition (CVPR), страницы 1083–1090. IEEE, 2013
  15. ^ A. Gretton, R. Herbrich, AJ Smola, O. Bousquet и B. Schölkopf. Методы ядра для измерения независимости. Журнал исследований машинного обучения, 6:2075–2129, 2005a
  16. ^ A. Gretton, O. Bousquet, AJ Smola и B. Schölkopf. Измерение статистической зависимости с помощью норм Гильберта-Шмидта. Алгоритмическая теория обучения: 16-я международная конференция, 2005b
  17. ^ A. Gretton, K. Fukumizu, CH Teo, L. Song, B. Schölkopf и AJ Smola. Ядерный статистический тест независимости. Достижения в области нейронных систем обработки информации 20, 2007
  18. ^ ab B. Schölkopf, D. Janzing, J. Peters, E. Sgouritsa, K. Zhang и J. Mooij. О каузальном и антикаузальном обучении. В J. Langford и J. Pineau, редакторы, Труды 29-й Международной конференции по машинному обучению (ICML), страницы 1255–1262, Нью-Йорк, США, 2012. Omnipress
  19. ^ PO Hoyer, D. Janzing, JM Mooij, J. Peters и B. Schölkopf. Нелинейное причинное обнаружение с использованием моделей аддитивного шума. В D. Koller, D. Schuurmans, Y. Bengio и L. Bottou, редакторы, Advances in Neural Information Processing Systems 21, страницы 689–696, Red Hook, NY, USA, 2009. Curran
  20. ^ D. Janzing, P. Hoyer и B. Schölkopf. Telling cause from effect based on high-dimensional observations. В J. Furnkranz и T. Joachims, editors, Proceedings of the 27th International Conference on Machine Learning, pages 479–486, Madison, WI, USA, 2010. International Machine Learning Society
  21. ^ JM Mooij, J. Peters, D. Janzing, J. Zscheischler и B. Schölkopf. Различение причины и следствия с использованием данных наблюдений: методы и контрольные показатели. Журнал исследований машинного обучения, 17(32):1–102, 2016
  22. ^ J. Peters, JM. Mooij, D. Janzing и B. Schölkopf. Причинно-следственное обнаружение с использованием моделей непрерывного аддитивного шума. Журнал исследований машинного обучения, 15:2009–2053, 2014
  23. ^ P. Daniusis, D. Janzing, J. Mooij, J. Zscheischler, B. Steudel, K. Zhang и B. Schölkopf. Вывод детерминированных причинно-следственных связей. В P. Grünwald и P. Spirtes, редакторы, 26-я конференция по неопределенности в искусственном интеллекте, страницы 143–150, Corvallis, OR, 2010. AUAI Press. Премия за лучшую студенческую работу
  24. ^ Janzing, Dominik; Schölkopf, Bernhard (6 октября 2010 г.). «Причинно-следственный вывод с использованием алгоритмического условия Маркова». IEEE Transactions on Information Theory . 56 (10): 5168–5194. arXiv : 0804.3678 . doi : 10.1109/TIT.2010.2060095. S2CID  11867432 – через IEEE Xplore.
  25. ^ Шёлькопф, Бернхард; Янцинг, Доминик; Петерс, Йонас; Сгурица, Элени; Чжан, Кун (27 июня 2012 г.). «О каузальном и антикаузальном обучении» (PDF) . Международная конференция по машинному обучению .
  26. ^ «От ядер к причинно-следственной связи». videolectures.net .
  27. ^ «Причинное обучение --- Бернхард Шёлькопф». 15 октября 2017 г. – через Vimeo.
  28. ^ K. Zhang, B. Schölkopf, K. Muandet и Z. Wang. Адаптация домена при целевом и условном сдвиге. В S. Dasgupta и D. McAllester, редакторы, Труды 30-й Международной конференции по машинному обучению, том 28 Трудов семинара и конференции JMLR, страницы 819–827, 2013
  29. ^ Schölkopf, Bernhard (6 февраля 2015 г.). «Учимся видеть и действовать». Nature . 518 (7540): 486–487. doi :10.1038/518486a. PMID  25719660. S2CID  4461791 – через www.nature.com.
  30. ^ Schölkopf, Bernhard; Hogg, David W.; Wang, Dun; Foreman-Mackey, Daniel; Janzing, Dominik; Simon-Gabriel, Carl-Johann; Peters, Jonas (5 июля 2016 г.). «Моделирование смешивающих факторов с помощью регрессии полусибсов». Труды Национальной академии наук . 113 (27): 7391–7398. Bibcode : 2016PNAS..113.7391S. doi : 10.1073/pnas.1511656113 . PMC 4941423. PMID  27382154 . 
  31. ^ D. Foreman-Mackey, BT Montet, DW Hogg, TD Morton, D. Wang и B. Schölkopf. Систематический поиск транзитных планет в данных K2. The Astrophysical Journal, 806(2), 2015
  32. ^ "Биографическая справка профессора доктора Бернхарда Шёлкопфа" (PDF) . Леопольдина (на немецком языке).
  33. ^ "TU Berlin - Medieninformation № 209 - 17 сентября 1998 г." archive.pressestelle.tu-berlin.de .
  34. ^ «История института». www.kyb.tuebingen.mpg.de .
  35. ^ «Рецепты медицины завтрашнего дня» (PDF) . Научный журнал Общества Макса Планка . 2011.
  36. ^ «Летние школы машинного обучения – MLSS». mlss.cc .
  37. ^ "Кембриджская группа машинного обучения". Кембриджская группа машинного обучения .
  38. ^ Уильямс, Джонатан. «Центр систем обучения Макса Планка ETH». cls-staging.is.localnet .
  39. ^ «Сервис». Баден-Вюртемберг.де . 15 декабря 2016 г.
  40. ^ «Этически согласованный дизайн» (PDF) . IEEE . 13 декабря 2016 г.
  41. ^ «Ведущие мировые ученые в области компьютерных наук: рейтинг H-Index в области компьютерных наук». www.guide2research.com .
  42. ^ "Выпускники". people.tuebingen.mpg.de .
  43. ^ Дилле, Ромен (17 ноября 2023 г.). «Kyutai — французская исследовательская лаборатория искусственного интеллекта с бюджетом в 330 миллионов долларов, которая сделает все открытым исходным кодом». TechCrunch . Получено 16 июня 2024 г.
  44. ^ Уильямс, Джон. «Бернхард Шёлькопф получает премию Frontiers of Knowledge Award | Эмпирический вывод». Институт интеллектуальных систем Общества Макса Планка .

Внешние ссылки

У Схолии есть профиль автора Бернхарда Шелькопфа .