stringtranslate.com

Дэвид Вулперт

Дэвид Хилтон Вулперт — американский физик и ученый-компьютерщик . Он профессор Института Санта-Фе . Он автор трех книг, трех патентов, более ста рецензируемых статей и получил две награды. Его имя особенно связано с теоремой в информатике, известной как « бесплатный обед не бывает ».

Карьера

Дэвид Вулперт получил степень бакалавра по физике в Принстонском университете (1984), затем поступил в Калифорнийский университет в Санта-Барбаре , где получил степени магистра (1987) и доктора философии (1989).

В период с 1989 по 1997 год он занимался исследовательской деятельностью в Лос-Аламосской национальной лаборатории , IBM , TXN Inc. и Институте Санта-Фе.

С 1997 по 2011 год он работал старшим компьютерным ученым в исследовательском центре NASA Ames и стал приглашенным ученым в Институте Макса Планка . Он провел 2010-11 годы в качестве стипендиата Улама в Центре нелинейных исследований в Лос-Аламосе. [1]

Он присоединился к факультету Института Санта-Фе в 2011 году и стал там профессором в сентябре 2013 года. [2] Его исследовательские интересы включают статистику , теорию игр , приложения машинного обучения , теорию информации , методы оптимизации и теорию сложных систем .

«Бесплатного обеда не бывает»

Одно из самых обсуждаемых достижений Вулперта известно как «Никаких бесплатных обедов в поиске и оптимизации» . [3] [4] [5] [6] Согласно этой теореме, все алгоритмы поиска и оптимизации работают одинаково хорошо в среднем по всем проблемам в классе, с которыми они предназначены иметь дело. Однако в контексте машинного обучения теорема делает неявное искусственное предположение относительно отсутствия перекрытия между тренировочными и тестовыми данными, что редко бывает верно на практике. [7] В более общем смысле теорема справедлива только при определенных условиях, которые нечасто встречаются в реальной жизни, [8] [9] [10] хотя утверждается, что эти условия могут быть выполнены приблизительно. [11] Теорема относится к области компьютерных наук, но более слабая версия, известная как «фольклорная теорема об отсутствии бесплатных обедов », была использована Уильямом А. Дембски в поддержку разумного замысла . [12] Такое использование теоремы было отвергнуто самим Вулпертом [13] и другими. [14] [15]

Ограничение знаний

Вольперт формализовал аргумент, показывающий, что в принципе невозможно, чтобы какой-либо интеллект знал все о вселенной, частью которой он является, другими словами, опровергая « демона Лапласа ». [16] Это рассматривалось как расширение ограничительных теорем двадцатого века, таких как теоремы Гейзенберга и Гёделя . [17] В 2018 году Вольперт опубликовал доказательство, раскрывающее фундаментальные пределы научного знания. [18]

Машинное обучение

Вулперт внес много вкладов в ранние работы по машинному обучению . Они включают байесовскую оценку энтропии распределения , основанную на образцах распределения, [19] [20] опровержение формальных утверждений о том, что «процедура доказательства» эквивалентна иерархическому Байесу, [21] байесовскую альтернативу критерию хи-квадрат , [22] доказательство того, что не существует априорной вероятности , для которой процедура бутстрапа является оптимальной по Байесу, [23] и байесовские расширения разложения смещения и дисперсии. [24] Наиболее заметно, что он ввел « сложенное обобщение », [25] более сложную версию перекрестной проверки , которая использует удерживаемые / удерживаемые разделы набора данных для объединения алгоритмов обучения, а не просто выбора одного из них. Эта работа была развита Брейманом, Смитом, Кларком и многими другими, и в частности, два победителя конкурса Netflix 2009 года использовали многоуровневое обобщение (переименованное в «смешивание»). [26]

Академическое членство

Награды

Публикации (только книги)

Ссылки

  1. ^ "CNLS Ulam Scholar". Архивировано из оригинала 2014-10-26 . Получено 2014-09-22 .
  2. ^ Дэвид Вулперт, Институт Санта-Фе
  3. ^ Вулперт, Д. Х., Макреди, В. Г. (1995), Теоремы о бесплатном обеде для поиска отсутствуют , Технический отчет SFI-TR-95-02-010 (Институт Санта-Фе).
  4. ^ Wolpert DH, Macready WG (1997). "Теоремы о бесплатном обеде для оптимизации" (PDF) . IEEE Transactions on Evolutionary Computation . 1 : 67. CiteSeerX 10.1.1.138.6606 . doi :10.1109/4235.585893. S2CID  5553697. 
  5. ^ Вулперт, Дэвид (1996), Отсутствие априорных различий между алгоритмами обучения , Нейронные вычисления, стр. 1341–1390.
  6. ^ Дэвид Х. Вулперт, Что на самом деле означают теоремы об отсутствии бесплатных обедов; как улучшить алгоритмы поиска, рабочий документ SFI 2012-10-017, Институт Санта-Фе 2012
  7. ^ Бакстер, Джонатан (1999). «Некоторые наблюдения относительно ошибки вне обучающего набора (OTS)». arXiv : 1912.05915 .
  8. ^ Стритер, М. (2003) Два широких класса функций, для которых не выполняется результат «нет бесплатного обеда» , Генетические и эволюционные вычисления – GECCO 2003, стр. 1418–1430.
  9. ^ Igel C., Toussaint M. (2004). «Теорема об отсутствии бесплатного обеда для неравномерных распределений целевых функций». Журнал математического моделирования и алгоритмов . 3 (4): 313–322. CiteSeerX 10.1.1.71.9744 . doi :10.1023/b:jmma.0000049381.24625.f7. S2CID  195292166. 
  10. ^ Инглиш, Т. (2004), Больше никакого обеда: анализ последовательного поиска. Архивировано 01.05.2015 в Wayback Machine , Труды Конгресса IEEE 2004 года по эволюционным вычислениям, стр. 227–234.
  11. ^ Дросте С., Янсен Т., Вегенер И. (2002). «Оптимизация с помощью эвристики рандомизированного поиска: теорема (A)NFL, реалистичные сценарии и сложные функции». Теоретическая информатика . 287 (1): 131–144. doi :10.1016/s0304-3975(02)00094-4. hdl : 2003/5394 .{{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
  12. ^ Дембски, WA (2002) Нет бесплатного обеда , Rowman & Littlefield, ISBN 0-7425-1297-5 
  13. ^ Вольперт, Д. (2003), Трактовка теоремы об отсутствии бесплатных обедов Уильямом Дембски написана в желе, Talk Reason
  14. ^ Перах, М. (2003), Теоремы об отсутствии бесплатных обедов и их применение к эволюционным алгоритмам, Talk Reason .
  15. ↑ Ричард Вайн (2002), Не бесплатный обед, а коробка шоколадных конфет (раздел 5.3), Архив TalkOrigins
  16. ^ Дэвид Х. Вулперт (2008). « Физические пределы вывода ». Physica D. 237 ( 9): 1257–1281. arXiv : 0708.1362 . Bibcode : 2008PhyD..237.1257W. doi : 10.1016/j.physd.2008.03.040. S2CID  2033616.полный текст
  17. ↑ Грэм П. Коллинз, «В любой возможной Вселенной ни один интеллект не может знать всего», Scientific American , 16 февраля 2009 г.
  18. ^ "Новое доказательство раскрывает фундаментальные ограничения научного знания" . Получено 2018-10-04 .
  19. ^ Дэвид Х. Вулперт и Дэвид Вулф (1995). " Оценка функций вероятностных распределений по конечному набору выборок ". Physical Review E. 52 ( 6): 6841–6854. Bibcode : 1995PhRvE..52.6841W. CiteSeerX 10.1.1.55.7122 . doi : 10.1103/physreve.52.6841. PMID  9964199. S2CID  9795679. 
  20. ^ Дэвид Х. Вулперт и Саймон ДеДео (2013). «Оценка функций распределений, определенных в пространствах неизвестного размера». Энтропия . 15 (12): 4668–4699. arXiv : 1311.4548 . Bibcode : 2013Entrp..15.4668W. doi : 10.3390/e15114668 . S2CID  2737117.
  21. ^ Дэвид Х. Вольперт и Чарльз Э. Штраус (1996). « Что Байес говорит о процедуре доказательства ». Максимальная энтропия и байесовские методы 1993 .
  22. ^ Дэвид Х. Вулперт (1996). « Определение принадлежности двух наборов данных одному и тому же распределению ». Максимальная энтропия и байесовские методы 1995 .
  23. ^ Дэвид Х. Вулперт (1996). « Бутстрап несовместим с теорией вероятностей ». Максимальная энтропия и байесовские методы 1995 .
  24. ^ Дэвид Х. Вулперт (1997). « О смещении плюс дисперсия ». Neural Computation . 9 (6): 1211–1243. doi :10.1162/neco.1997.9.6.1211. S2CID  15418441.
  25. ^ Дэвид Х. Вулперт (1992). « Стековое обобщение ». Нейронные сети . 5 (2): 241–259. CiteSeerX 10.1.1.133.8090 . doi :10.1016/s0893-6080(05)80023-1. 
  26. ^ Джозеф Силл и др. (2008). « Линейное стекирование с весовыми характеристиками ». Physica D: Нелинейные явления . 237 (9): 1257–1281. arXiv : 0708.1362 . Bibcode : 2008PhyD..237.1257W. doi : 10.1016/j.physd.2008.03.040. S2CID  2033616.

Внешние ссылки