stringtranslate.com

Бернард Видроу

Бернард Видроу (родился 24 декабря 1929 года) — американский профессор электротехники в Стэнфордском университете . [1] Он является соавтором адаптивного алгоритма фильтра наименьших средних квадратов Видроу–Хоффа (LMS) вместе со своим тогдашним докторантом Тедом Хоффом . [2] Алгоритм LMS привёл к искусственным нейронным сетям ADALINE и MADALINE и к методу обратного распространения . Он внёс и другие фундаментальные вклады в развитие обработки сигналов в области геофизики, адаптивных антенн и адаптивной фильтрации . Краткое изложение его работы. [3]

Он является тезкой «правила дяди Берни»: размер обучающей выборки должен быть в 10 раз больше числа весов в сети. [4] [5]

Биография

Этот раздел основан на. [6] [7] [8]

Ранняя жизнь и образование

Он родился в Норвиче, штат Коннектикут . В молодости он интересовался электроникой. Во время Второй мировой войны он нашел статью о «Радио» в энциклопедии World Book и построил одноламповый радиоприемник.

Он поступил в MIT в 1947 году, изучал электротехнику и электронику и окончил в 1951 году. После этого он получил должность ассистента-исследователя в лаборатории цифровых компьютеров MIT в группе памяти на магнитных сердечниках . DCL была подразделением лаборатории сервомеханизмов, [9] которая создавала компьютер Whirlwind I. Опыт создания памяти на магнитных сердечниках сформировал его понимание компьютеров в «взгляд с точки зрения памяти», то есть он «ищет память и видит, что нужно подключить вокруг нее».

В своей магистерской диссертации (1953, под руководством Уильяма Линвилла ) он работал над повышением отношения сигнал/шум сенсорного сигнала памяти на магнитных сердечниках. В то время петли гистерезиса для памяти на магнитных сердечниках не были достаточно квадратными, что делало сенсорный сигнал шумным.

В своей докторской диссертации (1956, под руководством Уильяма Линвилла) он работал над статистической теорией шума квантования [10], вдохновленный работами Уильяма Линвилла и Дэвида Миддлтона. [11]

Во время обучения в докторантуре он изучил фильтр Винера у Ли Юк-винга . Чтобы разработать фильтр Винера, нужно знать статистику сигнала без шума, который нужно восстановить. Однако, если статистика сигнала без шума неизвестна, его невозможно разработать. Таким образом, Уидроу разработал адаптивный фильтр, который использует градиентный спуск для минимизации среднеквадратической ошибки. Он также посетил семинар в Дартмуте в 1956 году и был вдохновлен работой над ИИ.

Работа над ИИ

В 1959 году он получил своего первого аспиранта Теда Хоффа . Они улучшили предыдущий адаптивный фильтр так, чтобы он делал градиентный спуск для каждой точки данных, что привело к дельта-правилу и ADALINE . Чтобы избежать необходимости вручную настраивать веса в ADALINE, они изобрели мемистор, проводимость (веса ADALINE) которого представляли собой толщину меди на графите.

Во время встречи с Фрэнком Розенблаттом Видроу утверждал, что S-единицы в перцептронной машине не должны быть подключены случайным образом к A-единицам. Вместо этого S-единицы следует удалить, чтобы входы фотоэлементов напрямую вводились в A-единицы. Розенблатт возразил, что «человеческая сетчатка устроена таким образом».

Несмотря на многочисленные попытки, им так и не удалось разработать алгоритм обучения для многослойной нейронной сети. Дальше всего они продвинулись с Madaline Rule I (1962), в котором было два слоя веса. Первый был обучаемым, но второй был фиксированным. Видроу заявил, что их проблема была бы решена алгоритмом обратного распространения. «Это было задолго до Пола Вербоса . Обратное распространение для меня почти чудо».

Адаптивная фильтрация

Не имея возможности обучать многослойные нейронные сети, Видроу обратился к адаптивной фильтрации и адаптивной обработке сигналов, используя методы, основанные на фильтре LMS, для таких приложений, как адаптивная антенна [12], адаптивное шумоподавление [13] и приложения в медицине [14] .

На конференции 1985 года в Сноуберде, штат Юта , он заметил, что исследования нейронных сетей возвращаются, и он также узнал об алгоритме обратного распространения. После этого он вернулся к исследованиям нейронных сетей.

Публикации

Почести

В 2003 году он входил в состав Совета управляющих Международного общества нейронных сетей (INNIS).

Ссылки

  1. ^ ab "Веб-страница Уидроу в Стэнфорде". Лаборатория информационных систем, Электротехнический факультет, Стэнфордский университет.
  2. ^ abcdef Эндрю Голдштейн (1997). "Устная история Бернарда Видроу". IEEE Global History Network . IEEE . Получено 22 августа 2011 г.
  3. ^ Видроу, Б.; Лер, МА (сентябрь 1990 г.). «30 лет адаптивных нейронных сетей: персептрон, Мадалин и обратное распространение». Труды IEEE . 78 (9): 1415–1442. doi :10.1109/5.58323.
  4. ^ Морган, Н.; Бурлард, Х. (1989). «Обобщение и оценка параметров в сетях прямого распространения: некоторые эксперименты». Достижения в области нейронных систем обработки информации . 2. Морган-Кауфманн.
  5. ^ "(1960) Бернард Видроу и Марциан Э. Хофф, "Адаптивные схемы переключения", [i]1960 IRE WESCON Convention Record[/i], Нью-Йорк: IRE, стр. 96-104.", Neurocomputing, том 1 , The MIT Press, стр. 123–134, 1988-04-07, doi :10.7551/mitpress/4943.003.0012, ISBN 9780262267137, получено 2023-11-03
  6. ^ "Бернард Уидроу, устная история, проведенная в 1997 году Эндрю Голдштейном, Исторический центр IEEE, Пискатауэй, Нью-Джерси, США". ETHW . 1997 . Получено 2023-11-03 .
  7. ^ Андерсон, Джеймс А.; Розенфельд, Эдвард, ред. (2000). Говорящие сети: устная история нейронных сетей. MIT Press. doi :10.7551/mitpress/6626.003.0004. ISBN 978-0-262-26715-1.
  8. ^ Магун, Александр Б. (октябрь 2014 г.). «Неслучайная прогулка по переулкам памяти с Бернардом Уидроу». Труды IEEE . 102 (10): 1622–1629. doi :10.1109/JPROC.2014.2351193. ISSN  0018-9219.
  9. ^ "Коллекция: Массачусетский технологический институт, записи лаборатории цифровых компьютеров | MIT ArchivesSpace". archivesspace.mit.edu . Получено 2023-11-03 .
  10. ^ Видроу, Б. (1956). «Исследование грубого амплитудного квантования с помощью теории выборок Найквиста». Труды IRE по теории цепей . 3 (4): 266–276. doi :10.1109/TCT.1956.1086334. hdl : 1721.1/12139 . ISSN  0096-2007.
  11. ^ "Устная история: Дэвид Миддлтон (2000)". ETHW . 2021-01-26 . Получено 2023-11-03 .
  12. ^ Уидроу, Б.; Мэнти, П.Е.; Гриффитс, Л.Дж.; Гуд, Б.Б. (1967). «Адаптивные антенные системы». Труды IEEE . 55 (12): 2143–2159. doi :10.1109/PROC.1967.6092. ISSN  0018-9219.
  13. ^ Видроу, Б.; Гловер, Дж. Р.; Маккул, Дж. М.; Кауниц, Дж.; Уильямс, К. С.; Хирн, Р. Х.; Зейдлер, Дж. Р.; Юджин Донг, младший; Гудлин, Р. К. (1975). «Адаптивное шумоподавление: принципы и применение». Труды IEEE . 63 (12): 1692–1716. doi :10.1109/PROC.1975.10036. ISSN  0018-9219.
  14. ^ Yelderman, Mark; Widrow, Bernard; Cioffi, John M.; Hesler, Edward; Leddy, Jeffrey A. (июль 1983 г.). «Улучшение ЭКГ путем адаптивного устранения электрохирургических помех». Труды IEEE по биомедицинской инженерии . BME-30 (7): 392–398. doi :10.1109/TBME.1983.325039. ISSN  0018-9294.
  15. ^ Абенд, Кеннет (2002). «Медаль Бенджамина Франклина в области инженерии 2001 года, врученная Бернарду Видроу — Журнал Института Франклина — Том 339, Номер 3 (2002) — Научная библиотека — Yadda». Журнал Института Франклина . 3 (339): 283–294. doi :10.1016/S0016-0032(01)00044-8.