Бернард Уидроу

Бернард Уидроу (родился 24 декабря 1929 года) — американский профессор электротехники в Стэнфордском университете . ^[1] Он является соавтором адаптивного алгоритма фильтра наименьших квадратов Уидроу-Хоффа (LMS) вместе со своим тогдашним докторантом Тедом Хоффом . ^[2] Алгоритм LMS привел к созданию искусственных нейронных сетей ADALINE и MADALINE , а также к методу обратного распространения ошибки . Он внес и другой фундаментальный вклад в развитие обработки сигналов в области геофизики, адаптивных антенн и адаптивной фильтрации . Краткое содержание его работы. ^[3]

Он является тезкой «правила дяди Берни»: размер обучающей выборки должен в 10 раз превышать количество весов в сети. ^{[4] [5]}

биография

Этот раздел основан на. ^{[6] [7]}

ранняя жизнь и образование

Он родился в Норидже, штат Коннектикут . В молодости он интересовался электроникой. Во время Второй мировой войны он нашел статью «Радио» в энциклопедии World Book и построил одноламповое радио.

Он поступил в Массачусетский технологический институт в 1947 году, изучал электротехнику и электронику и окончил его в 1951 году. После этого он получил должность научного сотрудника в Лаборатории цифровых компьютеров Массачусетского технологического института, в группе магнитных сердечников памяти . DCL была подразделением Лаборатории сервомеханизмов, ^[8] которая создавала компьютер Whirlwind I. Опыт создания памяти на магнитных сердечниках сформировал его понимание компьютеров как «взгляда памяти», то есть он «ищет память и видит, что нужно соединить вокруг нее».

В своей магистерской диссертации (1953 г., под руководством Уильяма Линвилла ) он работал над повышением отношения сигнал/шум считывающего сигнала памяти на магнитных сердечниках. В то время петли гистерезиса для памяти на магнитных сердечниках не были достаточно прямоугольными, что делало сигнал измерения зашумленным.

Для получения докторской степени (1956 г., под руководством Уильяма Линвилла) он работал над статистической теорией шума квантования , ^[9] вдохновленной работами Уильяма Линвилла и Дэвида Миддлтона. ^[10]

Во время учебы в аспирантуре он изучил фильтр Винера у Ли Юк-вина . Чтобы спроектировать фильтр Винера, необходимо знать статистику бесшумного сигнала, который необходимо восстановить. Однако, если статистика бесшумного сигнала неизвестна, это невозможно спроектировать. Таким образом, Уидроу разработал адаптивный фильтр, который использует градиентный спуск для минимизации среднеквадратической ошибки. Он также посетил семинар в Дартмуте в 1956 году и был вдохновлен работой над искусственным интеллектом.

Работа над ИИ

В 1959 году у него появился первый аспирант Тед Хофф . Они улучшили предыдущий адаптивный фильтр, чтобы он выполнял градиентный спуск для каждой точки данных, что привело к появлению дельта-правила и ADALINE . Чтобы избежать необходимости вручную настраивать гири в ADALINE, они изобрели мемистор, проводимость которого (гири ADALINE) равна толщине меди на графите.

Во время встречи с Фрэнком Розенблаттом Уидроу утверждал, что S-единицы в перцептронной машине не должны случайным образом соединяться с A-единицами. Вместо этого S-блоки следует удалить, чтобы входы фотоэлементов напрямую вводились в A-блоки. Розенблатт возразил, что «человеческая сетчатка устроена именно так».

Несмотря на множество попыток, им так и не удалось разработать алгоритм обучения многослойной нейронной сети. Дальше всего они продвинулись с помощью Madaline Rule I (1962), в котором было два весовых слоя. Первое можно было тренировать, а второе можно было исправить. Уидроу заявил, что их проблему можно было бы решить с помощью алгоритма обратного распространения ошибки. «Это было задолго до Пола Вербоса . Для меня бэкпроп — это почти чудо».

Адаптивная фильтрация

Не имея возможности обучать многослойные нейронные сети, Уидроу обратился к адаптивной фильтрации и адаптивной обработке сигналов, используя методы, основанные на LMS-фильтре, для таких приложений, как адаптивная антенна, ^[11] адаптивное шумоподавление, ^[12] и приложения в медицине. ^[13]

На конференции 1985 года в Сноуберде, штат Юта , он заметил, что исследования нейронных сетей возвращаются, а также узнал об алгоритме обратного распространения ошибки. После этого он вернулся к исследованиям нейронных сетей.

Публикации

• 1965 «Критическое сравнение двух видов адаптивных классификационных сетей», К. Стейнбух и Б. Уидроу, Транзакции IEEE на электронных компьютерах , стр. 737–740.
• 1985 Б. Уидроу и С.Д. Стернс. Адаптивная обработка сигналов. Нью-Джерси: Prentice-Hall, Inc., 1985.
• 1994 Б. Уидроу и Э. Валах. Адаптивное обратное управление. Нью-Джерси: Prentice-Hall, Inc., 1994.
• 2008 Б. Уидроу и И. Коллар. Шум квантования: ошибка округления в цифровых вычислениях, обработке сигналов, управлении и связи. Издательство Кембриджского университета, 2008.

Почести

• Избранный член IEEE , 1976 г. ^[2]
• Избранный член AAAS, 1980 г. ^[2]
• Медаль столетия IEEE , 1984 г. ^[2]
• Медаль Александра Грэма Белла IEEE , 1986 г. ^[2]
• Медаль пионера нейронных сетей IEEE, 1991 г. ^[2]
• Введен в Национальную инженерную академию , 1995 г.
• Премия Общества обработки сигналов IEEE, 1 999 г.
• Медаль тысячелетия IEEE, 2000 г.
• Медаль Бенджамина Франклина , 2001 г. ^[14]
• Член правления Международного общества нейронных сетей (INNIS), 2004 г.

В 2003 году он был членом совета управляющих Международного общества нейронных сетей (INNIS).

Рекомендации

1. "Веб-страница Видроу в Стэнфорде" . Лаборатория информационных систем, факультет электротехники, Стэнфордский университет.
2. Эндрю Гольдштейн (1997). «Устная история Бернарда Уидроу». Сеть глобальной истории IEEE . ИИЭЭ . Проверено 22 августа 2011 г.
3. Уидроу, Б.; Лер, Массачусетс (сентябрь 1990 г.). «30 лет адаптивных нейронных сетей: персептрон, Мадалин и обратное распространение ошибки». Труды IEEE . 78 (9): 1415–1442. дои : 10.1109/5.58323.
4. Морган, Н.; Бурлард, Х. (1989). «Обобщение и оценка параметров в сетях прямого распространения: некоторые эксперименты». Достижения в области нейронных систем обработки информации . Морган-Кауфманн. 2 .
5. "(1960) Бернард Уидроу и Марсиан Э. Хофф, "Адаптивные коммутационные схемы", [i] 1960 IRE WESCON Convention Record [/i], Нью-Йорк: IRE, стр. 96-104.", Neurocomputing, Volume 1 , The MIT Press, стр. 123–134, 7 апреля 1988 г., doi : 10.7551/mitpress/4943.003.0012, ISBN. 9780262267137, получено 3 ноября 2023 г.
6. «Бернард Уидроу, устная история, проведенная в 1997 году Эндрю Гольдштейном, Исторический центр IEEE, Пискатауэй, Нью-Джерси, США» . ЭТВ . 1997 год . Проверено 3 ноября 2023 г.
7. Андерсон, Джеймс А.; Розенфельд, Эдвард, ред. (2000). Говорящие сети: устная история нейронных сетей. Массачусетский технологический институт Пресс. дои : 10.7551/mitpress/6626.003.0004. ISBN 978-0-262-26715-1.
8. «Коллекция: Массачусетский технологический институт, записи лаборатории цифровых компьютеров | MIT ArchivesSpace» . archivesspace.mit.edu . Проверено 3 ноября 2023 г.
9. Уидроу, Б. (1956). «Исследование грубого амплитудного квантования с помощью теории выборки Найквиста». IRE Транзакции по теории цепей . 3 (4): 266–276. дои : 10.1109/TCT.1956.1086334. hdl : 1721.1/12139 . ISSN  0096-2007.
10. "Устная история: Дэвид Миддлтон (2000)" . ЭТВ . 26 января 2021 г. Проверено 3 ноября 2023 г.
11. Уидроу, Б.; Манти, ЧП; Гриффитс, LJ; Гуд, BB (1967). «Адаптивные антенные системы». Труды IEEE . 55 (12): 2143–2159. дои : 10.1109/PROC.1967.6092. ISSN  0018-9219.
12. Уидроу, Б.; Гловер-младший; МакКул, Дж. М.; Кауниц, Дж.; Уильямс, CS; Хирн, Р.Х.; Зейдлер-младший; Юджин Донг-младший; Гудлин, Р.К. (1975). «Адаптивное шумоподавление: принципы и применение». Труды IEEE . 63 (12): 1692–1716. дои : 10.1109/PROC.1975.10036. ISSN  0018-9219.
13. Йелдерман, Марк; Уидроу, Бернард; Чиоффи, Джон М.; Хеслер, Эдвард; Ледди, Джеффри А. (июль 1983 г.). «Улучшение ЭКГ за счет адаптивной отмены электрохирургического вмешательства». Транзакции IEEE по биомедицинской инженерии . БМЕ-30 (7): 392–398. дои : 10.1109/TBME.1983.325039. ISSN  0018-9294.
14. Абенд, Кеннет (2002). «Медаль Бенджамина Франклина в области инженерии 2001 года вручена Бернарду Удроу - Журнал Института Франклина - Том 339, номер 3 (2002) - Библиотека науки - Ядда». Журнал Института Франклина . 3 (339): 283–294. дои : 10.1016/S0016-0032(01)00044-8.