Бернард Уидроу (родился 24 декабря 1929 года) — американский профессор электротехники в Стэнфордском университете . [1] Он является соавтором адаптивного алгоритма фильтра наименьших квадратов Уидроу-Хоффа (LMS) вместе со своим тогдашним докторантом Тедом Хоффом . [2] Алгоритм LMS привел к созданию искусственных нейронных сетей ADALINE и MADALINE , а также к методу обратного распространения ошибки . Он внес и другой фундаментальный вклад в развитие обработки сигналов в области геофизики, адаптивных антенн и адаптивной фильтрации . Краткое содержание его работы. [3]
Он является тезкой «правила дяди Берни»: размер обучающей выборки должен в 10 раз превышать количество весов в сети. [4] [5]
Этот раздел основан на. [6] [7]
Он родился в Норидже, штат Коннектикут . В молодости он интересовался электроникой. Во время Второй мировой войны он нашел статью «Радио» в энциклопедии World Book и построил одноламповое радио.
Он поступил в Массачусетский технологический институт в 1947 году, изучал электротехнику и электронику и окончил его в 1951 году. После этого он получил должность научного сотрудника в Лаборатории цифровых компьютеров Массачусетского технологического института, в группе магнитных сердечников памяти . DCL была подразделением Лаборатории сервомеханизмов, [8] которая создавала компьютер Whirlwind I. Опыт создания памяти на магнитных сердечниках сформировал его понимание компьютеров как «взгляда памяти», то есть он «ищет память и видит, что нужно соединить вокруг нее».
В своей магистерской диссертации (1953 г., под руководством Уильяма Линвилла ) он работал над повышением отношения сигнал/шум считывающего сигнала памяти на магнитных сердечниках. В то время петли гистерезиса для памяти на магнитных сердечниках не были достаточно прямоугольными, что делало сигнал измерения зашумленным.
Для получения докторской степени (1956 г., под руководством Уильяма Линвилла) он работал над статистической теорией шума квантования , [9] вдохновленной работами Уильяма Линвилла и Дэвида Миддлтона. [10]
Во время учебы в аспирантуре он изучил фильтр Винера у Ли Юк-вина . Чтобы спроектировать фильтр Винера, необходимо знать статистику бесшумного сигнала, который необходимо восстановить. Однако, если статистика бесшумного сигнала неизвестна, это невозможно спроектировать. Таким образом, Уидроу разработал адаптивный фильтр, который использует градиентный спуск для минимизации среднеквадратической ошибки. Он также посетил семинар в Дартмуте в 1956 году и был вдохновлен работой над искусственным интеллектом.
В 1959 году у него появился первый аспирант Тед Хофф . Они улучшили предыдущий адаптивный фильтр, чтобы он выполнял градиентный спуск для каждой точки данных, что привело к появлению дельта-правила и ADALINE . Чтобы избежать необходимости вручную настраивать гири в ADALINE, они изобрели мемистор, проводимость которого (гири ADALINE) равна толщине меди на графите.
Во время встречи с Фрэнком Розенблаттом Уидроу утверждал, что S-единицы в перцептронной машине не должны случайным образом соединяться с A-единицами. Вместо этого S-блоки следует удалить, чтобы входы фотоэлементов напрямую вводились в A-блоки. Розенблатт возразил, что «человеческая сетчатка устроена именно так».
Несмотря на множество попыток, им так и не удалось разработать алгоритм обучения многослойной нейронной сети. Дальше всего они продвинулись с помощью Madaline Rule I (1962), в котором было два весовых слоя. Первое можно было тренировать, а второе можно было исправить. Уидроу заявил, что их проблему можно было бы решить с помощью алгоритма обратного распространения ошибки. «Это было задолго до Пола Вербоса . Для меня бэкпроп — это почти чудо».
Не имея возможности обучать многослойные нейронные сети, Уидроу обратился к адаптивной фильтрации и адаптивной обработке сигналов, используя методы, основанные на LMS-фильтре, для таких приложений, как адаптивная антенна, [11] адаптивное шумоподавление, [12] и приложения в медицине. [13]
На конференции 1985 года в Сноуберде, штат Юта , он заметил, что исследования нейронных сетей возвращаются, а также узнал об алгоритме обратного распространения ошибки. После этого он вернулся к исследованиям нейронных сетей.
В 2003 году он был членом совета управляющих Международного общества нейронных сетей (INNIS).