Обобщенный алгоритм Хебба

Модель нейронной сети линейного прямого распространения

Обобщенный алгоритм Хеббиана ( GHA ), также известный в литературе как правило Сэнгера , представляет собой линейную нейронную сеть прямого распространения для обучения без учителя с приложениями, главным образом, в анализе главных компонентов . Впервые определенное в 1989 году ^[1] , оно похоже на правило Оджи по своей формулировке и устойчивости, за исключением того, что его можно применять к сетям с несколькими выходами. Название происходит из-за сходства алгоритма с гипотезой Дональда Хебба ^[2] о том, каким образом сила синапсов в мозге изменяется в ответ на опыт, т. е. что изменения пропорциональны корреляции между срабатыванием пре- и постсинаптические нейроны . ^[3]

Теория

ГСГ объединяет правило Оджи с процессом Грама-Шмидта , чтобы создать правило обучения вида

${\displaystyle \,\Delta w_{ij}~=~\eta \left(y_{i}x_{j}-y_{i}\sum _{k=1}^{i}w_{kj}y_{k}\right)}$, ^[4]

где w _ij определяет синаптический вес или силу связи между j -м входным и i -м выходным нейронами, x и y — входной и выходной векторы соответственно, а η — параметр скорости обучения .

Вывод

В матричной форме правило Оджи можно записать

${\displaystyle \,{\frac {{\text{d}}w(t)}{{\text{d}}t}}~=~w(t)Q-\mathrm {diag} [w(t)Qw(t)^{\mathrm {T} }]w(t)}$,

и алгоритм Грама-Шмидта

${\displaystyle \,\Delta w(t)~=~-\mathrm {lower} [w(t)w(t)^{\mathrm {T} }]w(t)}$,

где w ( t ) — любая матрица, в данном случае представляющая синаптические веса, Q = η x x ^T — матрица автокорреляции, просто внешний продукт входных данных, Diag — функция, которая диагонализует матрицу, а нижняя — функция, которая устанавливает все элементы матрицы на диагонали или выше равны 0. Мы можем объединить эти уравнения, чтобы получить исходное правило в матричной форме:

${\displaystyle \,\Delta w(t)~=~\eta (t)\left(\mathbf {y} (t)\mathbf {x} (t)^{\mathrm {T} }-\mathrm {LT} [\mathbf {y} (t)\mathbf {y} (t)^{\mathrm {T} }]w(t)\right)}$,

где функция LT устанавливает все элементы матрицы выше диагонали равными 0, и обратите внимание, что наш выход y ( t ) = w ( t ) x ( t ) является линейным нейроном. ^[1]

Стабильность и PCA

^{[5] [6]}

Приложения

ГСГ используется в приложениях, где необходима самоорганизующаяся карта или где можно использовать анализ функций или основных компонентов . Примеры таких случаев включают искусственный интеллект и обработку речи и изображений.

Его важность обусловлена ​​тем фактом, что обучение представляет собой одноуровневый процесс, то есть синаптический вес меняется только в зависимости от реакции входов и выходов этого слоя, что позволяет избежать многоуровневой зависимости, связанной с алгоритмом обратного распространения ошибки . Он также имеет простой и предсказуемый компромисс между скоростью обучения и точностью сходимости, заданный параметром скорости обучения η . ^[5]

Смотрите также

• Хеббианское обучение
• Факторный анализ
• Контрастное хеббианское обучение
• Правило Оджи

Рекомендации

1. Сэнгер, Теренс Д. (1989). «Оптимальное обучение без учителя в однослойной линейной нейронной сети прямого распространения» (PDF) . Нейронные сети . 2 (6): 459–473. CiteSeerX  10.1.1.128.6893 . дои : 10.1016/0893-6080(89)90044-0 . Проверено 24 ноября 2007 г.
2. Хебб, DO (1949). Организация поведения. Нью-Йорк: Wiley & Sons. ISBN 9781135631918.
3. Герц, Джон; Андерс Кроф; Ричард Г. Палмер (1991). Введение в теорию нейронных вычислений . Редвуд-Сити, Калифорния: Издательство Addison-Wesley. ISBN 978-0201515602.
4. Горрелл, Женевьева (2006), «Обобщенный алгоритм Хебба для постепенного разложения сингулярных значений при обработке естественного языка», EACL , CiteSeerX 10.1.1.102.2084 
5. Хайкин, Саймон (1998). Нейронные сети: комплексный фундамент (2-е изд.). Прентис Холл. ISBN 978-0-13-273350-2.
6. Оя, Эркки (ноябрь 1982 г.). «Упрощенная модель нейрона как анализатора главных компонентов». Журнал математической биологии . 15 (3): 267–273. дои : 10.1007/BF00275687. PMID  7153672. S2CID  16577977. BF00275687.