Quickprop — это итеративный метод определения минимума функции потерь искусственной нейронной сети [ 1] , следующий алгоритму, вдохновленному методом Ньютона . Иногда алгоритм относят к группе методов обучения второго порядка. Он следует квадратичной аппроксимации предыдущего шага градиента и текущего градиента, который, как ожидается, будет близок к минимуму функции потерь, при условии, что функция потерь локально приблизительно квадратна, пытаясь описать ее с помощью параболы , открытой вверх . Минимум ищется в вершине параболы. Процедура требует только локальной информации об искусственном нейроне , к которому она применяется. -й шаг аппроксимации определяется как:
Где — вес входа нейрона , а — функция потерь.
Алгоритм Quickprop представляет собой реализацию алгоритма обратного распространения ошибки , но сеть может вести себя хаотично на этапе обучения из-за больших размеров шагов.
