Направление спуска

В оптимизации направление спуска представляет собой вектор , указывающий на локальный минимум целевой функции . ${\displaystyle \mathbf {p} \in \mathbb {R} ^{n}}$ ${\displaystyle \mathbf {x} ^{*}}$ ${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} }$

Вычисление с помощью итеративного метода, такого как поиск по строке, определяет направление спуска на th итерации как любое такое , что , где обозначает внутренний продукт . Мотивацией такого подхода является то, что небольшие шаги гарантируют сокращение согласно теореме Тейлора . ${\displaystyle \mathbf {x} ^{*}}$ ${\displaystyle \mathbf {p} _{k}\in \mathbb {R} ^{n}}$ ${\displaystyle k}$ ${\displaystyle \mathbf {p} _{k}}$ ${\displaystyle \langle \mathbf {p} _{k},\nabla f(\mathbf {x} _{k})\rangle <0}$ ${\displaystyle \langle ,\rangle }$ ${\displaystyle \mathbf {p} _{k}}$ ${\displaystyle \displaystyle f}$

Используя это определение, отрицательным значением ненулевого градиента всегда является направление спуска, как . ${\displaystyle \langle -\nabla f(\mathbf {x} _{k}),\nabla f(\mathbf {x} _{k})\rangle =-\langle \nabla f(\mathbf {x} _{k}),\nabla f(\mathbf {x} _{k})\rangle <0}$

Существует множество методов расчета направлений спуска, каждый из которых имеет разные преимущества, например, градиентный спуск или метод сопряженных градиентов .

В более общем смысле, если это положительно определенная матрица, то это направление спуска при . ^[1] Эта общность используется в предварительно обусловленных методах градиентного спуска . ${\displaystyle P}$ ${\displaystyle p_{k}=-P\nabla f(x_{k})}$ ${\displaystyle x_{k}}$

Смотрите также

• Производная по направлению

Рекомендации

1. Дж. М. Ортега и В. К. Рейнболд (1970). Итерационное решение нелинейных уравнений с несколькими переменными . п. 243. дои : 10.1137/1.9780898719468.