Направление спуска - Descent direction

В оптимизация, а направление спуска это вектор ${ displaystyle mathbf {p} in mathbb {R} ^ {n}}$ что в приведенном ниже смысле приближает нас к локальному минимуму ${ Displaystyle mathbf {х} ^ {*}}$ нашей целевой функции ${ displaystyle f: mathbb {R} ^ {n} to mathbb {R}}$.

Предположим, мы вычисляем ${ Displaystyle mathbf {х} ^ {*}}$ итерационным методом, например линейный поиск. Определяем направление спуска ${ displaystyle mathbf {p} _ {k} in mathbb {R} ^ {n}}$ на ${ displaystyle k}$th итерация быть любым ${ displaystyle mathbf {p} _ {k}}$ такой, что ${ displaystyle langle mathbf {p} _ {k}, nabla f ( mathbf {x} _ {k}) rangle <0}$, куда ${ displaystyle langle, rangle}$ обозначает внутренний продукт. Мотивация такого подхода в том, что маленькие шаги по ${ displaystyle mathbf {p} _ {k}}$ гарантировать, что ${ displaystyle displaystyle f}$ уменьшается на Теорема Тейлора.

Используя это определение, отрицательное значение ненулевого градиента всегда является направлением спуска, так как ${ Displaystyle langle - nabla f ( mathbf {x} _ {k}), nabla f ( mathbf {x} _ {k}) rangle = - langle nabla f ( mathbf {x} _ {k}), nabla f ( mathbf {x} _ {k}) rangle <0}$.

Существует множество методов для вычисления направлений спуска, и все они имеют разные достоинства. Например, можно использовать градиентный спуск или метод сопряженных градиентов.

В более общем смысле, если ${ displaystyle P}$ это положительно определенный матрица, тогда${ displaystyle p_ {k} = - P nabla f (x_ {k})}$это направление спуска на ${ displaystyle x_ {k}}$.^[1] Эта общность используется в предварительно обусловленный градиентный спуск методы.

Смотрите также

• Производная по направлению

Рекомендации