Метод нелинейных сопряженных градиентов - Википедия - Nonlinear conjugate gradient method

В численная оптимизация, то нелинейный метод сопряженных градиентов обобщает метод сопряженных градиентов к нелинейная оптимизация. Для квадратичной функции ${ displaystyle displaystyle f (x)}$

${ Displaystyle Displaystyle е (х) = | Ax-b | ^ {2},}$

минимум ${ displaystyle f}$ получается, когда градиент равно 0:

${ displaystyle nabla _ {x} f = 2A ^ {T} (Ax-b) = 0}$.

В то время как линейный сопряженный градиент ищет решение линейного уравнения ${ displaystyle displaystyle A ^ {T} Ax = A ^ {T} b}$, метод нелинейных сопряженных градиентов обычно используется для нахождения местный минимум нелинейной функции, используя ее градиент ${ displaystyle nabla _ {x} f}$ один. Он работает, когда функция приблизительно квадратична вблизи минимума, что имеет место, когда функция дважды дифференцируема в минимуме, а вторая производная там неособа.

Учитывая функцию ${ displaystyle displaystyle f (x)}$ из ${ displaystyle N}$ переменные для минимизации, его градиент ${ displaystyle nabla _ {x} f}$ указывает направление максимального увеличения. просто начинается в обратном (крутой спуск ) направление:

${ displaystyle Delta x_ {0} = - nabla _ {x} f (x_ {0})}$

с регулируемой длиной шага ${ Displaystyle Displaystyle альфа}$ и выполняет линейный поиск в этом направлении, пока не достигнет минимума ${ displaystyle displaystyle f}$:

${ displaystyle displaystyle alpha _ {0}: = arg min _ { alpha} f (x_ {0} + alpha Delta x_ {0})}$,

${ displaystyle displaystyle x_ {1} = x_ {0} + alpha _ {0} Delta x_ {0}}$

После этой первой итерации в самом крутом направлении ${ displaystyle displaystyle Delta x_ {0}}$, следующие шаги составляют одну итерацию движения по последующему сопряженному направлению ${ displaystyle displaystyle s_ {n}}$, куда ${ displaystyle displaystyle s_ {0} = Delta x_ {0}}$:

1. Вычислите самое крутое направление: ${ displaystyle Delta x_ {n} = - nabla _ {x} f (x_ {n})}$,
2. Вычислить ${ Displaystyle Displaystyle бета _ {п}}$ по одной из формул ниже,
3. Обновите сопряженное направление: ${ displaystyle displaystyle s_ {n} = Delta x_ {n} + beta _ {n} s_ {n-1}}$
4. Выполните линейный поиск: оптимизируйте ${ displaystyle displaystyle alpha _ {n} = arg min _ { alpha} f (x_ {n} + alpha s_ {n})}$,
5. Обновите позицию: ${ displaystyle displaystyle x_ {n + 1} = x_ {n} + alpha _ {n} s_ {n}}$,

С чистой квадратичной функцией минимум достигается в пределах N итераций (за исключением ошибки округления), но неквадратичная функция будет работать медленнее. Последующие направления поиска теряют сопряженность, требуя, чтобы направление поиска было сброшено на направление наискорейшего спуска, по крайней мере, каждые N итераций или раньше, если прогресс остановится. Однако сброс каждой итерации превращает метод в крутой спуск. Алгоритм останавливается, когда находит минимум, определяемый, когда не происходит никакого прогресса после сброса направления (то есть в направлении наискорейшего спуска), или когда достигается некоторый критерий допуска.

В линейном приближении параметры ${ Displaystyle Displaystyle альфа}$ и ${ displaystyle displaystyle beta}$ такие же, как и в методе линейного сопряженного градиента, но были получены с помощью линейного поиска. Метод сопряженного градиента может следовать узким (плохо воспитанный ) долины, где крутой спуск метод замедляется и следует крест-накрест.

Четыре из самых известных формул для ${ Displaystyle Displaystyle бета _ {п}}$ названы в честь своих разработчиков:

• Флетчер – Ривз:^[1]

${ displaystyle beta _ {n} ^ {FR} = { frac { Delta x_ {n} ^ {T} Delta x_ {n}} { Delta x_ {n-1} ^ {T} Delta x_ {n-1}}}.}$

• Полак – Рибьер:^[2]

${ displaystyle beta _ {n} ^ {PR} = { frac { Delta x_ {n} ^ {T} ( Delta x_ {n} - Delta x_ {n-1})} { Delta x_ {n-1} ^ {T} Delta x_ {n-1}}}.}$

• Гестен-Штифель:^[3]

${ displaystyle beta _ {n} ^ {HS} = { frac { Delta x_ {n} ^ {T} ( Delta x_ {n} - Delta x_ {n-1})} {- s_ { n-1} ^ {T} ( Delta x_ {n} - Delta x_ {n-1})}}.}.$

• Дай – Юань:^[4]

${ displaystyle beta _ {n} ^ {DY} = { frac { Delta x_ {n} ^ {T} Delta x_ {n}} {- s_ {n-1} ^ {T} ( Delta x_ {n} - Delta x_ {n-1})}}.}$.

Эти формулы эквивалентны для квадратичной функции, но для нелинейной оптимизации предпочтительная формула зависит от эвристики или вкуса. Популярный выбор - ${ Displaystyle Displaystyle бета = макс {0, бета ^ {PR} }}$, который обеспечивает автоматический сброс направления.^[5]

Алгоритмы на основе Метод Ньютона потенциально сходятся намного быстрее. Здесь направление и длина шага вычисляются из градиента как решения линейной системы уравнений, при этом матрица коэффициентов является точной Матрица Гессе (для собственно метода Ньютона) или его оценка (в квазиньютоновские методы, где наблюдаемое изменение градиента во время итераций используется для обновления оценки Гессе). Для задач большой размерности точное вычисление гессиана обычно является чрезмерно дорогим, и даже его хранение может быть проблематичным, требуя ${ displaystyle O (N ^ {2})}$ память (но см. ограниченную память L-BFGS квазиньютоновский метод).

Метод сопряженного градиента также может быть получен с использованием теория оптимального управления.^[6] В этой теории ускоренной оптимизации метод сопряженных градиентов выпадает как нелинейный контроллер оптимальной обратной связи,

${ Displaystyle и знак равно К (х, { точка {х}}): = - гамма _ {а} набла _ {х} е (х) - гамма _ {b} { точка {х}} }$для система двойного интегратора,

${ displaystyle { ddot {x}} = u}$

Количество ${ displaystyle gamma _ {a}> 0}$ и ${ displaystyle gamma _ {b}> 0}$ - переменные коэффициенты усиления обратной связи.^[6]

Смотрите также

• Алгоритм Бройдена – Флетчера – Гольдфарба – Шенно
• Метод сопряженных градиентов
• L-BFGS (ограниченная память BFGS)
• Метод Нелдера – Мида
• Условия Вульфа

Рекомендации