Усеченный метод Ньютона - Truncated Newton method

Усеченные методы Ньютона, также известный как Оптимизация без гессиана,[1] семья алгоритмы оптимизации предназначен для оптимизации нелинейных функций с большим количеством независимые переменные. Усеченный метод Ньютона состоит из повторного применения итеративного алгоритма оптимизации для приближенного решения Уравнения Ньютона, чтобы определить обновление параметров функции. Внутренний решатель усеченный, т.е. запускать только ограниченное количество итераций. Отсюда следует, что для работы усеченных методов Ньютона внутренний решатель должен производить хорошее приближение за конечное число итераций;[2] сопряженный градиент был предложен и оценен как потенциальный внутренний цикл.[1] Еще одно условие - хорошо предварительная подготовка для внутреннего алгоритма.[3]

Рекомендации

  1. ^ а б Мартенс, Джеймс (2010). Глубокое обучение с помощью оптимизации без гессиана (PDF). Proc. Международная конференция по машинному обучению.
  2. ^ Нэш, Стивен Г. (2000). «Обзор методов усеченного Ньютона». Журнал вычислительной и прикладной математики. 124 (1–2): 45–59. Дои:10.1016 / S0377-0427 (00) 00426-X.
  3. ^ Нэш, Стивен Г. (1985). «Предварительная подготовка методов усеченного Ньютона» (PDF). SIAM J. Sci. Стат. Вычислить. 6 (3): 599–616.

дальнейшее чтение

  • Grippo, L .; Lampariello, F .; Люциди, С. (1989). «Усеченный метод Ньютона с поиском немонотонной линии для неограниченной оптимизации». J. Теория оптимизации и приложения. 60 (3). CiteSeerX  10.1.1.455.7495.
  • Нэш, Стивен Дж .; Нокедаль, Хорхе (1991). «Численное исследование метода BFGS с ограниченной памятью и метода усеченного Ньютона для крупномасштабной оптимизации». СИАМ Дж. Оптим. 1 (3): 358–372. CiteSeerX  10.1.1.474.3400.