Quickprop - Википедия - Quickprop

Quickprop представляет собой итерационный метод определения минимума функция потерь из искусственная нейронная сеть[1], следуя алгоритму, вдохновленному Метод Ньютона. Иногда алгоритм относят к группе методов обучения второго порядка. Он следует квадратичной аппроксимации предыдущего градиент шаг и текущий градиент, который, как ожидается, будет близок к минимуму функции потерь, в предположении, что функция потерь локально приблизительно квадратная, пытаясь описать ее с помощью открытого вверх парабола. Минимум ищется в вершине параболы. Для процедуры требуется только местная информация о искусственный нейрон к которому он применяется. -й шаг приближения определяется как:

Существование нейрон вес его ввод и - функция потерь.

Алгоритм Quickprop - это реализация ошибки обратное распространение алгоритм, но сеть может вести себя хаотично на этапе обучения из-за большого размера шага.

Рекомендации

  1. ^ «Оценка QuickProp для изучения глубоких нейронных сетей - критический обзор».


Библиография