Quickprop - Википедия - Quickprop

Quickprop представляет собой итерационный метод определения минимума функция потерь из искусственная нейронная сеть^[1], следуя алгоритму, вдохновленному Метод Ньютона. Иногда алгоритм относят к группе методов обучения второго порядка. Он следует квадратичной аппроксимации предыдущего градиент шаг и текущий градиент, который, как ожидается, будет близок к минимуму функции потерь, в предположении, что функция потерь локально приблизительно квадратная, пытаясь описать ее с помощью открытого вверх парабола. Минимум ищется в вершине параболы. Для процедуры требуется только местная информация о искусственный нейрон к которому он применяется. ${ displaystyle k}$-й шаг приближения определяется как:

${ Displaystyle Delta ^ {(k)} , w_ {ij} = Delta ^ {(k-1)} , w_ {ij} left ({ frac { nabla _ {ij} , E ^ {(k)}} { nabla _ {ij} , E ^ {(k-1)} - nabla _ {ij} , E ^ {(k)}}} right)}$

Существование ${ displaystyle w_ {ij}}$ нейрон ${ displaystyle j}$ вес его ${ displaystyle i}$ ввод и ${ displaystyle E}$ - функция потерь.

Алгоритм Quickprop - это реализация ошибки обратное распространение алгоритм, но сеть может вести себя хаотично на этапе обучения из-за большого размера шага.

Рекомендации

Библиография

• Скотт Э. Фальман: Эмпирическое исследование скорости обучения в сетях с обратным распространением информации, Сентябрь 1988 г.