Rprop - Rprop
Rprop, сокращение от устойчивый обратное распространение, это обучение эвристический за контролируемое обучение в прямая связь искусственные нейронные сети. Это первый заказ оптимизация алгоритм. Этот алгоритм был создан Мартином Ридмиллером и Генрихом Брауном в 1992 году.[1]
Аналогично Правило обновления Манхэттена, Rprop учитывает только знак из частная производная по всем шаблонам (не по величине) и действует независимо на каждый «вес». Для каждого веса, если произошло изменение знака частной производной функции полной ошибки по сравнению с последней итерацией, значение обновления для этого веса умножается на коэффициент η−, куда η− <1. Если на последней итерации был получен такой же знак, значение обновления умножается на коэффициент η+, куда η+ > 1. Значения обновления вычисляются для каждого веса указанным выше способом, и, наконец, каждый вес изменяется на свое собственное значение обновления в направлении, противоположном частной производной этого веса, чтобы минимизировать функцию общей ошибки. η+ эмпирически установлено на 1,2 и η− до 0,5.
Сразу после алгоритм каскадной корреляции и Алгоритм Левенберга – Марквардта, Rprop - один из самых быстрых механизмов обновления веса.
RPROP - это алгоритм пакетного обновления.
Вариации
Мартин Ридмиллер разработал три алгоритма, названных RPROP. Игель и Хюкен присвоили им имена и добавили новый вариант:[2][3]
- RPROP + определен в Прямой адаптивный метод для более быстрого обучения обратному распространению: алгоритм RPROP.[4]
- RPROP− определяется в Расширенное контролируемое обучение в многослойных персептронах - от обратного распространения ошибки к алгоритмам адаптивного обучения. Отслеживание с возвратом удалено из RPROP +.[5]
- iRPROP− определяется в Rprop - Описание и детали реализации[6] и был заново изобретен Игелем и Хюкеном.[3] Этот вариант очень популярный и самый простой.
- iRPROP + определяется в Улучшение алгоритма обучения Rprop и очень надежен и обычно быстрее, чем три других варианта.[2][3]
Рекомендации
- ^ Мартин Ридмиллер и Генрих Браун: Rprop - Быстрый адаптивный алгоритм обучения. Материалы Международного симпозиума по информатике и информатике VII, 1992 г.
- ^ а б Кристиан Игель и Майкл Хюскен. Улучшение алгоритма обучения Rprop. Второй международный симпозиум по нейронным вычислениям (NC 2000), стр. 115-121, ICSC Academic Press, 2000
- ^ а б c Кристиан Игель и Майкл Хюскен. Эмпирическая оценка улучшенного алгоритма обучения Rprop. Нейрокомпьютинг 50: 105-123, 2003
- ^ Мартин Ридмиллер и Генрих Браун. Прямой адаптивный метод для более быстрого обучения обратному распространению: алгоритм Rprop. Труды Международной конференции IEEE по нейронным сетям, 586-591, IEEE Press, 1993
- ^ Мартин Ридмиллер. Расширенное контролируемое обучение в многослойных персептронах - от обратного распространения ошибки до алгоритмов адаптивного обучения. Компьютерные стандарты и интерфейсы 16 (5), 265-278, 1994
- ^ Мартин Ридмиллер. Rprop - Описание и детали реализации. Технический отчет, 1994 г.