Стохастический градиентный спуск - Stochastic gradient descent

Стохастический градиентный спуск (часто сокращенно SGD) является итерационный метод за оптимизация ан целевая функция с подходящим гладкость свойства (например, дифференцируемый или же субдифференцируемый ). Его можно рассматривать как стохастическая аппроксимация из градиентный спуск оптимизация, поскольку он заменяет фактический градиент (рассчитанный на основе всего набор данных ) его оценкой (вычисленной на основе случайно выбранного подмножества данных). Особенно в многомерный проблемы оптимизации это уменьшает вычислительная нагрузка, достигая более быстрых итераций в торговле для более низкой скорости сходимости.^[1]

Хотя основная идея стохастического приближения восходит к Алгоритм Роббинса – Монро 1950-х годов стохастический градиентный спуск стал важным методом оптимизации в машинное обучение.^[2]

Фон

Обе статистический оценка и машинное обучение рассмотреть проблему сведение к минимуму ан целевая функция который имеет форму суммы:

${ displaystyle Q (w) = { frac {1} {n}} sum _ {i = 1} ^ {n} Q_ {i} (w),}$

где параметр ${ displaystyle w}$ что сводит к минимуму ${ Displaystyle Q (ш)}$ должна быть по оценкам. Каждая функция слагаемого ${ displaystyle Q_ {i}}$ обычно ассоциируется с ${ displaystyle i}$-й наблюдение в набор данных (используется для обучения).

В классической статистике проблемы минимизации суммы возникают в наименьших квадратов И в оценка максимального правдоподобия (для независимых наблюдений). Общий класс оценок, возникающих как минимизаторы сумм, называются М-оценки. Однако в статистике давно признано, что требование даже локальной минимизации является слишком ограничительным для некоторых задач оценки максимального правдоподобия.^[3] Поэтому современные статистические теоретики часто считают стационарные точки из функция правдоподобия (или нулей его производной, функция оценки, и другие оценочные уравнения ).

Проблема минимизации суммы возникает также при минимизация эмпирического риска. В этом случае, ${ Displaystyle Q_ {я} (ш)}$ стоимость функция потерь в ${ displaystyle i}$-й пример, и ${ Displaystyle Q (ш)}$ - эмпирический риск.

При использовании для минимизации указанной выше функции стандартный (или "пакетный") градиентный спуск метод будет выполнять следующие итерации:

${ displaystyle w: = w- eta nabla Q (w) = w - { frac { eta} {n}} sum _ {i = 1} ^ {n} nabla Q_ {i} (w ),}$

куда ${ displaystyle eta}$ размер шага (иногда называемый скорость обучения в машинном обучении).

Во многих случаях функции слагаемых имеют простую форму, которая позволяет проводить недорогие вычисления функции суммы и градиента суммы. Например, в статистике однопараметрические экспоненциальные семейства позволяют экономичные оценки функций и градиентов.

Однако в других случаях оценка суммарного градиента может потребовать дорогостоящих вычислений градиентов от всех функций слагаемых. Когда обучающий набор огромен и простых формул не существует, вычисление сумм градиентов становится очень дорогостоящим, потому что для вычисления градиента требуется оценка градиентов всех слагаемых функций. Чтобы сэкономить на вычислительных затратах на каждой итерации, стохастический градиентный спуск образцы подмножество слагаемых функций на каждом шаге. Это очень эффективно в случае масштабных задач машинного обучения.^[4]

Итерационный метод

Колебания общей целевой функции выполняются в виде ступеней градиента по отношению к минипакетам.

При стохастическом (или "оперативном") градиентном спуске истинный градиент ${ Displaystyle Q (ш)}$ аппроксимируется градиентом на одном примере:

${ displaystyle w: = w- eta nabla Q_ {i} (w).}$

По мере того, как алгоритм просматривает обучающий набор, он выполняет вышеуказанное обновление для каждого обучающего примера. По обучающей выборке можно сделать несколько проходов, пока алгоритм не сойдется. Если это будет сделано, данные могут быть перемешаны для каждого прохода, чтобы предотвратить циклы. Типичные реализации могут использовать адаптивная скорость обучения так что алгоритм сходится.

В псевдокоде стохастический градиентный спуск можно представить следующим образом:

Компромисс между вычислением истинного градиента и градиента в одном примере заключается в вычислении градиента для более чем одного обучающего примера (называемого «мини-пакетом») на каждом этапе. Это может работать значительно лучше, чем описанный "истинный" стохастический градиентный спуск, потому что код может использовать векторизация библиотеки, а не вычислять каждый шаг отдельно. Это также может привести к более плавной сходимости, поскольку градиент, вычисленный на каждом шаге, усредняется по большему количеству обучающих примеров.

Сходимость стохастического градиентного спуска проанализирована с использованием теорий выпуклая минимизация и из стохастическая аппроксимация. Вкратце, когда скорость обучения ${ displaystyle eta}$ уменьшается с соответствующей скоростью, и при относительно мягких предположениях стохастический градиентный спуск сходится почти наверняка к глобальному минимуму, когда целевая функция выпуклый или же псевдовыпуклый, а в противном случае почти наверняка сходится к локальному минимуму.^[5][6]Фактически это следствие Теорема Роббинса – Зигмунда.^[7]

Пример

Предположим, мы хотим провести прямую линию ${ displaystyle { hat {y}} = ! w_ {1} + w_ {2} x}$ к обучающей выборке с наблюдениями${ displaystyle (x_ {1}, x_ {2}, ldots, x_ {n})}$ и соответствующие оценочные ответы ${ displaystyle ({ hat {y_ {1}}}, { hat {y_ {2}}}, ldots, { hat {y_ {n}}})}$ с помощью наименьших квадратов. Целевая функция, которую необходимо минимизировать:

${ displaystyle Q (w) = sum _ {i = 1} ^ {n} Q_ {i} (w) = sum _ {i = 1} ^ {n} left ({ hat {y_ {i }}} - y_ {i} right) ^ {2} = sum _ {i = 1} ^ {n} left (w_ {1} + w_ {2} x_ {i} -y_ {i} справа) ^ {2}.}$

Последняя строка в приведенном выше псевдокоде для этой конкретной проблемы будет следующей:

${ displaystyle { begin {bmatrix} w_ {1} w_ {2} end {bmatrix}}: = { begin {bmatrix} w_ {1} w_ {2} end {bmatrix}} - eta { begin {bmatrix} { frac { partial} { partial w_ {1}}} (w_ {1} + w_ {2} x_ {i} -y_ {i}) ^ {2} { frac { partial} { partial w_ {2}}} (w_ {1} + w_ {2} x_ {i} -y_ {i}) ^ {2} end {bmatrix}} = { begin {bmatrix} w_ {1} w_ {2} end {bmatrix}} - eta { begin {bmatrix} 2 (w_ {1} + w_ {2} x_ {i} -y_ {i}) 2x_ {i} (w_ {1} + w_ {2} x_ {i} -y_ {i}) end {bmatrix}}.}$

Обратите внимание, что на каждой итерации (также называемой обновлением) только градиент оценивается в одной точке. ${ displaystyle x_ {i}}$ вместо того, чтобы оценивать набор всех образцов.

Ключевое отличие от стандартного (пакетного) градиентного спуска заключается в том, что для вычисления шага используется только один фрагмент данных из набора данных, и этот фрагмент данных выбирается случайным образом на каждом шаге.

Известные приложения

Стохастический градиентный спуск - популярный алгоритм для обучения широкого круга моделей в машинное обучение, в том числе (линейные) опорные векторные машины, логистическая регрессия (см., например, Ваупал Ваббит ) и графические модели.^[8] В сочетании с обратное распространение алгоритм, это де-факто стандартный алгоритм обучения искусственные нейронные сети.^[9] О его использовании также сообщалось в Геофизика сообщества, особенно для приложений Full Waveform Inversion (FWI).^[10]

Стохастический градиентный спуск конкурирует с L-BFGS алгоритм,^{[нужна цитата ]} который также широко используется. Стохастический градиентный спуск используется как минимум с 1960 года для обучения. линейная регрессия модели, изначально под названием АДАЛИН.^[11]

Другой алгоритм стохастического градиентного спуска - это наименьшие средние квадраты (LMS) адаптивный фильтр.

Расширения и варианты

Было предложено и использовано множество усовершенствований базового алгоритма стохастического градиентного спуска. В частности, в машинном обучении необходимо установить скорость обучения (размер шага) был признан проблематичным. Установка слишком большого значения этого параметра может привести к отклонению алгоритма; установка слишком низкого значения замедляет схождение.^[12] Концептуально простое расширение стохастического градиентного спуска делает скорость обучения убывающей функцией η_т номера итерации т, давая график скорости обучения, так что первые итерации вызывают большие изменения параметров, а последующие - только точную настройку. Такие расписания известны со времен работы Маккуина над k-средства кластеризации.^[13] Практическое руководство по выбору размера шага в нескольких вариантах SGD дает Сполл.^[14]

Неявные обновления (ISGD)

Как упоминалось ранее, классический стохастический градиентный спуск обычно чувствителен к скорость обучения η. Для быстрой сходимости требуется большая скорость обучения, но это может вызвать численную нестабильность. Проблема в значительной степени решаема^[15] С учетом неявные обновления при этом стохастический градиент оценивается на следующей итерации, а не на текущей:

${ displaystyle w ^ {new}: = w ^ {old} - eta nabla Q_ {i} (w ^ {new}).}$

Это уравнение неявно, поскольку ${ displaystyle w ^ {новое}}$ появляется с обеих сторон уравнения. Это стохастическая форма метод проксимального градиента поскольку обновление также можно записать как:

${ displaystyle w ^ {new}: = arg min _ {w} {Q_ {i} (w) + { frac {1} {2 eta}} || ww ^ {old} || ^ {2} }.}$

В качестве примера рассмотрим метод наименьших квадратов с функциями ${ displaystyle x_ {1}, ldots, x_ {n} in mathbb {R} ^ {p}}$ и наблюдения${ displaystyle y_ {1}, ldots, y_ {n} in mathbb {R}}$. Мы хотим решить:

${ displaystyle min _ {w} sum _ {j = 1} ^ {n} (y_ {j} -x_ {j} 'w) ^ {2},}$

куда ${ displaystyle x_ {j} 'w = x_ {j1} w_ {1} + x_ {j, 2} w_ {2} + ... + x_ {j, p} w_ {p}}$ обозначает внутренний продукт. ${ displaystyle x}$ может иметь "1" в качестве первого элемента, включающего перехват. Классический стохастический градиентный спуск происходит следующим образом:

${ displaystyle w ^ {new} = w ^ {old} + eta (y_ {i} -x_ {i} 'w ^ {old}) x_ {i}}$

куда ${ displaystyle i}$ равномерно выбирается от 1 до ${ displaystyle n}$. Хотя теоретическая сходимость этой процедуры происходит при относительно умеренных предположениях, на практике процедура может быть довольно нестабильной. В частности, когда ${ displaystyle eta}$ указано неверно, так что ${ displaystyle I- eta x_ {i} x_ {i} '}$ имеет большие абсолютные собственные значения с высокой вероятностью, процедура может численно расходиться за несколько итераций. В отличие, неявный стохастический градиентный спуск (сокращенно ISGD) может быть решена в закрытом виде как:

${ displaystyle w ^ {new} = w ^ {old} + { frac { eta} {1+ eta || x_ {i} || ^ {2}}} (y_ {i} -x_ {i } 'w ^ {old}) x_ {i}.}$

Эта процедура останется численно стабильной практически для всех ${ displaystyle eta}$ как скорость обучения теперь нормализовано. Такое сравнение классического и неявного стохастического градиентного спуска в задаче наименьших квадратов очень похоже на сравнение между наименьшие средние квадраты (LMS) и нормализованный фильтр наименьших средних квадратов (NLMS).

Хотя решение для ISGD в закрытой форме возможно только методом наименьших квадратов, эта процедура может быть эффективно реализована в широком диапазоне моделей. В частности, предположим, что ${ Displaystyle Q_ {я} (ш)}$ зависит от ${ displaystyle w}$ только через линейную комбинацию с функциями ${ displaystyle x_ {i}}$, так что мы можем написать ${ displaystyle nabla _ {w} Q_ {i} (w) = - q (x_ {i} 'w) x_ {i}}$, куда ${ Displaystyle д () в mathbb {R}}$ может зависеть от ${ displaystyle x_ {i}, y_ {i}}$ также, но не на ${ displaystyle w}$ кроме как через ${ displaystyle x_ {i} 'w}$. Наименьшие квадраты подчиняются этому правилу, как и логистическая регрессия, и большинство обобщенные линейные модели. Например, методом наименьших квадратов ${ displaystyle q (x_ {i} 'w) = y_ {i} -x_ {i}' w}$, а в логистической регрессии ${ displaystyle q (x_ {i} 'w) = y_ {i} -S (x_ {i}' w)}$, куда ${ displaystyle S (u) = e ^ {u} / (1 + e ^ {u})}$ это логистическая функция. В Регрессия Пуассона, ${ displaystyle q (x_ {i} 'w) = y_ {i} -e ^ {x_ {i}' w}}$, и так далее.

В таких настройках ISGD просто реализуется следующим образом. Позволять ${ Displaystyle е ( xi) = eta q (x_ {i} 'w ^ {old} + xi || x_ {i} || ^ {2})}$, куда ${ Displaystyle xi}$ является скалярным, тогда ISGD эквивалентно:

${ displaystyle w ^ {new} = w ^ {old} + xi ^ { ast} x_ {i}, ~ { text {where}} ~ xi ^ { ast} = f ( xi ^ { ast}).}$

Коэффициент масштабирования ${ displaystyle xi ^ { ast} in mathbb {R}}$ можно найти через метод деления пополам поскольку в большинстве регулярных моделей, таких как упомянутые выше обобщенные линейные модели, функция ${ displaystyle q ()}$ убывает, поэтому границы поиска для ${ displaystyle xi ^ { ast}}$ находятся ${ Displaystyle [ мин (0, е (0)), макс (0, е (0))]}$.

Импульс

Дальнейшие предложения включают импульсный метод, который появился в Румельхарт, Хинтон и Уильямс Статья об обучении с обратным распространением.^[16] Стохастический градиентный спуск с импульсом запоминает обновление Δ ш на каждой итерации и определяет следующее обновление как линейная комбинация градиента и предыдущее обновление:^[17][18]

${ displaystyle Delta w: = alpha Delta w- eta nabla Q_ {i} (w)}$

${ displaystyle w: = w + Delta w}$

что приводит к:

${ displaystyle w: = w- eta nabla Q_ {i} (w) + alpha Delta w}$

где параметр ${ displaystyle w}$ что сводит к минимуму ${ Displaystyle Q (ш)}$ должна быть по оценкам, ${ displaystyle eta}$ размер шага (иногда называемый скорость обучения в машинном обучении) и ${ displaystyle alpha}$ экспоненциальный коэффициент распада между 0 и 1, который определяет относительный вклад текущего градиента и более ранних градиентов в изменение веса.

Название «Импульс» происходит от аналогии с импульс в физике: вектор веса ${ displaystyle w}$, представленный как частица, путешествующая через пространство параметров,^[16] вызывает ускорение из-за градиента потерь ("сила "). В отличие от классического стохастического градиентного спуска, он имеет тенденцию продолжать движение в одном и том же направлении, предотвращая колебания. Импульс был успешно использован компьютерными учеными при обучении искусственные нейронные сети в течение нескольких десятилетий.^[19]

Усреднение

Усредненный стохастический градиентный спуск, независимо изобретенный Руппертом и Поляком в конце 1980-х годов, представляет собой обычный стохастический градиентный спуск, который регистрирует среднее значение вектора параметров во времени. То есть обновление такое же, как и для обычного стохастического градиентного спуска, но алгоритм также отслеживает^[20]

${ displaystyle { bar {w}} = { frac {1} {t}} sum _ {i = 0} ^ {t-1} w_ {i}}$.

Когда оптимизация выполнена, этот усредненный вектор параметров заменяет ш.

АдаГрад

АдаГрад (для адаптивного градиент алгоритм) представляет собой модифицированный алгоритм стохастического градиентного спуска с индивидуальным параметром скорость обучения, впервые опубликовано в 2011 году.^[21] Неформально это увеличивает скорость обучения для более разреженных параметров и снижает скорость обучения для менее разреженных. Эта стратегия часто улучшает производительность сходимости по сравнению со стандартным стохастическим градиентным спуском в условиях, когда данные разрежены, а разреженные параметры более информативны. Примеры таких приложений включают обработку естественного языка и распознавание изображений.^[21] У него все еще есть базовая скорость обучения η, но это умножается на элементы вектора {грамм_j,j} которая является диагональю внешний продукт матрица

${ displaystyle G = sum _ { tau = 1} ^ {t} g _ { tau} g _ { tau} ^ { mathsf {T}}}$

куда ${ Displaystyle г _ { тау} = набла Q_ ​​{я} (ш)}$, градиент, на итерации τ. Диагональ равна

${ displaystyle G_ {j, j} = sum _ { tau = 1} ^ {t} g _ { tau, j} ^ {2}}$.

Этот вектор обновляется после каждой итерации. Формула обновления теперь

${ displaystyle w: = w- eta , mathrm {diag} (G) ^ {- { frac {1} {2}}} circ g}$^[а]

или, записанные как обновления для каждого параметра,

${ displaystyle w_ {j}: = w_ {j} - { frac { eta} { sqrt {G_ {j, j}}}} g_ {j}.}$

Каждый {грамм_(я,я)} дает коэффициент масштабирования для скорости обучения, который применяется к одному параметру ш_я. Поскольку знаменатель этого фактора, ${ displaystyle { sqrt {G_ {i}}} = { sqrt { sum _ { tau = 1} ^ {t} g _ { tau} ^ {2}}}}$ это ℓ₂ норма Как и в случае с предыдущими производными, экстремальные обновления параметров затухают, в то время как параметры, которые получают несколько или небольшие обновления, получают более высокую скорость обучения.^[19]

Хотя предназначен для выпуклые задачи, AdaGrad успешно применяется для невыпуклой оптимизации.^[22]

RMSProp

RMSProp (для среднеквадратичного распространения) также является методом, в котором скорость обучения адаптирован под каждый из параметров. Идея состоит в том, чтобы разделить скорость обучения для веса на скользящее среднее значений недавних градиентов для этого веса.^[23]Итак, сначала вычисляется скользящее среднее через средний квадрат,

${ Displaystyle v (вес, t): = гамма v (вес, t-1) + (1- гамма) ( набла Q_ ​​{я} (ш)) ^ {2}}$

куда, ${ displaystyle gamma}$ фактор забвения.

И параметры обновляются как,

${ displaystyle w: = w - { frac { eta} { sqrt {v (w, t)}}} nabla Q_ {i} (w)}$

RMSProp показал хорошую адаптацию скорости обучения в разных приложениях. RMSProp можно рассматривать как обобщение Rprop и может работать как с мини-партиями, так и только с полными.^[24]

Адам

Адам^[25] (сокращение от Adaptive Moment Estimation) - это обновление RMSProp оптимизатор. В этом алгоритме оптимизации используются средние значения как градиентов, так и вторых моментов градиентов. Данные параметры ${ Displaystyle ш ^ {(т)}}$ и функция потерь ${ Displaystyle L ^ {(т)}}$, куда ${ displaystyle t}$ индексирует текущую итерацию обучения (индексируется на ${ displaystyle 0}$), Обновление параметров Адама определяется следующим образом:

${ displaystyle m_ {w} ^ {(t + 1)} leftarrow beta _ {1} m_ {w} ^ {(t)} + (1- beta _ {1}) nabla _ {w} L ^ {(t)}}$

${ displaystyle v_ {w} ^ {(t + 1)} leftarrow beta _ {2} v_ {w} ^ {(t)} + (1- beta _ {2}) ( nabla _ {w } L ^ {(t)}) ^ {2}}$

${ displaystyle { hat {m}} _ {w} = { frac {m_ {w} ^ {(t + 1)}} {1- beta _ {1} ^ {t + 1}}}}$

${ displaystyle { hat {v}} _ {w} = { frac {v_ {w} ^ {(t + 1)}} {1- beta _ {2} ^ {t + 1}}}}$

${ displaystyle w ^ {(t + 1)} leftarrow w ^ {(t)} - ​​ eta { frac {{ hat {m}} _ {w}} {{ sqrt {{ hat {v) }} _ {w}}} + epsilon}}}$

куда ${ displaystyle epsilon}$ небольшой скаляр (например, ${ displaystyle 10 ^ {- 8}}$) используется для предотвращения деления на 0, и ${ displaystyle beta _ {1}}$ (например, 0,9) и ${ displaystyle beta _ {2}}$ (например, 0,999) - коэффициенты забвения для градиентов и секундных моментов градиентов соответственно. Возведение в квадрат и извлечение квадратного корня выполняется поэлементно.

Поиск строки с возвратом

Поиск строки с возвратом еще один вариант градиентного спуска. Все нижеперечисленное взято по указанной ссылке. Он основан на условии, известном как условие Армийо – Гольдштейна. Оба метода позволяют изменять скорость обучения на каждой итерации; однако способ изменения иной. Поиск строки с обратным отслеживанием использует оценки функций для проверки состояния Armijo, и в принципе цикл в алгоритме определения скорости обучения может быть длинным и заранее неизвестным. Adaptive SGD не нуждается в цикле при определении скорости обучения. С другой стороны, адаптивный SGD не гарантирует "свойства спуска", которым обладает поиск по строке с возвратом, а именно ${ Displaystyle f (x_ {n + 1}) leq f (x_ {n})}$ для всех п. Если градиент функции стоимости глобально непрерывен по Липшицу, с константой Липшица L и скорость обучения выбрана порядка 1 / L, то стандартная версия SGD является частным случаем поиска строки с возвратом.

Методы второго порядка

Стохастический аналог стандартного (детерминированного) алгоритма Ньютона – Рафсона (метод «второго порядка») обеспечивает асимптотически оптимальную или почти оптимальную форму итерационной оптимизации в условиях стохастической аппроксимации.^{[нужна цитата ]}. Метод, использующий прямые измерения Матрицы Гессе слагаемых в эмпирической функции риска был разработан Бердом, Хансеном, Нокедалом и Зингером.^[26] Однако прямое определение требуемых матриц Гессе для оптимизации на практике может оказаться невозможным. Практические и теоретически обоснованные методы для версий SGD второго порядка, которые не требуют прямой гессенской информации, представлены Споллом и другими.^[27][28][29] (Менее эффективный метод, основанный на конечных разностях, а не на одновременных возмущениях, дал Рупперт.^[30]Эти методы, не требующие прямой гессенской информации, основаны либо на значениях слагаемых в приведенной выше эмпирической функции риска, либо на значениях градиентов слагаемых (т. Е. Входных данных SGD). В частности, оптимальность второго порядка асимптотически достижима без прямого вычисления матриц Гессе слагаемых в эмпирической функции риска.

Примечания

Смотрите также

• Поиск строки с возвратом
• Координатный спуск - изменяет одну координату за раз, а не один пример
• Линейный классификатор
• Машинное обучение онлайн
• Стохастическое восхождение на холм

Рекомендации

дальнейшее чтение

• Ботту, Леон (2004), «Стохастическое обучение», Расширенные лекции по машинному обучению, LNAI, 3176, Springer, стр. 146–168, ISBN  978-3-540-23122-6
• Будума, Нихил; Locascio, Николас (2017), "За гранью градиентного спуска", Основы глубокого обучения: разработка алгоритмов машинного интеллекта нового поколения, О'Рейли
• ЛеКун, Ян А.; Ботту, Леон; Орр, Женевьева Б.; Мюллер, Клаус-Роберт (2012), «Эффективный BackProp», Нейронные сети: хитрости торговли, Springer, стр. 9–48, ISBN  978-3-642-35288-1
• Сполл, Джеймс С. (2003), Введение в стохастический поиск и оптимизацию, Wiley, ISBN  978-0-471-33052-3

внешняя ссылка

• Использование стохастического градиентного спуска в C ++, Boost, Ublas для линейной регрессии
• Алгоритмы машинного обучения
• "Градиентный спуск. Как обучаются нейронные сети". 3Синий 1Коричневый. 16 октября 2017 г. - через YouTube.
• Го (4 апреля 2017 г.). «Почему Momentum действительно работает». Дистиллировать. Интерактивная бумага, объясняющая импульс.