Пакетная нормализация - Batch normalization

Пакетная нормализация (также известный как норма партии) - метод, используемый для создания искусственные нейронные сети быстрее и стабильнее за счет нормализации входного слоя путем повторного центрирования и масштабирования.^[1][2] Его предложили Сергей Иоффе и Кристиан Сегеди в 2015 году.^[3]

Хотя эффект пакетной нормализации очевиден, причины ее эффективности остаются предметом обсуждения. Считалось, что он может смягчить проблему внутренний ковариативный сдвиг, где инициализация параметров и изменения в распределении входов каждого уровня влияют на скорость обучения сети.^[3] Недавно некоторые ученые утверждали, что пакетная нормализация не уменьшает внутреннего ковариатного сдвига, а скорее сглаживает целевую функцию, что, в свою очередь, улучшает производительность.^[4] Однако при инициализации пакетная нормализация фактически вызывает серьезные градиентный взрыв в глубоких сетях, что смягчается только пропустить соединения в остаточных сетях.^[5] Другие поддерживают, что нормализация партии обеспечивает разделение по длине и, таким образом, ускоряет нейронные сети.^[6]

После норма партии, многие другие методы внутриуровневой нормализации были представил, например, нормализация экземпляра, нормализация уровня, нормализация группы.

Мотивация: феномен внутреннего ковариатного сдвига.

Каждый уровень нейронной сети имеет входы с соответствующим распределением, на которое в процессе обучения влияет случайность инициализации параметра и случайность входных данных. Влияние этих источников случайности на распределение входных данных во внутренние слои во время обучения описывается как внутренний ковариативный сдвиг. Хотя четкое точное определение, похоже, отсутствует, феномен, наблюдаемый в экспериментах, - это изменение средних значений и дисперсии входных данных во внутренние слои во время обучения.

Первоначально была предложена пакетная нормализация для смягчения внутреннего ковариантного сдвига.^[3] Во время этапа обучения сетей, когда параметры предыдущих слоев изменяются, распределение входных данных для текущего слоя изменяется соответственно, так что текущий слой должен постоянно подстраиваться под новые распределения. Эта проблема особенно серьезна для глубоких сетей, потому что небольшие изменения в более мелких скрытых слоях будут усиливаться по мере их распространения в сети, что приведет к значительному сдвигу в более глубоких скрытых слоях. Поэтому предлагается метод пакетной нормализации, чтобы уменьшить эти нежелательные сдвиги, чтобы ускорить обучение и создать более надежные модели.

Считается, что помимо уменьшения внутреннего ковариатного сдвига, пакетная нормализация вводит многие другие преимущества. С помощью этой дополнительной операции сеть может использовать более высокие скорость обучения без исчезающих или взрывающихся градиентов. Кроме того, пакетная нормализация, по-видимому, имеет регуляризирующий эффект, так что сеть улучшает свои свойства обобщения, и поэтому нет необходимости использовать выбывать смягчить переоснащение. Также было замечено, что с пакетной нормой сеть становится более устойчивой к различным схемам инициализации и скорости обучения.

Процедуры^[3]

Пакетное нормализующее преобразование

В нейронной сети пакетная нормализация достигается с помощью этапа нормализации, который фиксирует средние и отклонения входных данных каждого уровня. В идеале нормализация должна проводиться по всему обучающему набору, но использовать этот шаг совместно с стохастическая оптимизация методы, глобальную информацию использовать нецелесообразно. Таким образом, нормализация ограничивается каждой мини-серией в процессе обучения.

Использовать B для обозначения мини-партии размера м всего обучающего набора. Эмпирический иметь в виду и отклонение из B таким образом можно обозначить как

${ displaystyle mu _ {B} = { frac {1} {m}} sum _ {i = 1} ^ {m} x_ {i}}$, и ${ displaystyle sigma _ {B} ^ {2} = { frac {1} {m}} sum _ {i = 1} ^ {m} (x_ {i} - mu _ {B}) ^ {2}}$.

Для слоя сети с d-размерный ввод, ${ Displaystyle х = (х ^ {(1)}, ..., х ^ {(d)})}$, каждое измерение его входных данных затем нормализуется (т.е. повторно центрируется и масштабируется) отдельно,

${ displaystyle { hat {x}} _ {i} ^ {(k)} = { frac {x_ {i} ^ {(k)} - mu _ {B} ^ {(k)}} { sqrt { sigma _ {B} ^ {(k) ^ {2}} + epsilon}}}}$, куда ${ Displaystyle к в [1, d]}$ и ${ Displaystyle я в [1, м]}$; ${ displaystyle mu _ {B} ^ {(k)}}$ и ${ displaystyle sigma _ {B} ^ {(k) ^ {2}}}$ - среднее значение и дисперсия по измерениям соответственно.

${ displaystyle epsilon}$ добавляется в знаменатель для числовой устойчивости и является произвольно малой константой. Результирующая нормализованная активация ${ Displaystyle { шляпа {х}} ^ {(к)}}$иметь нулевое среднее и единичную дисперсию, если ${ displaystyle epsilon}$ не принимается во внимание. Чтобы восстановить репрезентативную мощность сети, затем следует этап преобразования:

${ displaystyle y_ {i} ^ {(k)} = gamma ^ {(k)} { hat {x}} _ {i} ^ {(k)} + beta ^ {(k)}}$,

где параметры ${ Displaystyle gamma ^ {(к)}}$ и ${ Displaystyle бета ^ {(к)}}$ впоследствии изучаются в процессе оптимизации.

Формально операция, реализующая пакетную нормализацию, представляет собой преобразование ${ displaystyle BN _ { gamma ^ {(k)}, beta ^ {(k)}}: x_ {1 ... m} ^ {(k)} rightarrow y_ {1 ... m} ^ { (k)}}$ называется преобразованием пакетной нормализации. Выходные данные преобразования BN ${ displaystyle y ^ {(k)} = BN _ { gamma ^ {(k)}, beta ^ {(k)}} (x ^ {(k)})}$ затем передается на другие сетевые уровни, в то время как нормализованный вывод ${ Displaystyle { шляпа {х}} _ {я} ^ {(к)}}$ остается внутренним по отношению к текущему слою.

Обратное распространение

Описанное преобразование BN представляет собой дифференцируемый операции, а градиент потеря л относительно различных параметров можно вычислить напрямую с помощью Правило цепи.

Конкретно, ${ displaystyle { frac { partial l} { partial y_ {i} ^ {(k)}}}}$ зависит от выбора функция активации, а градиент по сравнению с другими параметрами может быть выражено как функция ${ displaystyle { frac { partial l} { partial y_ {i} ^ {(k)}}}}$:

${ displaystyle { frac { partial l} { partial { hat {x}} _ {i} ^ {(k)}}} = { frac { partial l} { partial y_ {i} ^ {(к)}}} gamma ^ {(к)}}$,

${ Displaystyle { frac { partial l} { partial gamma ^ {(k)}}} = sum _ {i = 1} ^ {m} { frac { partial l} { partial y_ { i} ^ {(k)}}} { hat {x}} _ {i} ^ {(k)}}$, ${ displaystyle { frac { partial l} { partial beta ^ {(k)}}} = sum _ {i = 1} ^ {m} { frac { partial l} { partial y_ { i} ^ {(k)}}}}$,
${ displaystyle { frac { partial l} { partial sigma _ {B} ^ {(k) ^ {2}}}} = sum _ {i = 1} ^ {m} { frac { частичный l} { partial y_ {i} ^ {(k)}}} (x_ {i} ^ {(k)} - mu _ {B} ^ {(k)}) left (- { frac { gamma ^ {(k)}} {2}} ( sigma _ {B} ^ {(k) ^ {2}} + epsilon) ^ {- 3/2} right)}$, ${ displaystyle { frac { partial l} { partial mu _ {B} ^ {(k)}}} = sum _ {i = 1} ^ {m} { frac { partial l} { partial y_ {i} ^ {(k)}}} { frac {- gamma ^ {(k)}} { sqrt { sigma _ {B} ^ {(k) ^ {2}} + epsilon}}} + { frac { partial l} { partial sigma _ {B} ^ {(k) ^ {2}}}} { frac {1} {m}} sum _ {i = 1} ^ {m} (- 2) cdot (x_ {i} ^ {(k)} - mu _ {B} ^ {(k)})}$,

и ${ displaystyle { frac { partial l} { partial x_ {i} ^ {(k)}}} = { frac { partial l} { partial { hat {x}} _ {i} ^ {(k)}}} { frac {1} { sqrt { sigma _ {B} ^ {(k) ^ {2}} + epsilon}}} + { frac { partial l} { частичный sigma _ {B} ^ {(k) ^ {2}}}} { frac {2 (x_ {i} ^ {(k)} - mu _ {B} ^ {(k)})} {m}} + { frac { partial l} { partial mu _ {B} ^ {(k)}}} { frac {1} {m}}}$.

Логический вывод с пакетно-нормализованными сетями

На этапе обучения шаги нормализации зависят от мини-пакетов, чтобы обеспечить эффективное и надежное обучение. Однако на этапе вывода эта зависимость больше не используется. Вместо этого этап нормализации на этом этапе вычисляется со статистикой населения, так что выходные данные могут зависеть от входных данных детерминированным образом. Среднее значение населения, ${ Displaystyle Е [х ^ {(к)}]}$, и дисперсия, ${ displaystyle operatorname {Var} [x ^ {(k)}]}$, вычисляются как:

${ Displaystyle E [х ^ {(k)}] = E_ {B} [ mu _ {B} ^ {(k)}]}$, и ${ displaystyle operatorname {Var} [x ^ {(k)}] = { frac {m} {m-1}} E_ {B} [ sigma _ {B} ^ {(k) ^ {2} }]}$.

Таким образом, статистика населения представляет собой полное представление мини-партий.

Таким образом, преобразование BN на этапе вывода становится

${ displaystyle y ^ {(k)} = BN _ { gamma ^ {(k)}, beta ^ {(k)}} ^ { text {inf}} (x ^ {(k)}) = { frac { gamma ^ {(k)}} { sqrt { operatorname {Var} [x ^ {(k)}] + epsilon}}} x ^ {(k)} + { Bigg (} beta ^ {(k)} - { frac { gamma ^ {(k)} E [x ^ {(k)}]} { sqrt { operatorname {Var} [x ^ {(k)}] + epsilon}}} { Bigg)}}$,

куда ${ Displaystyle у ^ {(к)}}$ передается в будущие слои вместо ${ Displaystyle х ^ {(к)}}$. Поскольку параметры в этом преобразовании фиксированы, процедура пакетной нормализации по существу применяет линейное преобразование к активации.

Понимание пакетной нормализации

Хотя пакетная нормализация стала популярным методом из-за своих сильных сторон, рабочий механизм этого метода еще недостаточно изучен. Ученые показывают, что внутренний ковариативный сдвиг существенно не уменьшается при пакетной нормализации, несмотря на распространенное мнение.^[4] Некоторые ученые приписывают хорошую производительность сглаживанию целевой функции, в то время как другие предполагают, что разделение длины и направления является причиной его эффективности.^[4][6]

Пакетная нормализация и внутренний ковариативный сдвиг^[4]

Корреляция между нормализацией партии и внутренним ковариатным сдвигом широко признана, но не подтверждена экспериментальными результатами. Ученые недавно с помощью экспериментов показали, что предполагаемая связь не точна. Скорее, повышенная точность слоя пакетной нормализации, по-видимому, не зависит от внутреннего ковариатного сдвига.

Добавление ковариатного сдвига к слоям пакетной нормализации

Чтобы понять, существует ли какая-либо корреляция между уменьшением ковариатного сдвига и повышением производительности, проводится эксперимент, чтобы выяснить эту связь. В частности, обучаются и сравниваются три модели: стандартная сеть VGG без пакетной нормализации, сеть VGG со слоями пакетной нормализации и сеть VGG со слоями пакетной нормализации и случайным шумом. В третьей модели шум имеет ненулевое среднее значение и неединичную дисперсию и генерируется случайным образом для каждого слоя. Затем он добавляется после слоев нормализации партии, чтобы намеренно ввести ковариативный сдвиг в активацию.

С этими тремя моделями сделаны два наблюдения. Во-первых, третья, зашумленная модель имеет менее стабильные распределения на всех уровнях по сравнению с двумя другими моделями из-за дополнительного слоя шума. Несмотря на шум, точность обучения второй и третьей модели схожа и выше, чем у первой модели. Хотя внутренние ковариатные сдвиги больше на всех уровнях, модель с пакетной нормализацией по-прежнему работает лучше, чем стандартная модель VGG. Таким образом, можно сделать вывод, что внутренний ковариационный сдвиг не может быть фактором, влияющим на производительность пакетной нормализации.

Измерение внутреннего ковариального сдвига с использованием слоев пакетной нормализации и без них

Так как предполагается, что слои пакетной нормализации могут уменьшить внутренний ковариационный сдвиг, проводится эксперимент, чтобы количественно измерить, насколько уменьшен ковариационный сдвиг. Во-первых, необходимо математически определить понятие внутреннего ковариатного сдвига. В частности, для количественной оценки корректировки, которую параметры слоя вносят в ответ на обновления в предыдущих слоях, измеряется корреляция между градиентами потерь до и после обновления всех предыдущих слоев, поскольку градиенты могут захватывать сдвиги от обучения первого порядка. метод. Если сдвиг, вносимый изменениями в предыдущих слоях, невелик, то корреляция между градиентами будет близка к 1.

Корреляция между градиентами вычисляется для четырех моделей: стандартной сети VGG, сети VGG с уровнями пакетной нормализации, глубокой линейной сети с 25 уровнями (DLN), обученной с помощью полного пакетного градиентного спуска, и сети DLN с уровнями пакетной нормализации . Интересно, что показано, что стандартные модели VGG и DLN имеют более высокую корреляцию градиентов по сравнению с их аналогами, что указывает на то, что дополнительные уровни пакетной нормализации не уменьшают внутренний ковариационный сдвиг.

Гладкость оптимизационного ландшафта^[4]

Некоторые ученые предложили и доказали, что пакетная нормализация может внести большую липшицевость в потери и градиент во время обучения, и что эта улучшенная гладкость может объяснить ее высокую производительность. Эти эффекты можно наблюдать, сравнивая сети VGG, обученные с пакетной нормализацией и без нее, а также согласуется с другими сетями, такими как линейные глубокие сети. В частности, наблюдается, что потери меняются меньше, а градиенты потерь имеют меньшие величины и более липшицевы. Более того, пакетные нормализованные модели сравниваются с моделями с различными методами нормализации. В частности, эти методы нормализации работают, сначала фиксируя момент активации первого порядка, а затем нормализуя его на среднее значение ${ displaystyle l_ {p}}$ норма. Таким образом, эти методы имеют больший сдвиг распределения, но более плавный ландшафт. Очевидно, что эти модели дают такую ​​же производительность, что и нормализованные модели. Таким образом, эта двусторонняя связь может указывать на то, что гладкость оптимизационного ландшафта может быть фактором, способствующим превосходной производительности пакетной нормализации.

Помимо экспериментального анализа этой корреляции, также предоставляется теоретический анализ для проверки того, что пакетная нормализация может привести к более гладкому ландшафту. Рассмотрим две идентичные сети, одна из которых содержит уровни пакетной нормализации, а другая - нет, затем сравнивается поведение этих двух сетей. Обозначим функции потерь как ${ displaystyle L}$ и ${ displaystyle { hat {L}}}$, соответственно. Пусть вход в обе сети будет ${ displaystyle x}$, и выход будет ${ displaystyle y}$, для которого ${ displaystyle y = Wx}$, куда ${ displaystyle W}$ - веса слоя. Для второй сети ${ displaystyle y}$ дополнительно проходит через слой пакетной нормализации. Обозначим нормализованную активацию как ${ displaystyle { hat {y}}}$, который имеет нулевое среднее значение и единичную дисперсию. Пусть преобразованная активация будет ${ Displaystyle г = гамма { шляпа {у}} + бета}$, и предположим ${ displaystyle gamma}$ и ${ displaystyle beta}$ являются константами. Наконец, обозначьте стандартное отклонение для мини-партии. ${ displaystyle { hat {y_ {j}}} in mathbb {R} ^ {m}}$ в качестве ${ displaystyle sigma _ {j}}$.

Во-первых, можно показать, что величина градиента пакетной нормализованной сети, ${ displaystyle || triangledown _ {y_ {i}} { hat {L}} ||}$, ограничена, причем оценка выражается как

${ displaystyle || triangledown _ {y_ {i}} { hat {L}} || ^ {2} leq { frac { gamma ^ {2}} { sigma _ {j} ^ {2 }}} { Bigg (} || triangledown _ {y_ {i}} L || ^ {2} - { frac {1} {m}} langle 1, triangledown _ {y_ {i}} L rangle ^ {2} - { frac {1} {m}} langle triangledown _ {y_ {i}} L, { hat {y}} _ {j} rangle ^ {2} { bigg)}}$.

Поскольку величина градиента представляет собой Липшицевость потери, это соотношение указывает на то, что пакетная нормализованная сеть могла бы сравнительно достичь большей липшицевости. Обратите внимание, что граница становится более жесткой, когда градиент ${ displaystyle triangledown _ {y_ {i}} { hat {L}}}$ коррелирует с активацией ${ displaystyle { hat {y_ {i}}}}$, что является обычным явлением. Масштабирование ${ displaystyle { frac { gamma ^ {2}} { sigma _ {j} ^ {2}}}}$ также является значительным, так как дисперсия часто бывает большой.

Во-вторых, квадратичная форма гессиана потерь относительно активации в направлении градиента может быть ограничена как

${ displaystyle ( triangledown _ {y_ {j}} { hat {L}}) ^ {T} { frac { partial { hat {L}}} { partial y_ {j} partial y_ { j}}} ( triangledown _ {y_ {j}} { hat {L}}) leq { frac { gamma ^ {2}} { sigma ^ {2}}} { bigg (} { frac { partial { hat {L}}} { partial y_ {j}}} { bigg)} ^ {T} { bigg (} { frac { partial L} { partial y_ {j } partial y_ {j}}} { bigg)} { bigg (} { frac { partial { hat {L}}} { partial y_ {j}}} { bigg)} - { frac { gamma} {m sigma ^ {2}}} langle triangledown _ {y_ {j}} L, { hat {y_ {j}}} rangle { bigg |} { bigg |} { frac { partial { hat {L}}} { partial y_ {j}}} { bigg |} { bigg |} ^ {2}}$.

Масштабирование ${ displaystyle { frac { gamma ^ {2}} { sigma _ {j} ^ {2}}}}$ указывает, что гессиан потерь устойчив к дисперсии мини-партии, тогда как второй член в правой части предполагает, что он становится более плавным, когда Гессен и внутренний продукт неотрицательны. Если потеря локально выпуклый, то гессиан равен положительный полуопределенный, а внутренний продукт положителен, если ${ displaystyle { hat {g_ {j}}}}$ находится в направлении минимума убытка. Таким образом, из этого неравенства можно сделать вывод, что градиент обычно становится более предсказуемым с помощью слоя пакетной нормализации.

Затем следует перевести границы, связанные с потерями по отношению к нормализованной активации, к границе потерь по весам сети:

${ displaystyle { hat {g_ {j}}} leq { frac { gamma ^ {2}} { sigma _ {j} ^ {2}}} (g_ {j} ^ {2} -m mu _ {g_ {j}} ^ {2} - lambda ^ {2} langle triangledown _ {y_ {j}} L, { hat {y}} _ {j} rangle ^ {2} )}$, куда ${ displaystyle g_ {j} = max_ {|| X || leq lambda} || triangledown _ {W} L || ^ {2}}$ и ${ displaystyle { hat {g}} _ {j} = max_ {|| X || leq lambda} || triangledown _ {W} { hat {L}} || ^ {2}}$.

В дополнение к более плавному ландшафту, далее показано, что пакетная нормализация может привести к лучшей инициализации при следующем неравенстве:

${ displaystyle || W_ {0} - { hat {W}} ^ {*} || ^ {2} leq || W_ {0} -W ^ {*} || ^ {2} - { frac {1} {|| W ^ {*} || ^ {2}}} (|| W ^ {*} || ^ {2} - langle W ^ {*}, W_ {0} rangle) ^ {2}}$, куда ${ Displaystyle W ^ {*}}$ и ${ displaystyle { hat {W}} ^ {*}}$ - локальные оптимальные веса для двух сетей соответственно.

Некоторые ученые утверждают, что приведенный выше анализ не может полностью охватить производительность пакетной нормализации, потому что доказательство касается только наибольшего собственного значения или, что эквивалентно, одного направления ландшафта во всех точках. Предполагается, что для проведения окончательного анализа необходимо принять во внимание весь собственный спектр.^[6]

Противоинтуитивная грубость оптимизационного ландшафта при инициализации^[5]

Хотя изначально батчорм был введен для облегчения проблемы исчезновения градиента или взрыва, на самом деле глубокая сеть батчнорма страдает от градиентного взрыва во время инициализации, независимо от того, что он использует для нелинейности. Таким образом, оптимизация для случайно инициализированной сети с глубоким батчнормом очень далека от гладкости, а точнее, если в сети есть ${ displaystyle L}$ слоев, то градиент весов первого слоя имеет норму ${ Displaystyle> с лямбда ^ {L}}$ для некоторых ${ displaystyle lambda> 1, c> 0}$ зависит только от нелинейности. Для любой фиксированной нелинейности ${ displaystyle lambda}$ уменьшается с увеличением размера партии. Например, для ReLU, ${ displaystyle lambda}$ уменьшается до ${ Displaystyle пи / ( пи -1) приблизительно 1,467}$ поскольку размер пакета стремится к бесконечности. На практике это означает, что глубокие сети батчнорма не поддаются обучению. Это облегчается только путем пропуска соединений в стиле остаточных сетей.

Этот градиентный взрыв на поверхности противоречит гладкость свойство объяснялось в предыдущем разделе, но на самом деле они согласованы. В предыдущем разделе изучается эффект вставки одного батчнорма в сеть, в то время как градиентный взрыв зависит от суммирования пакетных форм, типичных для современных глубоких нейронных сетей.

Развязка по длине и направлению^[6]

Утверждается, что успех пакетной нормализации может быть, по крайней мере, частично связан с эффектом разделения длины и направления, который обеспечивает этот метод.

Интерпретируя процедуру пакетной нормализации как повторную параметризацию весового пространства, можно было бы показать, что длина и направление весов разделены после процедуры, и, таким образом, их можно обучать отдельно. Для конкретного блока нейронной сети с входом ${ displaystyle x}$ и весовой вектор ${ displaystyle w}$, обозначим его выход как ${ Displaystyle е (ш) = Е_ {х} [ фи (х ^ {T} ш)]}$, куда ${ displaystyle phi}$ - функция активации, и обозначим ${ Displaystyle S = E [хх ^ {T}]}$. Предположить, что ${ displaystyle E [x] = 0}$, и что спектр матрицы ${ displaystyle S}$ ограничено как ${ displaystyle 0 < mu = lambda _ {min} (S)}$, ${ Displaystyle L = лямбда _ {макс} (S) < infty}$, так что ${ displaystyle S}$ симметрично положительно определено. Таким образом, добавление пакетной нормализации к этому модулю приводит к

${ displaystyle f_ {BN} (w, gamma, beta) = E_ {x} [ phi (BN (x ^ {T} w))] = E_ {x} { bigg [} phi { bigg (} gamma ({ frac {x ^ {T} w-E_ {x} [x ^ {T} w]} {var_ {x} [x ^ {T} w] ^ {1/2}} }) + beta { bigg)} { bigg]}}$, по определению.

Термин дисперсии можно упростить так, чтобы ${ displaystyle var_ {x} [x ^ {T} w] = w ^ {T} Sw}$. Предположить, что ${ displaystyle x}$ имеет нулевое среднее и ${ displaystyle beta}$ можно опустить, то отсюда следует, что

${ displaystyle f_ {BN} (w, gamma) = E_ {x} { bigg [} phi { bigg (} gamma { frac {x ^ {T} w} {(w ^ {T}) Св) ^ {1/2}}} { bigg)} { bigg]}}$, куда ${ displaystyle (ш ^ {T} Sw) ^ { frac {1} {2}}}$ индуцированная норма ${ displaystyle S}$, ${ displaystyle || w || _ {s}}$.

Отсюда можно сделать вывод, что ${ displaystyle f_ {BN} (w, gamma) = E_ {x} [ phi (x ^ {T} { tilde {w}})]}$, куда ${ displaystyle { tilde {w}} = gamma { frac {w} {|| w || _ {s}}}}$, и ${ displaystyle gamma}$ и ${ displaystyle w}$ отдельно учитывает его длину и направление. Это свойство затем можно было бы использовать для доказательства более быстрой сходимости проблем с пакетной нормализацией.

Линейная сходимость задачи наименьших квадратов с пакетной нормализацией

С помощью интерпретации повторной параметризации затем можно было бы доказать, что применение пакетной нормализации к обычной задаче наименьших квадратов обеспечивает линейную скорость сходимости при градиентном спуске, которая быстрее, чем обычный градиентный спуск только с сублинейной сходимостью.

Обозначим цель минимизации обычной задачи наименьших квадратов как

${ displaystyle min _ {{ tilde {w}} in R ^ {d}} f_ {OLS} ({ tilde {w}}) = min _ {{ tilde {w}} in R ^ {d} } (E_ {x, y} [(yx ^ {T} { tilde {w}}) ^ {2}]) = min _ {{ tilde {w}} in R ^ {d}} (2u ^ {T} { tilde {w}} + { tilde {w}} ^ {T} S { tilde {w}})}$, куда ${ displaystyle u = E [-yx]}$.

С ${ displaystyle { tilde {w}} = gamma { frac {w} {|| w || _ {s}}}}$, таким образом, цель становится

${ displaystyle min_ {w in R ^ {d} backslash {0 }, gamma in R} f_ {OLS} (w, gamma) = min_ {w in R ^ {d} backslash {0 }, gamma in R} { bigg (} 2 gamma { frac {u ^ {T} w} {|| w || _ {S} + gamma ^ {2}}} { bigg)}}$, где 0 исключен, чтобы избежать 0 в знаменателе.

Поскольку цель выпуклая по отношению к ${ displaystyle gamma}$, его оптимальное значение можно рассчитать, установив частную производную цели против ${ displaystyle gamma}$ до 0. Задачу можно упростить, чтобы

${ displaystyle min_ {w in R ^ {d} backslash {0 }} rho (w) = min_ {w in R ^ {d} backslash {0 }} { bigg (} - { frac {w ^ {T} uu ^ {T} w} {w ^ {T} Sw}} { bigg)}}$.

Обратите внимание, что эта цель представляет собой форму обобщенного фактора Рэлея.

${ Displaystyle { тильда { rho}} (ш) = { гидроразрыва {w ^ {T} Bw} {w ^ {T} Aw}}}$, куда ${ displaystyle B in R ^ {d times d}}$ является симметричной матрицей и ${ displaystyle A in R ^ {d times d}}$ симметричный положительно определенный матрица.

Доказано, что скорость сходимости градиентного спуска обобщенного Фактор Рэлея является

${ displaystyle { frac { lambda _ {1} - rho (w_ {t + 1})} { rho (w_ {t + 1} - lambda _ {2})}} leq { bigg (} 1 - { frac { lambda _ {1} - lambda _ {2}} { lambda _ {1} - lambda _ {min}}} { bigg)} ^ {2t} { frac { lambda _ {1} - rho (w_ {t})} { rho (w_ {t}) - lambda _ {2}}}}$, куда ${ displaystyle lambda _ {1}}$ самый большой собственное значение из ${ displaystyle B}$, ${ displaystyle lambda _ {2}}$ - второе по величине собственное значение ${ displaystyle B}$, и ${ displaystyle lambda _ {min}}$ наименьшее собственное значение ${ displaystyle B}$.^[7]

В нашем случае ${ displaystyle B = uu ^ {T}}$является матрицей ранга один, и результат сходимости можно соответственно упростить. В частности, рассмотрим шаги градиентного спуска в форме ${ displaystyle w_ {t + 1} = w_ {t} - eta _ {t} triangledown rho (w_ {t})}$ с размером шага ${ displaystyle eta _ {t} = { frac {w_ {t} ^ {T} Sw_ {t}} {2L | rho (w_ {t}) |}}}$, и начиная с ${ displaystyle rho (w_ {0}) neq 0}$, тогда

${ displaystyle rho (w_ {t}) - rho (w ^ {*}) leq { bigg (} 1 - { frac { mu} {L}} { bigg)} ^ {2t} ( rho (w_ {0}) - rho (w ^ {*}))}$.

Линейная сходимость задачи обучающего полупространства с пакетной нормализацией

Проблема изучения полупространств относится к обучению Перцептрон, которая представляет собой простейшую форму нейронной сети. Задача оптимизации в этом случае:

${ displaystyle min _ {{ tilde {w}} in R ^ {d}} f_ {LH} ({ tilde {w}}) = E_ {y, x} [ phi (z ^ {T} { тильда {w}})]}$, куда ${ displaystyle z = -yx}$ и ${ displaystyle phi}$ - произвольная функция потерь.

Предположим, что ${ displaystyle phi}$ бесконечно дифференцируема и имеет ограниченную производную. Предположим, что целевая функция ${ displaystyle f_ {LH}}$ является ${ displaystyle zeta}$-гладкий, и это решение ${ displaystyle alpha ^ {*} = argmin _ { alpha} || triangledown f ( alpha w) || ^ {2}}$ существует и ограничен так, что ${ displaystyle - infty < alpha ^ {*} < infty}$. Также предположим ${ displaystyle z}$ это многомерная нормальная случайная величина. Используя предположение Гаусса, можно показать, что все критические точки лежат на одной линии при любом выборе функции потерь ${ displaystyle phi}$. В частности, градиент ${ displaystyle f_ {LH}}$ можно было бы представить как

${ displaystyle triangledown _ { tilde {w}} f_ {LH} ({ tilde {w}}) = c_ {1} ({ tilde {w}}) u + c_ {2} ({ tilde {w}}) S { tilde {w}}}$, куда ${ displaystyle c_ {1} ({ tilde {w}}) = E_ {z} [ phi ^ {(1)} (z ^ {T} { tilde {w}})] - E_ {z} [ phi ^ {(2)} (z ^ {T} { tilde {w}})] (u ^ {T} { tilde {w}})}$, ${ Displaystyle c_ {2} ({ тильда {w}}) = E_ {z} [ phi ^ {(2)} (z ^ {T} { тильда {w}})]}$, и ${ Displaystyle phi ^ {(я)}}$ это ${ displaystyle i}$-я производная от ${ displaystyle phi}$.

Таким образом, установив градиент равным 0, получаем, что ограниченные критические точки ${ displaystyle { tilde {w}} _ {*}}$ можно выразить как ${ displaystyle { tilde {w}} _ {*} = g _ {*} S ^ {- 1} u}$, куда ${ displaystyle g _ {*}}$ зависит от ${ displaystyle { tilde {w}} _ {*}}$ и ${ displaystyle phi}$. Комбинируя это глобальное свойство с разделением длины и направления, можно, таким образом, доказать, что эта оптимизационная задача сходится линейно.

Во-первых, вариант градиентный спуск с пакетной нормализацией, Gradient Descent in Normalized Paramterization (GDNP), предназначен для целевой функции ${ displaystyle min_ {вес in R ^ {d} обратная косая черта {0 }, gamma in R} f_ {LH} (w, gamma)}$, так что направление и длина грузов обновляются отдельно. Обозначим критерий остановки GDNP как

${ displaystyle h (w_ {t}, gamma _ {t}) = E_ {z} [ phi '(z ^ {T} { tilde {w}} _ {t})] (u ^ {T } w_ {t}) - E_ {z} [ phi '' (z ^ {T} { tilde {w}} _ {t})] (u ^ {T} w_ {t}) ^ {2} }$.

Пусть размер шага будет

${ displaystyle s_ {t} = s (w_ {t}, gamma _ {t}) = - { frac {|| w_ {t} || _ {S} ^ {3}} {Lg_ {t} h (w_ {t}, gamma _ {t})}}}$.

Для каждого шага, если ${ Displaystyle ч (ш_ {т}, гамма _ {т}) neq 0}$, затем обновите направление как

${ displaystyle w_ {t + 1} = w_ {t} -s_ {t} triangledown _ {w} f (w_ {t}, gamma _ {t})}$.

Затем обновите длину в соответствии с

${ displaystyle gamma _ {t} = деление пополам (T_ {s}, f, w_ {t})}$, куда ${ displaystyle Bisection ()}$ классический алгоритм деления пополам, и ${ displaystyle T_ {s}}$ - общее количество итераций, выполненных на шаге деления пополам.

Обозначим общее количество итераций как ${ displaystyle T_ {d}}$, то окончательный результат GDNP будет

${ displaystyle { tilde {w}} _ {T_ {d}} = gamma _ {T_ {d}} { frac {w_ {T_ {d}}} {|| w_ {T_ {d}} | | _ {S}}}}$.

Таким образом, алгоритм GDNP немного изменяет этап пакетной нормализации для упрощения математического анализа.

Можно показать, что в GDNP частная производная от ${ displaystyle f_ {LH}}$по отношению к компоненту длины сходится к нулю с линейной скоростью, так что

${ displaystyle ( partial _ { gamma} f_ {LH} (w_ {t}, a_ {t} ^ {(T_ {s})}) ^ {2} leq { frac {2 ^ {- T_ {s}} zeta | b_ {t} ^ {(0)} - a_ {t} ^ {(0)} |} { mu ^ {2}}}}$, куда ${ displaystyle a_ {t} ^ {(0)}}$ и ${ displaystyle b_ {t} ^ {0}}$ - две начальные точки алгоритма деления пополам слева и справа соответственно.

Далее для каждой итерации норма градиента ${ displaystyle f_ {LH}}$ относительно ${ displaystyle w}$ сходится линейно, так что

${ displaystyle || w_ {t} || _ {S} ^ {2} || triangledown f_ {LH} (w_ {t}, g_ {t}) || _ {S ^ {- 1}} ^ {2} leq { bigg (} 1 - { frac { mu} {L}} { bigg)} ^ {2t} Phi ^ {2} gamma _ {t} ^ {2} ( ро (w_ {0}) - rho ^ {*})}$.

Комбинируя эти два неравенства, можно таким образом получить оценку градиента относительно ${ displaystyle { tilde {w}} _ {T_ {d}}}$:

${ displaystyle || triangledown _ { tilde {w}} f ({ tilde {w}} _ {T_ {d}}) || ^ {2} leq { bigg (} 1 - { frac { mu} {L}} { bigg)} ^ {2T_ {d}} Phi ^ {2} ( rho (w_ {0}) - rho ^ {*}) + { frac {2 ^ {-T_ {s}} zeta | b_ {t} ^ {(0)} - a_ {t} ^ {(0)} |} { mu ^ {2}}}}$, так что алгоритм гарантированно линейно сходится.

Хотя доказательство основано на предположении о гауссовском вводе, в экспериментах также показано, что GDNP может ускорить оптимизацию без этого ограничения.

Линейная сходимость нейронных сетей с пакетной нормализацией

Рассмотрим многослойный персептрон (MLP) с одним скрытым слоем и ${ displaystyle m}$ скрытые блоки с отображением на входе ${ Displaystyle х в R ^ {d}}$ к скалярному выходу, описанному как

${ displaystyle F_ {x} ({ tilde {W}}, Theta) = sum _ {i = 1} ^ {m} theta _ {i} phi (x ^ {T} { tilde { ш}} ^ {(я)})}$, куда ${ Displaystyle { тильда {ш}} ^ {(я)}}$ и ${ displaystyle theta _ {я}}$ - входной и выходной веса единицы ${ displaystyle i}$ соответственно, и ${ displaystyle phi}$ - функция активации и считается функция tanh.

Затем веса ввода и вывода могут быть оптимизированы с помощью

${ displaystyle min _ {{ tilde {W}}, Theta} (f_ {NN} ({ tilde {W}}, Theta) = E_ {y, x} [l (-yF_ {x} ({ tilde {W}}, Theta))])}$, куда ${ displaystyle l}$ - функция потерь, ${ Displaystyle { тильда {W}} = {{ тильда {w}} ^ {(1)}, ..., { тильда {w}} ^ {(м)} }}$, и ${ Displaystyle Theta = { theta ^ {(1)}, ..., theta ^ {(m)} }}$.

Считайте фиксированным ${ displaystyle Theta}$ и только оптимизация ${ displaystyle { tilde {W}}}$, можно показать, что критические точки ${ displaystyle f_ {NN} ({ тильда {W}})}$ конкретного скрытого блока ${ displaystyle i}$, ${ Displaystyle { шляпа {ш}} ^ {(я)}}$, все выравниваются по одной линии в зависимости от входящей информации в скрытый слой, так что

${ Displaystyle { шляпа {ш}} ^ {(я)} = { шляпа {c}} ^ {(я)} S ^ {- 1} u}$, куда ${ displaystyle { hat {c}} ^ {(i)} in R}$ скаляр, ${ Displaystyle я = 1, ..., м}$.

Этот результат можно было бы доказать, задав градиент ${ displaystyle f_ {NN}}$ к нулю и решив систему уравнений.

Примените алгоритм GDNP к этой задаче оптимизации, чередуя оптимизацию по различным скрытым блокам. В частности, для каждого скрытого блока запустите GDNP, чтобы найти оптимальную ${ displaystyle W}$ и ${ displaystyle gamma}$. При таком же выборе критерия остановки и размера шага следует, что

${ displaystyle || triangledown _ {{ tilde {w}} ^ {(i)}} f ({ tilde {w}} _ {t} ^ {(i)}) || _ {S ^ { -1}} ^ {2} leq { bigg (} 1 - { frac { mu} {L}} { bigg)} ^ {2t} C ( rho (w_ {0}) - rho ^ {*}) + { frac {2 ^ {- T_ {s} ^ {(i)}} zeta | b_ {t} ^ {(0)} - a_ {t} ^ {(0)} | } { mu ^ {2}}}}$.

Поскольку параметры каждого скрытого блока сходятся линейно, вся задача оптимизации имеет линейную скорость сходимости.

Рекомендации

• Иоффе, Сергей; Сегеди, Кристиан (2015). «Пакетная нормализация: ускорение глубокого обучения сети за счет уменьшения внутреннего ковариантного сдвига», ICML'15: Материалы 32-й Международной конференции по машинному обучению - Том 37, июль 2015 г. Стр. 448–456