Выпрямитель (нейронные сети) - Rectifier (neural networks)

График работы выпрямителя ReLU (синий) и GELU (зеленый) рядом с Икс = 0

В контексте искусственные нейронные сети, то выпрямитель является функция активации определяется как положительная часть его аргумента:

${ Displaystyle е (х) = х ^ {+} = макс (0, х)}$

куда Икс это вход в нейрон. Это также известно как функция рампы и аналогичен полуволновое выпрямление в электротехнике.

Этот функция активации был впервые представлен динамической сети Ханлозером и др. в 2000 г.^{[сомнительный – обсуждать]} с сильным биологический мотивации и математические обоснования.^[1][2] Это было впервые продемонстрировано в 2011 году, чтобы обеспечить лучшее обучение более глубоких сетей,^[3] по сравнению с широко используемыми функциями активации до 2011 г., например, логистическая сигмовидная (вдохновленный теория вероятности; видеть логистическая регрессия ) и его более практичный^[4] коллега, гиперболический тангенс. Выпрямитель, по состоянию на 2017 г.^{[Обновить]}, самая популярная функция активации для глубокие нейронные сети.^[5]

Блок, использующий выпрямитель, также называется выпрямленный линейный блок (ReLU).^[6]

Выпрямленные линейные блоки находят применение в компьютерное зрение^[3] и распознавание речи^[7][8] с помощью глубокие нейронные сети и вычислительная нейробиология.^[9][10][11]

Преимущества

• Биологическое правдоподобие: одностороннее по сравнению с антисимметрия из танх.^{[non sequitur ]}
• Разреженная активация: например, в случайно инициализированной сети активируется только около 50% скрытых модулей (с ненулевым выходом).
• Лучшее распространение градиента: меньше исчезающий градиент проблемы по сравнению с сигмоидальными функциями активации, которые насыщаются в обоих направлениях.^[3]
• Эффективные вычисления: только сравнение, сложение и умножение.
• Масштабно-инвариантный: ${ Displaystyle макс (0, топор) = а макс (0, х) { текст {для}} а geq 0}$.

Выпрямляющие функции активации использовались для разделения специфического возбуждения и неспецифического торможения в пирамиде нейронной абстракции, которая обучалась под наблюдением для изучения нескольких задач компьютерного зрения.^[12] В 2011,^[3] было показано, что использование выпрямителя в качестве нелинейности обеспечивает глубокое обучение под наблюдением нейронные сети без необходимости без присмотра предварительная подготовка. Выпрямленные линейные блоки, по сравнению с сигмовидная функция или аналогичные функции активации, позволяют более быстро и эффективно обучать глубокие нейронные архитектуры на больших и сложных наборах данных.

Потенциальные проблемы

• Недифференцируемый в нуле; однако она дифференцируема в любом другом месте, и значение производной в нуле может быть произвольно выбрано равным 0 или 1.
• Не с нулевым центром.
• Безграничный.
• Проблема умирающего ReLU: нейроны ReLU иногда могут быть переведены в состояния, в которых они становятся неактивными практически для всех входов. В этом состоянии через нейрон не текут градиенты, и поэтому нейрон застревает в постоянно неактивном состоянии и «умирает». Это форма проблема исчезающего градиента. В некоторых случаях большое количество нейронов в сети может застрять в мертвых состояниях, эффективно уменьшая емкость модели. Эта проблема обычно возникает, когда скорость обучения установлена ​​слишком высоко. Его можно уменьшить, используя вместо этого негерметичные ReLU, которые задают небольшой положительный наклон для Икс <0, однако производительность снижается.

Варианты

Линейная единица измерения ошибки Гаусса (GELU)

GELU - это плавное приближение к выпрямителю. Он имеет немонотонный «выпуклость», когда x <0, и служит активацией по умолчанию для таких моделей, как БЕРТ.^[13]

${ Displaystyle е (х) = х cdot Phi (x)}$,

где Φ (x) - кумулятивная функция распределения стандарта нормальное распределение.

SiLU

SiLU (Sigmoid Linear Unit) - еще одно гладкое приближение, впервые представленное в статье GELU.^[13]

${ Displaystyle е (х) = х cdot operatorname {сигмоид} (х)}$

Softplus

Гладкое приближение к выпрямителю - это аналитическая функция

${ Displaystyle е (х) = пер (1 + е ^ {х}),}$

который называется softplus^[14][3] или же SmoothReLU функция.^[15] Для большого негатива ${ displaystyle x}$ это о ${ displaystyle e ^ {x}}$ так что чуть выше 0, а для больших положительных ${ displaystyle x}$ о ${ Displaystyle х + е ^ {- х}}$ так чуть выше ${ displaystyle x}$.

Параметр резкости ${ displaystyle k}$ могут быть включены:

${ Displaystyle е (х) = { гидроразрыва { ln (1 + е ^ {kx})} {k}}}$

Производной softplus является логистическая функция. Начиная с параметрической версии,

${ displaystyle f '(x) = { frac {e ^ {kx}} {1 + e ^ {kx}}} = { frac {1} {1 + e ^ {- kx}}}}$

Логистическая сигмовидная функция является гладкой аппроксимацией производной выпрямителя, Ступенчатая функция Хевисайда.

Многопараметрическое обобщение softplus с одной переменной - это LogSumExp с первым аргументом, установленным в ноль:

${ displaystyle operatorname {LSE_ {0}} ^ {+} (x_ {1}, ..., x_ {n}): = operatorname {LSE} (0, x_ {1}, ..., x_ {n}) = log left (1 + e ^ {x_ {1}} + cdots + e ^ {x_ {n}} right).}$

Функция LogSumExp

${ displaystyle operatorname {LSE} (x_ {1}, dots, x_ {n}) = log left (e ^ {x_ {1}} + cdots + e ^ {x_ {n}} right ),}$

и его градиент - это softmax; softmax с первым аргументом, установленным в ноль, является многовариантным обобщением логистической функции. И LogSumExp, и softmax используются в машинном обучении.

Дырявый ReLU

Утечки ReLU допускают небольшой положительный градиент, когда устройство неактивно.^[8]

${ displaystyle f (x) = { begin {cases} x & { text {if}} x> 0, 0,01x & { text {else}}. end {cases}}}$

Параметрическое ReLU

Параметрические ReLU (PReLU) развивают эту идею дальше, превращая коэффициент утечки в параметр, который изучается вместе с другими параметрами нейронной сети.^[16]

${ displaystyle f (x) = { begin {cases} x & { text {if}} x> 0, ax & { text {else}}. end {cases}}}$

Обратите внимание, что для a ≤ 1 это эквивалентно

${ Displaystyle е (х) = макс (х, топор)}$

и таким образом имеет отношение к сетям "maxout".^[16]

ELU

Экспоненциальные линейные единицы пытаются приблизить среднее значение активации к нулю, что ускоряет обучение. Было показано, что ELU могут получить более высокую точность классификации, чем ReLU.^[17]

${ displaystyle f (x) = { begin {case} x & { text {if}} x> 0, a (e ^ {x} -1) & { text {else}}, end { случаи}}}$

куда ${ displaystyle a}$ это гиперпараметр быть настроенным, и ${ displaystyle a geq 0}$ это ограничение.

Смотрите также

• Функция Softmax
• Сигмовидная функция
• Модель Tobit

Рекомендации