Гладкий максимум - Smooth maximum

В математика, а гладкий максимум из индексированная семья Икс₁, ..., Икс_п чисел - это гладкое приближение к максимум функция ${ Displaystyle макс (x_ {1}, ldots, x_ {n}),}$ имея в виду параметрическая семья функций ${ Displaystyle м _ { альфа} (x_ {1}, ldots, x_ {n})}$ так что для каждого α, функция ${ displaystyle m _ { alpha}}$ гладко, и семейство сходится к максимальной функции ${ Displaystyle м _ { альфа} до макс}$ в качестве ${ displaystyle alpha to infty}$. Концепция чего-либо гладкий минимум аналогично определяется. Во многих случаях одно семейство аппроксимирует оба: максимум, когда параметр стремится к положительной бесконечности, минимальный, когда параметр стремится к отрицательной бесконечности; в символах, ${ Displaystyle м _ { альфа} до макс}$ в качестве ${ displaystyle alpha to infty}$ и ${ displaystyle m _ { alpha} to min}$ в качестве ${ displaystyle alpha to - infty}$. Этот термин также можно свободно использовать для конкретной гладкой функции, которая ведет себя аналогично максимуму, не обязательно являясь частью параметризованного семейства.

Примеры

Smoothmax применяется к функциям '-x' и x с различными коэффициентами. Очень гладко для ${ displaystyle alpha}$= 0,5 и резче для ${ displaystyle alpha}$=8.

При больших положительных значениях параметра ${ displaystyle alpha> 0}$, следующая формулировка является гладкой, дифференцируемый приближение функции максимума. Для отрицательных значений параметра, больших по модулю, он приближается к минимуму.

${ displaystyle { mathcal {S}} _ { alpha} (x_ {1}, ldots, x_ {n}) = { frac { sum _ {i = 1} ^ {n} x_ {i} e ^ { alpha x_ {i}}} { sum _ {i = 1} ^ {n} e ^ { alpha x_ {i}}}}}$

${ displaystyle { mathcal {S}} _ { alpha}}$ обладает следующими свойствами:

1. ${ displaystyle { mathcal {S}} _ { alpha} to max}$ в качестве ${ displaystyle alpha to infty}$
2. ${ displaystyle { mathcal {S}} _ {0}}$ это среднее арифметическое его входов
3. ${ displaystyle { mathcal {S}} _ { alpha} to min}$ в качестве ${ displaystyle alpha to - infty}$

Градиент ${ displaystyle { mathcal {S}} _ { alpha}}$ тесно связан с softmax и дается

${ displaystyle nabla _ {x_ {i}} { mathcal {S}} _ { alpha} (x_ {1}, ldots, x_ {n}) = { frac {e ^ { alpha x_ { i}}} { sum _ {j = 1} ^ {n} e ^ { alpha x_ {j}}}} [1+ alpha (x_ {i} - { mathcal {S}} _ { альфа} (x_ {1}, ldots, x_ {n}))].}$

Это делает функцию softmax полезной для методов оптимизации, использующих градиентный спуск.

LogSumExp

Еще один плавный максимум - LogSumExp:

${ Displaystyle mathrm {LSE} _ { alpha} (x_ {1}, ldots, x_ {n}) = 1 / alpha log ( exp ( alpha x_ {1}) + ldots + ехр ( альфа x_ {n}))}$

Это также можно нормализовать, если ${ displaystyle x_ {i}}$ все неотрицательны, что дает функцию с областью определения ${ Displaystyle [0, infty) ^ {п}}$ и диапазон ${ displaystyle [0, infty)}$:

${ Displaystyle г (x_ {1}, ldots, x_ {n}) = log ( exp (x_ {1}) + ldots + exp (x_ {n}) - (n-1))}$

В ${ Displaystyle (п-1)}$ срок исправляет тот факт, что ${ Displaystyle ехр (0) = 1}$ отбрасывая все экспоненты, кроме одной, и ${ displaystyle log 1 = 0}$ я упал ${ displaystyle x_ {i}}$ равны нулю.

р-Норма

Еще один плавный максимум - это p-норма:

${ displaystyle || (x_ {1}, ldots, x_ {n}) || _ {p} = left (| x_ {1} | ^ {p} + cdots + | x_ {n} | ^ {p} right) ^ {1 / p}}$

который сходится к ${ displaystyle || (x_ {1}, ldots, x_ {n}) || _ { infty} = max _ {1 leq i leq n} | x_ {i} |}$ в качестве ${ displaystyle p to infty}$.

Преимущество p-нормы в том, что это норма. Таким образом, он «масштабно инвариантен» (однороден): ${ displaystyle || ( lambda x_ {1}, ldots, lambda x_ {n}) || _ {p} = | lambda | times || (x_ {1}, ldots, x_ {n}) }) || _ {p}}$, и он удовлетворяет треугольному неравенству.

Использование в численных методах

Этот раздел пуст. Вы можете помочь добавляя к этому. (Февраль 2015 г.)

Другие варианты функции сглаживания

${ displaystyle { mathcal {max}} _ { alpha} (x_ {1}, x_ {2}) = left ((x_ {1} + x_ {2}) + { sqrt {(x_ {1) } -x_ {2}) ^ {2} + alpha}} right) / 2}$

Где ${ displaystyle alpha}$ является параметром.

Смотрите также

• LogSumExp
• Функция Softmax
• Обобщенное среднее

Рекомендации

М. Ланге, Д. Цюльке, О. Хольц и Т. Виллманн, «Применение lp-норм и их гладких приближений для градиентного векторного квантования обучения», в Proc. ESANN, Апрель 2014 г., стр. 271-276. (https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-153.pdf )