Универсальная аппроксимационная теорема - Universal approximation theorem

в математический теория искусственные нейронные сети, универсальные аппроксимационные теоремы результаты^[1] которые устанавливают плотность алгоритмически сгенерированного класса функций в заданном интересующем функциональном пространстве. Обычно эти результаты касаются аппроксимационных возможностей архитектура с прямой связью на пространстве непрерывных функций между двумя Евклидовы пространства, а приближение - по компактная сходимость топология. Однако есть также множество результатов между неевклидовыми пространствами.^[2] и другие часто используемые архитектуры и, в более общем смысле, алгоритмически сгенерированные наборы функций, такие как сверточная нейронная сеть (CNN) архитектура,^[3][4] радиальные базисные функции,^[5] или нейронные сети с определенными свойствами.^[6] Большинство универсальных аппроксимационных теорем можно разделить на два класса. Первый количественно оценивает аппроксимирующие возможности нейронных сетей с произвольным количеством искусственных нейронов ("произвольная ширина«case»), а второй - случай с произвольным количеством скрытых слоев, каждый из которых содержит ограниченное количество искусственных нейронов («произвольная глубина" дело).

Универсальные аппроксимационные теоремы подразумевают, что нейронные сети могут представлять широкий спектр интересных функций при соответствующем весе. С другой стороны, они обычно не обеспечивают конструкцию грузов, а просто заявляют, что такая конструкция возможна.

История

Одна из первых версий произвольная ширина дело было доказано Георгий Цибенко в 1989 г. для сигмовидный функции активации.^[7] Курт Хорник показал в 1991 году^[8] что это не конкретный выбор функции активации, а сама многослойная архитектура с прямой связью, которая дает нейронным сетям возможность быть универсальными аппроксиматорами. Моше Лешно и другие в 1993 г.^[9] а позже Аллан Пинкус в 1999 г.^[10] показал, что свойство универсальной аппроксимации^[11], эквивалентно наличию неполиномиальной функции активации.

В произвольная глубина случай также изучался рядом авторов, таких как Чжоу Лу и другие в 2017 г.^[12] Борис Ханин и Марк Селлке в 2018 году,^[13] и Патрик Кидгер и Терри Лайонс в 2020 году.^[14] В результате минимальная ширина на слой была уточнена в ^[15].

Существует несколько расширений теоремы, например, до разрывных функций активации.^[9], некомпактные домены^[14], сертифицированные сети^[16] и альтернативные сетевые архитектуры и топологии^[14][17]. Полная характеристика свойства универсальной аппроксимации на общих функциональных пространствах дана А. Крациосом в ^[11].

Случай произвольной ширины

Классическая форма универсальной аппроксимационной теоремы для произвольной ширины и ограниченной глубины выглядит следующим образом.^{[7][8][18][19]} Он расширяется^[10] классические результаты Георгий Цибенко и Курт Хорник.

Универсальная аппроксимационная теорема: Зафиксируем непрерывную функцию ${displaystyle sigma: mathbb {R} ightarrow mathbb {R}}$ (функция активации) и положительные целые числа ${displaystyle d, D}$. Функция ${displaystyle sigma}$ не является полиномом тогда и только тогда, когда для каждого непрерывный функция ${displaystyle f: mathbb {R} ^ {d} o mathbb {R} ^ {D}}$ (целевая функция), каждые компактный подмножество ${displaystyle K}$ из ${displaystyle mathbb {R} ^ {d}}$, и каждый ${displaystyle epsilon> 0}$ существует непрерывная функция ${displaystyle f_ {epsilon}: mathbb {R} ^ {d} o mathbb {R} ^ {D}}$ (выход слоя) с представлением

${displaystyle f_ {epsilon} = W_ {2} circ sigma circ W_ {1},}$

куда ${displaystyle W_ {2}, W_ {1}}$ находятся составной аффинные карты и ${displaystyle circ}$ обозначает покомпонентный состав, такой, что оценка аппроксимации

${displaystyle sup _ {xin K}, | f (x) -f_ {epsilon} (x) |$

справедливо для любого ${displaystyle epsilon}$ сколь угодно малое (расстояние от ${displaystyle f}$ к ${displaystyle f_ {epsilon}}$ может быть бесконечно малым).

Теорема утверждает, что результат первого слоя ${displaystyle f_ {epsilon}}$ может аппроксимировать любую хорошо управляемую функцию ${displaystyle f}$. Такую функцию с хорошим поведением можно также аппроксимировать сетью большей глубины, используя ту же конструкцию для первого слоя и аппроксимируя функцию идентичности с более поздними уровнями.

Случай произвольной глубины

«Двойственные» версии теоремы рассматривают сети ограниченной ширины и произвольной глубины. Вариант универсальной аппроксимационной теоремы для случая произвольной глубины был доказан Чжоу Лу и др. в 2017 году.^[12] Они показали, что сети шириной п + 4 с ReLU функции активации могут аппроксимировать любые Интегрируемая функция Лебега на п-мерное входное пространство относительно ${displaystyle L ^ {1}}$ расстояние если разрешено увеличение глубины сети. Также было показано, что существует ограниченная выразительная сила, если ширина меньше или равна п. Все Интегрируемые по Лебегу функции за исключением набора нулевой меры не может быть аппроксимирован ReLU сети шириной п. В той же газете^[12] было показано, что ReLU сети с шириной п + 1 были достаточны, чтобы приблизиться к любому непрерывный функция п-мерные входные переменные.^[20] Следующее уточнение определяет оптимальную минимальную ширину, для которой такое приближение возможно, и обусловлено ^[21]

Универсальная аппроксимационная теорема (Расстояние L1, активация ReLU, произвольная глубина, минимальная ширина). Для любого P-интегрируемость Бохнера-Лебега функция ${displaystyle f: mathbb {R} ^ {n} ightarrow mathbb {R}}$ и любой ${displaystyle epsilon> 0}$, существует полностью связанный ReLU сеть ${displaystyle F}$ ширина точно ${displaystyle d_ {m} = max {{n + 1}, m}}$, удовлетворяющий

${displaystyle int _ {mathbb {R} ^ {n}} left | f (x) -F _ {} (x) ight | ^ {p} mathrm {d} x$.

Более того, существует функция ${displaystyle fin L ^ {p} (mathbb {R} ^ {n}, mathbb {R} ^ {m})}$ и немного ${displaystyle epsilon> 0}$, для которого нет полностью связанный ReLU сеть шириной менее ${displaystyle d_ {m} = max {{n + 1}, m}}$удовлетворяющие приведенной выше оценке приближения.

Вместе основные результаты ^[14] и из ^[2] дают следующую общую универсальную аппроксимационную теорему для сетей с ограниченной шириной между общими входными и выходными пространствами.

Универсальная аппроксимационная теорема (неаффинный активация, произвольная глубина, Неевклидово ). ${displaystyle {mathcal {X}}}$ быть компактный топологическое пространство, ${displaystyle ({mathcal {Y}}, d_ {mathcal {Y}})}$ быть метрика Космос, ${displaystyle phi: {mathcal {X}} ightarrow mathbb {R} ^ {n}}$ быть непрерывным и инъективным карта характеристик и разреши ${displaystyle ho: mathbb {R} ^ {m} ightarrow {mathcal {Y}}}$ быть картой непрерывного считывания с раздел, имеющий плотное изображение ${displaystyle Im (ho)}$ с (возможно, пустой) границей с воротником. Позволять ${displaystyle sigma: mathbb {R} o mathbb {R}}$ быть не-аффинный непрерывный функция, которая непрерывно дифференцируемый хотя бы один балл с ненулевым производная в таком случае. Позволять ${displaystyle {mathcal {N}} _ {phi, ho} ^ {sigma}}$ обозначают пространство нейронных сетей с прямой связью с ${displaystyle n}$ входные нейроны, ${displaystyle m}$ выходных нейронов и произвольное количество скрытых слоев, каждый с ${displaystyle n + m + 2}$ нейроны, так что каждый скрытый нейрон имеет функцию активации ${displaystyle varphi}$ и каждый выходной нейрон имеет личность в качестве функции активации с входным слоем ${displaystyle phi}$, и выходной слой ${displaystyle ho}$. Тогда при любом ${displaystyle varepsilon> 0}$ и любой ${displaystyle fin C ({mathcal {X}}, {mathcal {Y}})}$, Существует ${displaystyle Fin {mathcal {N}} _ {ho, phi} ^ {sigma}}$ такой, что

${displaystyle sup _ {xin {mathcal {X}}}, d_ {mathcal {Y}} (F (x), f (x))$

Другими словами, ${displaystyle {mathcal {N}}}$ является плотный в ${displaystyle C ({mathcal {X}}; {mathcal {Y}})}$ относительно равномерного расстояния.

Были установлены некоторые необходимые условия для случая ограниченной ширины, произвольной глубины, но все еще существует разрыв между известными достаточными и необходимыми условиями.^[12][13][22]

Смотрите также

• Теорема Колмогорова – Арнольда о представлении
• Теорема о представителях
• Теорема о бесплатном обеде
• Теорема Стоуна – Вейерштрасса
• Ряд Фурье

Рекомендации