Сеть глубоких убеждений - Deep belief network

Схематический обзор сети глубоких убеждений. Стрелки обозначают направленные связи в графическая модель что представляет сеть.

В машинное обучение, а сеть глубоких убеждений (DBN) это генеративный графическая модель, или, альтернативно, класс глубокий нейронная сеть, состоящий из нескольких слоев скрытые переменные («скрытые блоки») со связями между слоями, но не между блоками внутри каждого слоя.^[1]

При обучении на набор примеров без присмотра, DBN может научиться вероятностно восстанавливать свои входы. Слои тогда действуют как детекторы функций.^[1] После этого шага обучения DBN может быть дополнительно обучен с помощью наблюдение выполнять классификация.^[2]

DBN можно рассматривать как набор простых неконтролируемых сетей, таких как ограниченные машины Больцмана (УКР)^[1] или же автокодеры,^[3] где скрытый слой каждой подсети служит видимым слоем для следующего. УКР - это ненаправленный, генеративная энергетическая модель с «видимым» входным слоем и скрытым слоем и связями между слоями, но не внутри них. Эта композиция приводит к быстрой пошаговой процедуре обучения без учителя, где контрастное расхождение применяется к каждой подсети по очереди, начиная с «самой нижней» пары слоев (самый низкий видимый слой - это Обучающий набор ).

Наблюдение^[2] что DBN можно обучить жадно, по одному слою за раз, привело к одному из первых эффективных глубокое обучение алгоритмы.^[4]:6 В целом существует множество привлекательных реализаций и вариантов использования DBN в реальных приложениях и сценариях (например, электроэнцефалография,^[5] открытие лекарств^[6][7][8]).

Обучение персонала

А ограниченная машина Больцмана (RBM) с полностью подключенными видимыми и скрытыми блоками. Обратите внимание, что нет скрытых-скрытых или видимых-видимых соединений.

Метод обучения RBM, предложенный Джеффри Хинтон для использования с обучением модели «Продукт эксперта» контрастное расхождение (CD).^[9] CD дает приближение к максимальная вероятность метод, который идеально подходит для обучения весам.^[10][11] При обучении одного RBM обновления веса выполняются с градиентный спуск с помощью следующего уравнения: ${ Displaystyle w_ {ij} (t + 1) = w_ {ij} (t) + eta { frac { partial log (p (v))} { partial w_ {ij}}}}$

куда, ${ Displaystyle p (v)}$ это вероятность видимого вектора, которая определяется как ${ displaystyle p (v) = { frac {1} {Z}} sum _ {h} e ^ {- E (v, h)}}$. ${ displaystyle Z}$ - статистическая сумма (используется для нормализации) и ${ displaystyle E (v, h)}$ - функция энергии, присвоенная состоянию сети. Более низкая энергия указывает на то, что сеть находится в более «желательной» конфигурации. Градиент ${ displaystyle { frac { partial log (p (v))} { partial w_ {ij}}}}$ имеет простую форму ${ displaystyle langle v_ {i} h_ {j} rangle _ { text {data}} - langle v_ {i} h_ {j} rangle _ { text {модель}}}$ куда ${ Displaystyle langle cdots rangle _ {p}}$ представляют собой средние по распределению ${ displaystyle p}$. Проблема возникает при отборе проб ${ displaystyle langle v_ {i} h_ {j} rangle _ { text {модель}}}$ потому что это требует расширенного чередования Выборка Гиббса. Компакт-диск заменяет этот шаг выполнением попеременного семплирования Гиббса для ${ displaystyle n}$ шаги (значения ${ Displaystyle п = 1}$ выступить хорошо). После ${ displaystyle n}$ шаги, данные выбираются, и этот образец используется вместо ${ displaystyle langle v_ {i} h_ {j} rangle _ { text {модель}}}$. Процедура CD работает следующим образом:^[10]

1. Инициализируйте видимые единицы тренировочным вектором.
2. Обновите скрытые блоки параллельно с учетом видимых блоков: ${ displaystyle p (h_ {j} = 1 mid { textbf {V}}) = sigma (b_ {j} + sum _ {i} v_ {i} w_ {ij})}$. ${ displaystyle sigma}$ это сигмовидная функция и ${ displaystyle b_ {j}}$ это предвзятость ${ displaystyle h_ {j}}$.
3. Обновите видимые блоки параллельно с учетом скрытых блоков: ${ displaystyle p (v_ {i} = 1 mid { textbf {H}}) = sigma (a_ {i} + sum _ {j} h_ {j} w_ {ij})}$. ${ displaystyle a_ {i}}$ это предвзятость ${ displaystyle v_ {i}}$. Это называется этапом «реконструкции».
4. Повторно обновите скрытые блоки параллельно с учетом реконструированных видимых блоков, используя то же уравнение, что и на шаге 2.
5. Выполните обновление веса: ${ displaystyle Delta w_ {ij} propto langle v_ {i} h_ {j} rangle _ { text {data}} - langle v_ {i} h_ {j} rangle _ { text {реконструкция }}}$.

Как только RBM обучен, другой RBM «накладывается» поверх него, принимая входные данные от последнего обученного слоя. Новый видимый слой инициализируется обучающим вектором, а значения единиц в уже обученных слоях назначаются с использованием текущих весов и смещений. Затем новый RBM обучается с помощью описанной выше процедуры. Весь этот процесс повторяется до тех пор, пока не будет достигнут желаемый критерий остановки.^[12]

Хотя приближение CD к максимальной вероятности является грубым (не следует за градиентом какой-либо функции), оно эмпирически эффективно.^[10]

Смотрите также

• Байесовская сеть
• Глубокое обучение

Рекомендации

внешняя ссылка

• "Сети глубокого убеждения". Учебники по глубокому обучению.
• "Пример сети глубокого убеждения". Deeplearning4j Учебники. Архивировано из оригинал на 2016-10-03. Получено 2015-02-22.