Машина Больцмана - Boltzmann machine

Графическое изображение примера машины Больцмана. Каждое неориентированное ребро представляет зависимость. В этом примере есть 3 скрытых блока и 4 видимых блока. Это не ограниченная машина Больцмана.

А Больцман машина (также называемый стохастическая сеть Хопфилда со скрытыми блоками или же Модель Шеррингтона – Киркпатрика с внешним полем. или же стохастическая модель Изинга-Ленца-Литтла) является разновидностью стохастический рекуррентная нейронная сеть. Это Марковское случайное поле.^[1] Это было переведено с статистическая физика для использования в наука о мышлении. Машина Больцмана основана на стохастической модели спинового стекла с внешним полем, т.е. Модель Шеррингтона – Киркпатрика это стохастик Модель Изинга^[2] и применяется к машинному обучению.^[3]

Теоретически они интересны своим месторасположением и Hebbian характер их алгоритма обучения (обучение по правилу Хебба), и из-за их параллелизм и сходство их динамики с простыми физические процессы. Машины Больцмана с неограниченной связью не оказались полезными для практических задач в машинном обучении или логическом выводе, но если связность должным образом ограничена, обучение может быть достаточно эффективным, чтобы быть полезным для практических задач.^[4]

Они названы в честь Распределение Больцмана в статистическая механика, который используется в их функция выборки. Вот почему их называют "модели на основе энергии "(EBM). Их активно популяризировали и продвигали Джеффри Хинтон и Терри Сейновски в сообществах когнитивных наук и в машинное обучение.^[5]

Структура

Графическое изображение машины Больцмана с несколькими обозначенными весами. Каждое неориентированное ребро представляет зависимость и имеет вес ${ displaystyle w_ {ij}}$. В этом примере есть 3 скрытых объекта (синие) и 4 видимых объекта (белые). Это не ограниченная машина Больцмана.

Машина Больцмана, как Сеть Хопфилда, представляет собой сеть единиц с «энергией» (Гамильтониан ) определен для всей сети. Его подразделения производят двоичный полученные результаты. В отличие от сетей Хопфилда, машины Больцмана стохастический. Мировая энергия ${ displaystyle E}$ в машине Больцмана идентична по форме Сети Хопфилда и Модели Изинга:

${ displaystyle E = - left ( sum _ {i$

Где:

• ${ displaystyle w_ {ij}}$ сила связи между единицами ${ displaystyle j}$ и единица ${ displaystyle i}$.
• ${ displaystyle s_ {i}}$ это государство, ${ displaystyle s_ {i} in {0,1 }}$, единицы ${ displaystyle i}$.
• ${ displaystyle theta _ {я}}$ это смещение единицы ${ displaystyle i}$ в глобальной энергетической функции. (${ displaystyle - theta _ {i}}$ это порог активации для устройства.)

Часто веса ${ displaystyle w_ {ij}}$ представлены в виде симметричной матрицы ${ displaystyle W = [w_ {ij}]}$ с нулями по диагонали.

Вероятность состояния единицы

Разница в глобальной энергии, получаемая от одной единицы ${ displaystyle i}$ равняется 0 (выключено) по сравнению с 1 (включено), записывается ${ displaystyle Delta E_ {i}}$в предположении симметричной матрицы весов определяется выражением:

${ displaystyle Delta E_ {i} = sum _ {j> i} w_ {ij} , s_ {j} + sum _ {j$

Это можно выразить как разность энергий двух состояний:

${ displaystyle Delta E_ {i} = E _ { text {i = off}} - E _ { text {i = on}}}$

Подставляя энергию каждого состояния его относительной вероятностью в соответствии с Фактор Больцмана (собственность Распределение Больцмана что энергия состояния пропорциональна отрицательной логарифмической вероятности этого состояния) дает:

${ displaystyle Delta E_ {i} = - k_ {B} , T ln (p _ { text {i = off}}) - (- k_ {B} , T ln (p _ { text { i = on}}))}$

куда ${ displaystyle k_ {B}}$ постоянная Больцмана и поглощена искусственным понятием температуры ${ displaystyle T}$. Затем мы переставляем термины и считаем, что вероятности включения и выключения устройства должны в сумме равняться единице:

${ displaystyle { frac { Delta E_ {i}} {T}} = ln (p _ { text {i = on}}) - ln (p _ { text {i = off}})}$

${ displaystyle { frac { Delta E_ {i}} {T}} = ln (p _ { text {i = on}}) - ln (1-p _ { text {i = on}}) }$

${ displaystyle { frac { Delta E_ {i}} {T}} = ln left ({ frac {p _ { text {i = on}}} {1-p _ { text {i = on) }}}}верно)}$

${ displaystyle - { frac { Delta E_ {i}} {T}} = ln left ({ frac {1-p _ { text {i = on}}} {p _ { text {i = на правом)}$

${ displaystyle - { frac { Delta E_ {i}} {T}} = ln left ({ frac {1} {p _ { text {i = on}}}} - 1 right)}$

${ displaystyle exp left (- { frac { Delta E_ {i}} {T}} right) = { frac {1} {p _ { text {i = on}}}} - 1}$

Решение для ${ displaystyle p _ { text {i = on}}}$, вероятность того, что ${ displaystyle i}$-й блок включен дает:

${ displaystyle p _ { text {i = on}} = { frac {1} {1+ exp (- { frac { Delta E_ {i}} {T}})}}}$

где скаляр ${ displaystyle T}$ называется температура системы. Это отношение является источником логистическая функция найдены в вероятностных выражениях в вариантах машины Больцмана.

Состояние равновесия

Сеть работает путем многократного выбора устройства и сброса его состояния. После достаточно долгой работы при определенной температуре вероятность глобального состояния сети зависит только от энергии этого глобального состояния, согласно Распределение Больцмана, а не в исходном состоянии, из которого был запущен процесс. Это означает, что логарифмические вероятности глобальных состояний становятся линейными по своей энергии. Это соотношение верно, когда машина находится на тепловое равновесие ", что означает, что распределение вероятностей глобальных состояний сошлось. При запуске сети, начиная с высокой температуры, ее температура постепенно снижается до достижения тепловое равновесие при более низкой температуре. Затем он может сходиться к распределению, в котором уровень энергии колеблется около глобального минимума. Этот процесс называется имитация отжига.

Чтобы обучить сеть так, чтобы вероятность ее схождения к глобальному состоянию в соответствии с внешним распределением по этим состояниям, необходимо установить так, чтобы глобальные состояния с наивысшими вероятностями получали наименьшую энергию. Это делается тренировкой.

Обучение персонала

Единицы в машине Больцмана делятся на «видимые» единицы, V, и «скрытые» единицы, H. Видимые единицы - это те, которые получают информацию из «окружающей среды», т.е. обучающий набор представляет собой набор двоичных векторов над множество V. Распределение по обучающей выборке обозначено ${ Displaystyle P ^ {+} (V)}$.

Распределение по глобальным состояниям сходится, когда машина Больцмана достигает тепловое равновесие. Обозначим это распределение после того, как маргинализировать это над скрытыми блоками, как ${ Displaystyle P ^ {-} (V)}$.

Наша цель - приблизить "реальное" распределение ${ Displaystyle P ^ {+} (V)}$ с использованием ${ Displaystyle P ^ {-} (V)}$ производится машиной. Сходство двух распределений измеряется Дивергенция Кульбака – Лейблера, ${ displaystyle G}$:

${ Displaystyle G = сумма _ {v} {P ^ {+} (v) ln left ({ frac {P ^ {+} (v)} {P ^ {-} (v)}} верно)}}$

где сумма берется по всем возможным состояниям ${ displaystyle V}$. ${ displaystyle G}$ является функцией весов, поскольку они определяют энергию состояния, а энергия определяет ${ Displaystyle P ^ {-} (v)}$, как и было обещано распределением Больцмана. А градиентный спуск алгоритм закончился ${ displaystyle G}$, изменяет заданный вес, ${ displaystyle w_ {ij}}$ путем вычитания частная производная из ${ displaystyle G}$ по весу.

Тренировка на машине Больцмана включает в себя две чередующиеся фазы. Одна из них - это «положительная» фаза, когда состояния видимых блоков ограничиваются конкретным двоичным вектором состояния, выбранным из обучающего набора (согласно ${ Displaystyle P ^ {+}}$). Другая - это «отрицательная» фаза, когда сети разрешено работать свободно, т.е. состояние всех устройств не определяется внешними данными. Градиент относительно данного веса, ${ displaystyle w_ {ij}}$, задается уравнением:^[6]

${ displaystyle { frac { partial {G}} { partial {w_ {ij}}}} = - { frac {1} {R}} [p_ {ij} ^ {+} - p_ {ij} ^ {-}]}$

куда:

• ${ displaystyle p_ {ij} ^ {+}}$ вероятность того, что единицы я и j оба включены, когда машина находится в состоянии равновесия на положительной фазе.
• ${ displaystyle p_ {ij} ^ {-}}$ вероятность того, что единицы я и j оба включены, когда машина находится в равновесии на отрицательной фазе.
• ${ displaystyle R}$ обозначает скорость обучения

Этот результат следует из того, что при тепловое равновесие вероятность ${ Displaystyle P ^ {-} (s)}$ любого глобального государства ${ displaystyle s}$ когда сеть находится в автономном режиме, определяется распределением Больцмана.

Это правило обучения биологически правдоподобно, потому что единственная информация, необходимая для изменения веса, предоставляется «местной» информацией. То есть связь (синапс, биологически) не нуждается ни в чем, кроме двух нейронов, которые он соединяет. Это более биологически реалистично, чем информация, необходимая для соединения во многих других алгоритмах обучения нейронных сетей, таких как обратное распространение.

Тренировка на машине Больцмана не использует EM алгоритм, который широко используется в машинное обучение. Минимизируя KL-дивергенция, это эквивалентно максимизации логарифмической вероятности данных. Следовательно, процедура обучения выполняет градиентное восхождение на логарифмической вероятности наблюдаемых данных. Это отличается от алгоритма EM, где апостериорное распределение скрытых узлов должно быть вычислено до максимизации ожидаемого значения правдоподобия полных данных во время M-шага.

Обучение смещений аналогично, но использует только активность одного узла:

${ displaystyle { frac { partial {G}} { partial { theta _ {i}}}} = - { frac {1} {R}} [p_ {i} ^ {+} - p_ { i} ^ {-}]}$

Проблемы

Теоретически машина Больцмана представляет собой довольно общую вычислительную среду. Например, при обучении работе с фотографиями машина теоретически смоделирует распределение фотографий и может использовать эту модель, например, для завершения частичной фотографии.

К сожалению, машины Больцмана сталкиваются с серьезной практической проблемой, а именно: они перестают правильно учиться, когда машина масштабируется до любого размера, превышающего тривиальный размер.^{[нужна цитата ]} Это связано с важными эффектами, а именно:

• требуемый временной порядок для сбора статистических данных о равновесии экспоненциально растет с размером машины и с величиной силы соединения^{[нужна цитата ]}
• сила соединения более пластична, когда у соединенных блоков вероятность активации находится между нулем и единицей, что приводит к так называемой ловушке отклонения. Чистый эффект заключается в том, что шум приводит к тому, что сила соединения случайная прогулка пока деятельность не пропитается.

Типы

Ограниченная машина Больцмана

Графическое представление ограниченной машины Больцмана. Четыре синих блока представляют скрытые блоки, а три красных блока представляют видимые состояния. В ограниченных машинах Больцмана есть только связи (зависимости) между скрытыми и видимыми модулями, и нет связей между модулями одного типа (нет скрытых-скрытых или видимых-видимых соединений).

Хотя обучение в машинах Больцмана в целом непрактично, его можно сделать достаточно эффективным в ограниченной машине Больцмана (RBM), которая не допускает внутрислойных связей между скрытыми и видимыми блоками, то есть нет связи между видимыми и видимыми и скрытыми для скрытых блоков. . После обучения одного RBM действия его скрытых блоков можно рассматривать как данные для обучения RBM более высокого уровня. Этот метод объединения RBM позволяет эффективно обучать многие уровни скрытых модулей и является одним из наиболее распространенных. глубокое обучение стратегии. По мере добавления каждого нового слоя генеративная модель улучшается.

Расширение ограниченной машины Больцмана позволяет использовать вещественные данные, а не двоичные данные.^[7]

Одним из примеров практического применения RBM является распознавание речи.^[8]

Глубокая машина Больцмана

Глубокая машина Больцмана (ДБМ) - это тип двоичной попарной Марковское случайное поле (ненаправленный вероятностный графическая модель ) с несколькими слоями скрытый случайные переменные. Это сеть симметрично связанных стохастических двоичные единицы. Он состоит из набора видимых элементов ${ displaystyle { boldsymbol { nu}} in {0,1 } ^ {D}}$ и слои скрытых единиц ${ displaystyle { boldsymbol {h}} ^ {(1)} in {0,1 } ^ {F_ {1}}, { boldsymbol {h}} ^ {(2)} in { 0,1 } ^ {F_ {2}}, ldots, { boldsymbol {h}} ^ {(L)} in {0,1 } ^ {F_ {L}}}$. Нет соединений, связывающих блоки одного уровня (например, УОР ). Для DBM, вероятность, присвоенная вектору ν является

${ displaystyle p ({ boldsymbol { nu}}) = { frac {1} {Z}} sum _ {h} e ^ { sum _ {ij} W_ {ij} ^ {(1)} nu _ {i} h_ {j} ^ {(1)} + sum _ {jl} W_ {jl} ^ {(2)} h_ {j} ^ {(1)} h_ {l} ^ {( 2)} + sum _ {lm} W_ {lm} ^ {(3)} h_ {l} ^ {(2)} h_ {m} ^ {(3)}},}$

куда ${ displaystyle { boldsymbol {h}} = {{ boldsymbol {h}} ^ {(1)}, { boldsymbol {h}} ^ {(2)}, { boldsymbol {h}} ^ { (3)} }}$ набор скрытых единиц, и ${ displaystyle theta = {{ boldsymbol {W}} ^ {(1)}, { boldsymbol {W}} ^ {(2)}, { boldsymbol {W}} ^ {(3)} }}$ - параметры модели, представляющие взаимодействия видимого-скрытого и скрытого-скрытого.^[9] В DBN только два верхних слоя образуют ограниченную машину Больцмана (которая является ненаправленным графическая модель ), а нижние слои образуют направленную генеративную модель. В DBM все уровни симметричны и неориентированы.

Нравиться DBN, DBM могут изучать сложные и абстрактные внутренние представления входных данных в таких задачах, как объект или же распознавание речи с использованием ограниченных помеченных данных для точной настройки представлений, построенных с использованием большого набора немаркированных входных сенсорных данных. Однако в отличие от ДБН и глубоких сверточные нейронные сети, они выполняют процедуру вывода и обучения в обоих направлениях, снизу вверх и сверху вниз, что позволяет DBM лучше раскрывать представления входных структур.^[10][11][12]

Однако низкая скорость DBM ограничивает их производительность и функциональность. Поскольку точное обучение методом максимального правдоподобия невозможно для DBM, возможно только приблизительное обучение методом максимального правдоподобия. Другой вариант - использовать вывод среднего поля для оценки ожиданий, зависящих от данных, и аппроксимировать ожидаемую достаточную статистику с помощью Цепь Маркова Монте-Карло (MCMC).^[9] Этот приблизительный вывод, который необходимо делать для каждого входного теста, примерно в 25-50 раз медленнее, чем один восходящий проход в DBM. Это делает совместную оптимизацию непрактичной для больших наборов данных и ограничивает использование DBM для таких задач, как представление функций.

Шип-плиты RBMs

Необходимость глубокого обучения с ценный входы, как в Гауссовский RBMs привели к шипу-плите УОР (SSУОР ), который моделирует входы с непрерывными значениями с двоичный скрытые переменные.^[13] Подобно базовому RBMs и его вариантов, шипованная УКР является двудольный граф, пока нравится GRBM, видимые единицы (входные) являются действительными. Разница заключается в скрытом слое, где каждый скрытый блок имеет двоичную переменную пика и переменную плиты с действительным знаком. Шип - это дискретный вероятностная масса в нуле, а плита - плотность над непрерывной областью;^[14] их смесь образует прежний.^[15]

Расширение ssУОР называется µ-SSУОР предоставляет дополнительные возможности моделирования с использованием дополнительных терминов в функция энергии. Один из этих терминов позволяет модели сформировать условное распределение переменных спайка на маргинализация переменные плиты с учетом наблюдения.

История

Машина Больцмана основана на спин-стакан модель стохастика Шеррингтона-Киркпатрика Модель Изинга.^[16]

Оригинальный вклад в применение таких моделей, основанных на энергии, в когнитивной науке появился в статьях Хинтона и Сейновски.^[17][18]

Основополагающая публикация Джона Хопфилда соединила физику и статистическую механику, упомянув спиновые стекла.^[19]

Идея применения модели Изинга с отожженным Выборка Гиббса присутствует в Дуглас Хофштадтер с Подражатель проект.^[20][21]

Подобные идеи (со сменой знака в энергетической функции) встречаются в Павел Смоленский "Теория гармонии".

Явная аналогия, проведенная со статистической механикой в ​​формулировке машины Больцмана, привела к использованию терминологии, заимствованной из физики (например, «энергия», а не «гармония»), которая стала стандартом в этой области. Широкому распространению этой терминологии, возможно, способствовал тот факт, что ее использование привело к заимствованию множества концепций и методов из статистической механики. Различные предложения использовать имитацию отжига для вывода, по-видимому, независимы.

Модели Изинга стали рассматриваться как частный случай Марковские случайные поля, которые находят широкое применение в лингвистика, робототехника, компьютерное зрение и искусственный интеллект.

Смотрите также

• Ограниченная машина Больцмана
• Марковское случайное поле
• Модель Изинга
• Сеть Хопфилда
• Правило обучения^[22] который использует условную "локальную" информацию, может быть получен из обратной формы ${ displaystyle G}$,

${ displaystyle G '= sum _ {v} {P ^ {-} (v) ln left ({ frac {P ^ {-} (v)} {P ^ {+} (v)}} верно)}}$.

Рекомендации

1. https://www.mis.mpg.de/preprints/2018/preprint2018_87.pdf

дальнейшее чтение

• Хинтон, Г.Э.; Сейновски, Т. (1986). Д. Э. Румелхарт; Дж. Л. Макклелланд (ред.). «Обучение и повторное обучение в машинах Больцмана» (PDF). Параллельная распределенная обработка: исследования микроструктуры познания. Том 1: Основы: 282–317. Архивировано из оригинал (PDF) на 2010-07-05.
• Хинтон, Г.Э. (2002). «Продукты для обучения экспертов путем сведения к минимуму противоречивых расхождений» (PDF). Нейронные вычисления. 14 (8): 1771–1800. CiteSeerX  10.1.1.35.8613. Дои:10.1162/089976602760128018. PMID  12180402.
• Хинтон, Дж. Э.; Осиндеро, С .; Тех, Ю. (2006). «Алгоритм быстрого обучения для сетей глубоких убеждений» (PDF). Нейронные вычисления. 18 (7): 1527–1554. CiteSeerX  10.1.1.76.1541. Дои:10.1162 / neco.2006.18.7.1527. PMID  16764513.

внешняя ссылка

• Статья Хинтона в Scholarpedia о машинах Больцмана
• Talk at Google Джеффри Хинтона