Аттракторная сеть - Attractor network

An сеть аттракторов это тип повторяющихся динамичный сеть, который со временем эволюционирует к стабильной схеме. Узлы в сети аттракторов сходятся к шаблону, который может быть либо фиксированной точкой (одно состояние), либо циклическим (с регулярно повторяющимися состояниями), хаотичный (локально, но не глобально нестабильно) или случайным (стохастический ).^[1] Аттракторные сети широко используются в вычислительная нейробиология моделировать нейронные процессы, такие как ассоциативная память^[2] и двигательное поведение, а также в биологически вдохновленный методы машинного обучения. Аттракторная сеть содержит набор п узлов, которые могут быть представлены как векторы в d-мерное пространство, где п>d. Со временем состояние сети стремится к одному из набора предопределенных состояний на d-многообразие; эти аттракторы.

Обзор

В аттракторных сетях аттрактор (или же привлекательный набор) - замкнутое подмножество состояний А в сторону которой развивается система узлов. Стационарный аттрактор - это состояние или наборы состояний, в которых глобальная динамика сети стабилизируется. Циклические аттракторы развивают сеть в направлении набора состояний в предельный цикл, который проходит многократно. Хаотические аттракторы - это неповторяющиеся ограниченные аттракторы, которые проходят непрерывно.

Пространство состояний сети - это набор всех возможных состояний узла. Пространство аттрактора - это набор узлов на аттракторе. Аттракторные сети инициализируются на основе входного шаблона. Размерность входного шаблона может отличаться от размерности сетевых узлов. В траектория сети состоит из набора состояний на пути эволюции, когда сеть приближается к состоянию аттрактора. В бассейн притяжения набор состояний, в результате которого происходит движение к определенному аттрактору.^[1]

Типы

Различные типы аттракторов могут использоваться для моделирования различных типов сетевой динамики. В то время как сети аттракторов с фиксированной точкой являются наиболее распространенными (происходящими из Сети Хопфилда^[3]), рассматриваются и другие типы сетей.

Аттракторы с неподвижной точкой

Аттрактор неподвижной точки естественно следует из Сеть Хопфилда. Обычно фиксированные точки в этой модели представляют собой закодированные воспоминания. Эти модели использовались для объяснения ассоциативной памяти, классификации и завершения паттернов. Сети Хопфилда содержат нижележащий функция энергии^[4] которые позволяют сети асимптотически приближаться к стационарному состоянию. Один класс сети точечных аттракторов инициализируется входом, после чего вход удаляется, и сеть переходит в стабильное состояние. Другой класс сетей аттракторов имеет заранее определенные веса, которые проверяются различными типами входных данных. Если это стабильное состояние отличается во время и после ввода, оно служит моделью ассоциативной памяти. Однако, если состояния во время и после ввода не различаются, сеть может использоваться для завершения шаблона.

Другие стационарные аттракторы

Линейные аттракторы и плоские аттракторы используются при исследовании глазодвигательного контроля. Эти линейные аттракторы или нейронные интеграторы, опишите положение глаз в ответ на раздражители. Кольцевые аттракторы использовались для моделирования направления головы грызунов.

Циклические аттракторы

Циклические аттракторы играют важную роль в моделировании генераторы центральных паттернов, нейроны, которые управляют колебательной активностью у животных, такой как жевание, ходьба и дыхание.

Хаотические аттракторы

Хаотические аттракторы (также называемые странные аттракторы) были выдвинуты гипотезы, отражающие закономерности распознавания запахов. Хотя хаотические аттракторы имеют то преимущество, что они быстрее сходятся в предельных циклах, экспериментальных данных, подтверждающих эту теорию, пока нет.^[5]

Непрерывные аттракторы

Соседние стабильные состояния (фиксированные точки) непрерывных аттракторов (также называемых нейронными сетями непрерывных аттракторов) кодируют соседние значения непрерывной переменной, такие как направление головы или фактическое положение в пространстве.

Кольцевые аттракторы

Подтип непрерывных аттракторов с определенной топологией нейронов (кольцо для одномерных и тор или скрученный тор для двумерных сетей). Наблюдаемая активность ячейки сетки успешно объясняется предположением о наличии кольцевых аттракторов в медиальном энторинальная кора. ^[6] Недавно было высказано предположение, что подобные кольцевые аттракторы присутствуют в латеральной части энторинальной коры и их роль распространяется на регистрацию новых эпизодические воспоминания. ^[7]

Реализации

Аттракторы в основном реализованы в виде моделей памяти с использованием аттракторов с фиксированной точкой. Однако они были в значительной степени непрактичными для вычислительных целей из-за трудностей в проектировании ландшафта аттракторов и разводки сети, что приводило к ложным аттракторам и плохо обусловленным бассейнам притяжения. Кроме того, обучение на сетях аттракторов обычно требует больших вычислительных ресурсов по сравнению с другими методами, такими как k-ближайший сосед классификаторы.^[8] Однако их роль в общем понимании различных биологических функций, таких как локомоторная функция, память, принятие решений и многие другие, делает их более привлекательными в качестве биологически реалистичных моделей.

Сети Хопфилда

Аттракторные сети Хопфилда - это ранняя реализация аттракторных сетей с ассоциативная память. Эти рекуррентные сети инициализируются входом и стремятся к аттрактору с фиксированной точкой. Функция обновления в дискретном времени: ${ Displaystyle х (т + 1) = е (Wx (т))}$ , куда ${ displaystyle x}$ вектор узлов в сети и ${ displaystyle W}$ симметричная матрица, описывающая их связь. Непрерывное обновление времени ${ displaystyle { frac {dx} {dt}} = - lambda x + f (Wx)}$ .

Двунаправленные сети похожи на сети Хопфилда, с тем частным случаем, что матрица ${ displaystyle W}$ это блочная матрица.^[4]

Сети локалистов-аттракторов

Земель и Мозер (2001)^[8] предложил метод уменьшения количества ложных аттракторов, возникающих в результате кодирования нескольких аттракторов каждым соединением в сети. Локальные сети аттракторов кодируют знания локально, реализуя ожидание-максимизация алгоритм на смесь гауссианцев представляя аттракторы, чтобы минимизировать свободную энергию в сети и сходиться только наиболее релевантный аттрактор. Это приводит к следующим уравнениям обновления:

Определите активность аттракторов: ${ displaystyle q_ {i} (t) = { frac { pi _ {i} (y (t), w_ {i}, sigma (t))} { sum _ {j} pi _ { j} g (y (t), w_ {j}, sigma (t))}}}$
Определите следующее состояние сети: ${ Displaystyle у (т + 1) = альфа (т) хи + (1- альфа (т)) сумма _ {я} q_ {я} (т) ш_ {я} , !}$
Определите ширину аттрактора через сеть: ${ displaystyle sigma _ {y} ^ {2} (t) = { frac {1} {n}} sum _ {i} q_ {i} (t) | y (t) -w_ {i} | ^ {2}}$

( ${ displaystyle pi _ {я}}$ обозначает прочность бассейна, ${ displaystyle w_ {i}}$ обозначает центр бассейна. ${ Displaystyle xi}$ обозначает вход в сеть.)

Затем сеть повторно наблюдает, и вышеуказанные шаги повторяются до схождения. Модель также отражает две биологически релевантные концепции. Изменение в ${ displaystyle alpha}$ моделирование стимула грунтовка за счет более быстрой сходимости к недавно посещенному аттрактору. Кроме того, суммарная активность аттракторов позволяет эффект банды это заставляет два соседних аттрактора взаимно усиливать бассейн друг друга.

Реконсолидационные сети аттракторов

Зигельманн (2008)^[9] обобщил модель локальной сети аттракторов, включив настройку самих аттракторов. В этом алгоритме используется приведенный выше метод EM со следующими модификациями: (1) раннее завершение алгоритма, когда активность аттрактора наиболее распределена или когда высокая энтропия предполагает необходимость в дополнительных воспоминаниях, и (2) возможность обновления аттракторов самих себя: ${ Displaystyle w_ {я} (t + 1) = vq_ {i} (t) cdot y (t) + [1-vq_ {i} (t)] cdot w_ {i} (t) , !}$ , куда ${ displaystyle v}$ - параметр размера шага изменения ${ displaystyle w_ {i}}$ . Эта модель отражает Реконсолидация памяти у животных, и демонстрирует некоторые из тех же динамик, что и в экспериментах с памятью.

Дальнейшее развитие сетей аттракторов, таких как ядро на основе аттракторных сетей,^[10] улучшили вычислительную выполнимость сетей аттракторов в качестве алгоритма обучения, сохраняя при этом гибкость высокого уровня для выполнения завершения шаблонов на сложных композиционных структурах.