Пиковая нейронная сеть - Википедия - Spiking neural network

Насекомое управляется нейронной сетью с шипами, чтобы найти цель в неизвестной местности.
Основная статья: Искусственная нейронная сеть

Пикирование нейронных сетей (SNN) находятся искусственные нейронные сети которые более точно имитируют естественные нейронные сети.[1] В добавление к нейронный и синаптический государства, SNN включают понятие времени в свои операционная модель. Идея в том, что нейроны в SNN не передают информацию в каждом цикле распространения (как это происходит с типичными многослойными сети перцептронов ), а передавать информацию только тогда, когда мембранный потенциал - внутреннее качество нейрона, связанное с его электрическим зарядом мембраны - достигает определенного значения, называемого порогом. Когда мембранный потенциал достигает порогового значения, нейрон срабатывает и генерирует сигнал, который передается другим нейронам, которые, в свою очередь, увеличивают или уменьшают свои потенциалы в ответ на этот сигнал. Модель нейрона, срабатывающая в момент пересечения порога, также называется модель нейрона спайков.[2]

Самая известная модель нейронов с импульсами - дырявый интегрировать и стрелять модель. В модели интеграции и огня моментальный уровень активации (смоделированный как дифференциальное уравнение ) обычно считается состоянием нейрона, когда входящие пики толкают это значение выше или ниже, пока состояние в конечном итоге либо не распадется, либо - если будет достигнут порог срабатывания - нейрон сработает. После срабатывания переменная состояния сбрасывается до более низкого значения.

Существуют различные методы декодирования для интерпретации исходящих шипованный поезд как действительное число, зависящее либо от частоты всплесков (код скорости), либо от времени до первого всплеска после стимуляции, либо от интервала между всплесками.

История

Импульсная модель нейрона
Искусственные синапсы на основе FTJ

Многослойные искусственные нейронные сети обычно полностью подключен, получая входные данные от каждого нейрона в предыдущем слое и сигнализируя каждому нейрону в последующем слое. Хотя эти сети добились прорыва во многих областях, они биологически неточны и не имитируют механизм работы нейронов в мозгу живого существа.[3]

Смотрите также: Биологическая модель нейрона

Биологически вдохновленный Модель Ходжкина – Хаксли импульсного нейрона была предложена в 1952 году. Эта модель описывает, как потенциалы действия инициируются и распространяются. Связь между нейронами, требующая обмена химическими веществами. нейротрансмиттеры в синаптический разрыв, описан в различных моделях, таких как интегрировать и стрелять модель, Модель ФитцХью – Нагумо (1961–1962), и Модель Хиндмарша – Роуза (1984). Обычно используется негерметичная модель интегрирования и включения (или производная), поскольку ее легче вычислить, чем модель Ходжкина – Хаксли.[4]

В июле 2019 г. DARPA На саммите Electronics Resurgence Initiative Intel представила нейроморфную систему с 8 миллионами нейронов, включающую 64 исследовательских чипа Loihi.[5]

Основы

От теория информации В перспективе проблема состоит в том, чтобы объяснить, как информация кодируется и декодируется серией последовательностей импульсов, то есть потенциалов действия. Таким образом, фундаментальный вопрос нейробиологии - определить, общаются ли нейроны посредством скорость или временной код.[6] Временное кодирование предполагает, что один нейрон с импульсами может заменить сотни скрытых единиц в сигмоидальной нейронной сети..[1]

Пиковая нейронная сеть учитывает временную информацию. Идея состоит в том, что не все нейроны активируются на каждой итерации распространения (как в типичном многослойном перцептрон сеть), но только когда ее мембранный потенциал достигает определенного значения. Когда нейрон активируется, он выдает сигнал, который передается подключенным нейронам, повышая или понижая их мембранный потенциал.

В нейронной сети с пиками текущее состояние нейрона определяется как уровень его активации (моделируется как дифференциальное уравнение). Входной импульс заставляет текущее значение состояния на некоторое время увеличиваться, а затем постепенно снижаться. Схемы кодирования были созданы для интерпретации этих выходных импульсных последовательностей как числа с учетом как частоты импульсов, так и интервала между импульсами. Модель нейронной сети, основанная на времени генерации импульса, может быть создана точно. В этой новой нейронной сети используется кодирование спайков. Используя точное время появления импульса, нейронная сеть может использовать больше информации и предложить более высокую вычислительную мощность.

Импульсно-связанные нейронные сети (PCNN) часто путают с SNN. PCNN можно рассматривать как своего рода SNN.

Подход SNN использует двоичный выход (сигнал / нет сигнала) вместо непрерывного вывода традиционных ANN. Кроме того, импульсные тренировки трудно интерпретировать. Но тренировка пульса увеличивает способность обрабатывать пространственно-временные данные (или сенсорные данные реального мира).[нужна цитата ]. Пространство относится к тому факту, что нейроны соединяются только с соседними нейронами, поэтому они могут обрабатывать входные блоки отдельно (аналогично CNN с использованием фильтров). Время относится к тому факту, что импульсная тренировка происходит с течением времени, так что информацию, потерянную при двоичном кодировании, можно извлечь из информации о времени. Это позволяет избежать дополнительной сложности рекуррентная нейронная сеть (РНН). Оказывается, импульсные нейроны - более мощные вычислительные единицы, чем традиционные искусственные нейроны.[3]

SNN теоретически более мощный, чем сети второго поколения, однако проблемы обучения SNN и требования к оборудованию ограничивают их использование. Хотя доступны неконтролируемые методы биологического обучения, такие как Hebbian обучение и STDP, ни один эффективный метод обучения с учителем не подходит для SNN, который может обеспечить лучшую производительность, чем сети второго поколения.[нужна цитата ] Активация SNN на основе спайков не дифференцируема, что затрудняет разработку градиентный спуск методы обучения на основе ошибок обратное распространение, хотя несколько недавних алгоритмов, таких как NormAD[7] и многослойный NormAD[8] продемонстрировали хорошие результаты обучения благодаря подходящей аппроксимации градиента активации на основе спайков.

SNN требуют гораздо больших вычислительных затрат для моделирования реалистичных нейронных моделей, чем традиционные ANN.

Приложения

SNN в принципе могут применяться к тем же приложениям, что и традиционные ANN.[9] Кроме того, SNN могут моделировать Центральная нервная система биологических организмов, таких как насекомые, которые ищут пищу, не зная заранее об окружающей среде.[10] Благодаря своей относительной реалистичности их можно использовать для изучения работы биологические нейронные цепи. Начиная с гипотезы о топологии биологической нейронной цепи и ее функции, записи этой схемы можно сравнить с выходным сигналом соответствующего SNN, оценивая правдоподобие гипотезы. Однако отсутствуют эффективные механизмы обучения для SNN, которые могут препятствовать некоторым приложениям, включая задачи компьютерного зрения.

По состоянию на 2019 год SNN отстают от ANN с точки зрения точности, но разрыв уменьшается и исчез по некоторым задачам.[11]

Программного обеспечения

Разнообразный ассортимент программное обеспечение может моделировать SNN. Это программное обеспечение можно классифицировать в зависимости от его использования:

SNN моделирование

Обучение без учителя с использованием сегнетоэлектрических синапсов

Они моделируют сложные нейронные модели с высоким уровнем детализации и точности. Большие сети обычно требуют длительной обработки. Кандидаты включают:[12]

Аппаратное обеспечение

Прогнозирование обучения STDP с помощью сегнетоэлектрических синапсов
Модель маршрутизации сетки от нейрона к нейрону

Будущие нейроморфные архитектуры[16] будет состоять из миллиардов таких наносинапсов, что требует четкого понимания физических механизмов, ответственных за пластичность. Экспериментальные системы, основанные на сегнетоэлектрических туннельных переходах, были использованы для демонстрации того, что STDP можно использовать в результате переключения гетерогенной поляризации. Посредством комбинированной визуализации с помощью сканирующего зонда, электрического транспорта и молекулярной динамики в атомарном масштабе, вариации проводимости могут быть смоделированы с помощью обращения доменов с преобладанием нуклеации. Моделирование показывает, что массивы сегнетоэлектрических наносинапсов могут автономно научиться распознавать закономерности предсказуемым образом, открывая путь к обучение без учителя.[17]

Обучение без учителя с использованием сегнетоэлектрических синапсов
  • Акида NSoC от Brainchip фактически имеет 1,2 миллиона нейронов и 10 миллиардов синапсов, что на порядок лучше, чем у других устройств обработки нейронов на рынке[18].
  • Нейросетка - это плата, которая может моделировать всплески нейронных сетей непосредственно на оборудовании. (Стэндфордский Университет)
  • Спинакер (Архитектура нейронной сети Spiking) использует РУКА процессоры как строительные блоки массивно параллельный вычислительная платформа на основе шестиуровневой таламокортикальный модель. (Манчестерский университет )[19] Система SpiNNaker основана на численных моделях, работающих в реальном времени на специализированных цифровых многоядерных чипах с использованием ARM архитектура. Он предоставляет специальные цифровые микросхемы, каждый из которых имеет восемнадцать ядер и общую локальную ОЗУ 128 Мбайт, всего более 1000000 ядер.[20] Один чип может моделировать 16 000 нейронов с 8 миллионами пластиковых синапсов, работающих в реальном времени. [21]
  • TrueNorth это процессор, содержащий 5,4 миллиарда транзисторов, который потребляет всего 70 милливатты; большинство процессоров в персональных компьютерах содержат около 1,4 миллиарда транзисторов и требуют 35 Вт или более. IBM называет принцип построения TrueNorth нейроморфные вычисления. Его основная цель - распознавание образов. Хотя критики говорят, что чип недостаточно мощный, его сторонники отмечают, что это только первое поколение, и возможности улучшенных итераций станут ясны. (IBM)[22]
  • Динамический нейроморфный асинхронный процессор (DYNAP)[23] объединяет медленные, маломощные, неоднородные подпороговые аналоговые схемы и быстро программируемые цифровые схемы. Он поддерживает реконфигурируемые нейронные сети общего назначения в режиме реального времени с импульсными нейронами. Это позволяет реализовать архитектуры нейронной обработки в реальном времени на основе пиков.[24][25] в котором память и вычисления совместно локализованы. Это решает фон Нейман проблема узкого места и обеспечивает мультиплексную передачу пиковых событий в реальном времени для создания крупных сетей. Рекуррентные сети, сети с прямой связью, сверточные сети, сети аттракторов, сети с эхосигналом, глубокие сети, и сети слияния датчиков - лишь некоторые из возможных вариантов.[26]
Базовая микроархитектура верхнего уровня
  • Loihi - это 14-нм чип Intel, который предлагает 128 ядер и 130 000 нейронов в 60-мм корпусе.[27] Он объединяет широкий спектр функций, таких как иерархическая связь, дендритные отсеки, синаптические задержки и программируемые правила синаптического обучения.[28] Запустив сверточную форму алгоритма локальной конкуренции, Loihi может решить ЛАССО проблемы оптимизации с превосходным продуктом задержки энергии более чем на три порядка по сравнению с обычными решающими программами, работающими на изопроцессе / напряжении / области ЦП.[29] Исследовательская система 64 Loihi предлагает нейроморфную систему с 8 миллионами нейронов. Loihi примерно в 1000 раз быстрее процессора и в 10 000 раз энергоэффективнее.[5]
  • BrainScaleS основан на физических имитациях моделей нейронов, синапсов и пластичности с цифровой связью, работающих до десяти тысяч раз быстрее, чем в реальном времени. Его разработала европейская Проект человеческого мозга. [30] Система BrainScaleS содержит 20 8-дюймовых кремниевых пластин по техпроцессу 180 нм. Каждая пластина включает 50 x 106 пластиковых синапсов и 200 000 биологически реалистичных нейронов. Система не выполняет заранее запрограммированный код, а развивается в соответствии с физическими свойствами электронных устройств, работая до 10 тысяч раз быстрее, чем в реальном времени. [31]

Контрольные точки

Возможности классификации сетей с пиковой нагрузкой, обученных в соответствии с методами обучения без учителя[32] были протестированы на стандартных наборах данных эталонных тестов, таких как Iris, Wisconsin Breast Cancer или Statlog Landsat.[33][34][35] Были использованы различные подходы к кодированию информации и проектированию сетей. Например, двухуровневая сеть с прямой связью для кластеризации и классификации данных. Основываясь на идее, предложенной в Hopfield (1995), авторы реализовали модели локальных рецептивных полей, сочетающие свойства радиальных базисных функций (RBF) и пиков нейронов для преобразования входных сигналов (классифицированных данных), имеющих представление с плавающей запятой, в представление с пиками.[36][37]

Смотрите также

Рекомендации

  1. ^ а б Маасс, Вольфганг (1997). «Сети пиковых нейронов: третье поколение моделей нейронных сетей». Нейронные сети. 10 (9): 1659–1671. Дои:10.1016 / S0893-6080 (97) 00011-7. ISSN  0893-6080.
  2. ^ Герстнер, Вульфрам. (2002). Модели нейронов с импульсами: отдельные нейроны, популяции, пластичность. Кистлер, Вернер М., 1969-. Кембридж, Великобритания: Издательство Кембриджского университета. ISBN  0-511-07817-X. OCLC  57417395.
  3. ^ а б «Нейронные сети, новое поколение машинного обучения». 16 июля 2019.
  4. ^ Ли, Дайёл; Ли, Квангму; Квон, Донгуп; Ли, Сунхва; Ким, Янгсок; Ким, Чану (июнь 2018 г.). «Flexon: гибкий цифровой нейрон для эффективного моделирования нейронных сетей». 45-й ежегодный международный симпозиум по компьютерной архитектуре (ISCA) 2018 ACM / IEEE: 275–288. Дои:10.1109 / isca.2018.00032. ISBN  978-1-5386-5984-7. S2CID  50778421.
  5. ^ а б https://spectrum.ieee.org/tech-talk/robotics/artificial-intelligence/intels-neuromorphic-system-hits-8-million-neurons-100-million-coming-by-2020.amp.html Нейроморфная система Intel поражает 8 миллионов нейронов, 100 миллионов появятся к 2020 году
  6. ^ Вульфрам Герстнер (2001). "Пик нейронов". В Вольфганге Маасе; Кристофер М. Бишоп (ред.). Импульсные нейронные сети. MIT Press. ISBN  978-0-262-63221-8.
  7. ^ Анвани, Навин; Раджендран, Бипин (июль 2015 г.). «NormAD - правило контролируемого обучения на основе нормализованного приближенного спуска для пиковых нейронов». 2015 Международная совместная конференция по нейронным сетям (IJCNN): 1–8. Дои:10.1109 / IJCNN.2015.7280618. ISBN  978-1-4799-1960-4. S2CID  14461638.
  8. ^ Анвани, Навин; Раджендран, Бипин (07.03.2020). «Обучение многослойных нейронных сетей с пиковыми импульсами с использованием обратного распространения пространственно-временных ошибок на основе NormAD». Нейрокомпьютинг. 380: 67–77. arXiv:1811.10678. Дои:10.1016 / j.neucom.2019.10.104. ISSN  0925-2312. S2CID  53762477.
  9. ^ Alnajjar, F .; Мурасе, К. (2008). «Простая аплизия-подобная нейронная сеть для создания адаптивного поведения автономных роботов». Адаптивное поведение. 14 (5): 306–324. Дои:10.1177/1059712308093869. S2CID  16577867.
  10. ^ X Zhang; Z Xu; К. Энрикес; S Ferrari (декабрь 2013 г.). Непрямое обучение на основе шипов виртуального насекомого, управляемого нейронной сетью. Решение и контроль IEEE. С. 6798–6805. CiteSeerX  10.1.1.671.6351. Дои:10.1109 / CDC.2013.6760966. ISBN  978-1-4673-5717-3. S2CID  13992150.
  11. ^ Таванаи, Амирхоссейн; Годрати, Масуд; Херадпишех, Саид Реза; Маскелье, Тимоти; Майда, Энтони (март 2019). «Глубокое обучение в нейронных сетях». Нейронные сети. 111: 47–63. arXiv:1804.08150. Дои:10.1016 / j.neunet.2018.12.002. PMID  30682710. S2CID  5039751.
  12. ^ Abbott, L.F .; Нельсон, Саша Б. (ноябрь 2000 г.). «Синаптическая пластичность: укрощение зверя». Природа Неврология. 3 (S11): 1178–1183. Дои:10.1038/81453. PMID  11127835. S2CID  2048100.
  13. ^ Атия, А.Ф .; Парлос, А.Г. (май 2000 г.). «Новые результаты по повторному обучению сети: унификация алгоритмов и ускорение сходимости». IEEE-транзакции в нейронных сетях. 11 (3): 697–709. Дои:10.1109/72.846741. PMID  18249797.
  14. ^ "Hananel-Hazan / bindsnet: Моделирование нейронных сетей (SNN) с пиковыми сигналами с помощью PyTorch". 31 марта 2020.
  15. ^ Мозафари, Милад; Ганджтабеш, Мохаммад; Новзари-Далини, Аббас; Маскелье, Тимоти (12 июля 2019 г.). «SpykeTorch: Эффективное моделирование сверточных пиков в нейронных сетях с максимум одним пиком на нейрон». Границы неврологии. 13: 625. arXiv:1903.02440. Дои:10.3389 / fnins.2019.00625. ЧВК  6640212. PMID  31354403.
  16. ^ Саттон Р.С., Барто А.Г. (2002) Обучение с подкреплением: Введение. Bradford Books, MIT Press, Кембридж, Массачусетс.
  17. ^ Boyn, S .; Grollier, J .; Лесерф, Г. (2017-04-03). «Обучение через динамику сегнетоэлектрических доменов в твердотельных синапсах». Nature Communications. 8: 14736. Bibcode:2017НатКо ... 814736B. Дои:10.1038 / ncomms14736. ЧВК  5382254. PMID  28368007.
  18. ^ админ. «Система нейронного процессора на кристалле Akida». BrainChip. Получено 2020-10-12.
  19. ^ Синь Цзинь; Фербер, Стив Б .; Вудс, Джон В. (2008). «Эффективное моделирование пиковых нейронных сетей на масштабируемом мультипроцессоре». 2008 г. Международная совместная конференция IEEE по нейронным сетям (Всемирный конгресс IEEE по вычислительному интеллекту). С. 2812–2819. Дои:10.1109 / IJCNN.2008.4634194. ISBN  978-1-4244-1820-6. S2CID  2103654.
  20. ^ https://www.humanbrainproject.eu/en/silicon-brains/ Нейроморфные вычисления
  21. ^ «Оборудование: доступные системы». Проект человеческого мозга. Получено 2020-05-10.
  22. ^ Марков, Джон, IBM заявляет, что новый чип работает как мозг, New York Times, 8 августа 2014 г., стр.B1
  23. ^ Саенко, Дмитрий Г .; Vette, Albert H .; Камибаяси, Киётака; Накадзима, Цуёси; Акаи, Масами; Накадзава, Кимитака (март 2007 г.). «Облегчение рефлекса растяжения камбаловидной мышцы, вызванного электрическим возбуждением подошвенных кожных афферентов, расположенных вокруг пятки». Письма о неврологии. 415 (3): 294–298. Дои:10.1016 / j.neulet.2007.01.037. PMID  17276004. S2CID  15165465.
  24. ^ "Нейроморфные цепи с нейронной модуляцией, улучшающие информационное содержание нейронных сигналов | Международная конференция по нейроморфным системам 2020". Дои:10.1145/3407197.3407204. S2CID  220794387. Цитировать журнал требует | журнал = (помощь)
  25. ^ Schrauwen B, Campenhout JV (2004) Улучшение spikeprop: усовершенствования правила обратного распространения ошибок для пиков нейронных сетей. В: Материалы 15-го семинара ProRISC, Велдховен, Нидерланды
  26. ^ Индивери, Джакомо; Корради, Федерико; Цяо, Нин (2015). «Нейроморфные архитектуры для наращивания глубоких нейронных сетей». IEEE International Electron Devices Meeting (IEDM), 2015 г.. С. 4.2.1–4.2.4. Дои:10.1109 / IEDM.2015.7409623. ISBN  978-1-4673-9894-7. S2CID  1065450.
  27. ^ «Нейроморфные вычисления - новое поколение ИИ». Intel. Получено 2019-07-22.
  28. ^ Ямазаки, Тадаши; Танака, Сигэру (17 октября 2007 г.). «Сетевая модель шипов для представления прохождения времени в мозжечке». Европейский журнал нейробиологии. 26 (8): 2279–2292. Дои:10.1111 / j.1460-9568.2007.05837.x. ЧВК  2228369. PMID  17953620.
  29. ^ Дэвис, Майк; Шриниваса, Нараян; Линь, Цзун-Хан; Чинья, Гаутам; Цао, Юнцян; Чодай, Шри Харша; Димоу, Георгиос; Джоши, прасад; Имам, Набиль; Джайн, Светлана; Ляо, Ююнь; Линь, Чит-Кван; Линии, Андрей; Лю, Руокун; Матайкутти, Дипак; Маккой, Стивен; Пол, Арнаб; Це, Джонатан; Венкатараманан, Гуругуханатан; Вен, И-Синь; Дикий, Андреас; Ян, Юнсок; Ван, Хун (январь 2018 г.). "Loihi: нейроморфный многоядерный процессор с обучением на кристалле". IEEE Micro. 38 (1): 82–99. Дои:10.1109 / MM.2018.112130359. S2CID  3608458.
  30. ^ https://www.humanbrainproject.eu/en/silicon-brains/ Нейроморфные вычисления
  31. ^ «Оборудование: доступные системы». Проект человеческого мозга. Получено 2020-05-10.
  32. ^ Понулак, Ф .; Касинский, А. (2010). «Обучение с учителем в нейронных сетях с пиками с помощью ReSuMe: обучение, классификация и смещение пиков». Нейронные вычисления. 22 (2): 467–510. Дои:10.1162 / neco.2009.11-08-901. PMID  19842989. S2CID  12572538.
  33. ^ Newman et al. 1998 г.
  34. ^ Bohte et al. 2002a
  35. ^ Belatreche et al. 2003 г.
  36. ^ Пфистер, Жан-Паскаль; Тойоидзуми, Таро; Барбер, Дэвид; Герстнер, Вульфрам (июнь 2006 г.). «Оптимальная пластичность, зависящая от времени всплеска, для точного срабатывания потенциала действия в контролируемом обучении». Нейронные вычисления. 18 (6): 1318–1348. arXiv:q-bio / 0502037. Bibcode:2005q.bio ..... 2037P. Дои:10.1162 / neco.2006.18.6.1318. PMID  16764506. S2CID  6379045.
  37. ^ Bohte, et. al. (2002b)

внешняя ссылка