Теория адаптивного резонанса - Adaptive resonance theory

Теория адаптивного резонанса (ИЗОБРАЗИТЕЛЬНОЕ ИСКУССТВО) - теория, разработанная Стивен Гроссберг и Гейл Карпентер по аспектам работы мозга обрабатывает информацию. Он описывает ряд модели нейронных сетей которые используют под наблюдением и обучение без учителя методы и решить такие проблемы, как распознавание образов и предсказание.

Основная интуиция, лежащая в основе модели ART, заключается в том, что идентификация и распознавание объекта обычно возникают в результате взаимодействия ожиданий наблюдателя «сверху вниз» с ожиданиями «снизу вверх» сенсорная информация. Модель постулирует, что «нисходящие» ожидания принимают форму шаблона памяти или прототип это затем сравнивается с фактическими характеристиками объекта, обнаруженными органами чувств. Это сравнение позволяет определить принадлежность к категории. Пока эта разница между ощущением и ожиданием не превышает установленный порог, называемый «параметром бдительности», обнаруженный объект будет считаться членом ожидаемого класса. Таким образом, система предлагает решение проблемы «пластичности / стабильности», то есть проблемы получения новых знаний без нарушения существующих знаний, что также называется постепенное обучение.

Модель обучения

Базовая структура ART

Базовая система ART - это обучение без учителя модель. Обычно он состоит из поля сравнения и поля распознавания, состоящего из нейроны, параметр бдительности (порог распознавания) и модуль сброса.

  • Поле сравнения занимает входной вектор (одномерный массив значений) и передает его наилучшему совпадению в поле распознавания.
    • Его наилучшим совпадением является единственный нейрон, набор весов (вектор веса) которого наиболее точно соответствует входной вектор.
  • Каждый поле распознавания нейрон выдает отрицательный сигнал (пропорциональный качеству совпадения этого нейрона с входной вектор) друг к другу поле распознавания нейронов и, таким образом, подавляет их выход.
    • Таким образом поле распознавания экспонаты боковое торможение, позволяя каждому нейрону в нем представлять категорию, к которой входные векторы классифицируются.
  • После входной вектор классифицирован, модуль сброса сравнивает силу совпадения распознавания с параметр бдительности.
    • Если параметр бдительности преодолевается (т.е. входной вектор находится в пределах нормы, показанной на предыдущем входные векторы), затем начинается обучение:
      • Вес выигрыша распознающий нейрон приспособлены к особенностям входной вектор
    • В противном случае, если уровень соответствия ниже параметр бдительности (т.е. входной вектор совпадение вне нормального ожидаемого диапазона для этого нейрона) распознающий нейрон запрещается, и выполняется процедура поиска.
      • В этой процедуре поиска распознающие нейроны отключаются один за другим функцией сброса, пока параметр бдительности преодолевается матчем признания.
        • В частности, на каждом цикле процедуры поиска наиболее активные распознающий нейрон выбирается, а затем выключается, если его активация ниже параметр бдительности
        • (обратите внимание, что таким образом освобождаются оставшиеся распознающие нейроны от его торможения).
    • Если не совершено распознавание нейронов матч преодолевает параметр бдительности, то незафиксированный нейрон фиксируется, и его веса корректируются в соответствии с входной вектор.
  • В параметр бдительности имеет значительное влияние на систему: более высокая бдительность производит очень подробные воспоминания (много детализированных категорий), в то время как низкая бдительность приводит к более общим воспоминаниям (меньшее количество более общих категорий).

Обучение персонала

Существует два основных метода обучения нейронных сетей на основе ART: медленный и быстрый. В методе медленного обучения степень обучения весов распознающего нейрона входному вектору вычисляется до непрерывных значений с дифференциальные уравнения и, таким образом, зависит от продолжительности представления входного вектора. Благодаря быстрому обучению алгебраические уравнения используются для расчета степени корректировки веса, и используются двоичные значения. В то время как быстрое обучение является эффективным и действенным для множества задач, метод медленного обучения более правдоподобен с биологической точки зрения и может использоваться с сетями с непрерывным временем (т. Е. Когда входной вектор может непрерывно изменяться).

Типы

АРТ 1[1][2] это простейшая разновидность сетей ART, принимающая только двоичные входы.ИСКУССТВО 2[3] расширяет возможности сети для поддержки непрерывного ввода.АРТ 2-А[4] представляет собой модернизированную форму ART-2 с резко ускоренным временем выполнения и лишь в редких случаях с качественными результатами, уступающими полной реализации ART-2.АРТ 3[5] основан на ART-2 путем моделирования элементарных нейротрансмиттер регулирование синаптическая активность путем включения смоделированных концентраций ионов натрия (Na +) и кальция (Ca2 +) в уравнения системы, что приводит к более физиологически реалистичным средствам частичного подавления категорий, запускающих сброс несоответствия.

Обзор ARTMAP

ARTMAP[6] также известный как Прогнозирующее АРТ, объединяет два слегка модифицированных блока ART-1 или ART-2 в контролируемую структуру обучения, где первый блок принимает входные данные, а второй блок принимает правильные выходные данные, а затем используется для минимально возможной регулировки параметра бдительности в первый блок, чтобы сделать правильную классификацию.

Нечеткое искусство[7] реализует нечеткую логику в распознавании образов ART, тем самым повышая универсальность. Необязательной (и очень полезной) функцией нечеткого ART является дополнительное кодирование, средство включения отсутствия функций в классификации шаблонов, что имеет большое значение для предотвращения неэффективного и ненужного увеличения числа категорий. Применяемые меры подобия основаны на L1 норма. Известно, что Fuzzy ART очень чувствителен к шуму.

Нечеткое ARTMAP[8] представляет собой просто ARTMAP с использованием нечетких блоков ART, что приводит к соответствующему увеличению эффективности.

Упрощенный нечеткий ARTMAP (SFAM)[9] представляет собой сильно упрощенный вариант нечеткого ARTMAP, предназначенный для классификация задачи.

Гауссовское искусство[10] и Гауссовский ARTMAP[10] использовать гауссовские функции активации и вычисления на основе теории вероятностей. Следовательно, они имеют некоторое сходство с гауссовскими модели смеси. По сравнению с нечетким ART и нечетким ARTMAP они менее чувствительны к шуму. Но стабильность заученных репрезентаций снижается, что может привести к увеличению категорий в открытых учебных задачах.

Fusion ART и связанные сети[11] расширить ART и ARTMAP на несколько каналов шаблонов. Они поддерживают несколько парадигм обучения.

TopoART[12] сочетает нечеткое ART с сетями обучения топологии, такими как растущий нервный газ. Кроме того, он добавляет механизм шумоподавления. Существует несколько производных нейронных сетей, которые расширяют TopoART для дальнейших парадигм обучения.

Гиперсфера ART[13] и Гиперсфера ARTMAP[13] тесно связаны с нечетким ART и нечетким ARTMAP соответственно. Но поскольку они используют другой тип представления категорий (а именно гиперсферы), они не требуют, чтобы их ввод был нормализован до интервала [0, 1]. Они применяют меры сходства на основе L2 норма.

LAPART[14] Нейронные сети теории адаптивного резонанса с боковой ориентацией (LAPART) объединяют два алгоритма Fuzzy ART для создания механизма прогнозирования на основе изученных ассоциаций. Соединение двух Fuzzy ART обладает уникальной стабильностью, которая позволяет системе быстро сходиться к четкому решению. Кроме того, он может выполнять логический вывод и обучение с учителем, аналогично нечеткому ARTMAP.

Критика

Было отмечено, что результаты Fuzzy ART и ART 1 (т. Е. Изученные категории) критически зависят от порядка, в котором обрабатываются данные обучения. Эффект можно до некоторой степени уменьшить, используя более медленную скорость обучения, но он присутствует независимо от размера входного набора данных. Следовательно, оценки Fuzzy ART и ART 1 не обладают статистическим свойством последовательность.[15] Эту проблему можно рассматривать как побочный эффект соответствующих механизмов, обеспечивающих стабильное обучение в обеих сетях.

Более продвинутые сети ART, такие как TopoART и Hypersphere TopoART, которые объединяют категории в кластеры, могут решить эту проблему, поскольку формы кластеров не зависят от порядка создания связанных категорий. (см. Рис. 3 (g, h) и Рис. 4 из [16])

Рекомендации

  1. ^ Карпентер, Г.А. И Гроссберг, С. (2003), Теория адаптивного резонанса В архиве 2006-05-19 в Wayback Machine, В Майкл А. Арбиб (Ред.), Справочник по теории мозга и нейронным сетям, второе издание (стр. 87-90). Кембридж, Массачусетс: MIT Press
  2. ^ Гроссберг, С. (1987), Конкурентное обучение: от интерактивной активации к адаптивному резонансу В архиве 2006-09-07 на Wayback Machine, Когнитивная наука (журнал), 11, 23-63
  3. ^ Карпентер, Г.А. И Гроссберг, С. (1987), ИСКУССТВО 2: Самоорганизация устойчивых кодов распознавания категорий для аналоговых входных шаблонов В архиве 2006-09-04 на Wayback Machine, Прикладная оптика, 26(23), 4919-4930
  4. ^ Карпентер, Г.А., Гроссберг, С., и Розен, Д. (1991a), ART 2-A: алгоритм адаптивного резонанса для быстрого изучения и распознавания категорий В архиве 2006-05-19 в Wayback Machine, Нейронные сети (публикация), 4, 493-504
  5. ^ Карпентер, Г.А. И Гроссберг, С. (1990), ИСКУССТВО 3: Иерархический поиск с использованием химических передатчиков в самоорганизующихся архитектурах распознавания образов В архиве 2006-09-06 на Wayback Machine, Нейронные сети (публикация), 3, 129-152
  6. ^ Карпентер, Г.А., Гроссберг, С., и Рейнольдс, Дж. Х. (1991), ARTMAP: контролируемое обучение и классификация нестационарных данных в реальном времени с помощью самоорганизующейся нейронной сети В архиве 2006-05-19 в Wayback Machine, Нейронные сети (публикация), 4, 565-588
  7. ^ Карпентер, Г.А., Гроссберг, С., и Розен, Д. (1991b), Fuzzy ART: быстрое стабильное обучение и категоризация аналоговых паттернов с помощью адаптивной резонансной системы В архиве 2006-05-19 в Wayback Machine, Нейронные сети (публикация), 4, 759-771
  8. ^ Карпентер, Г.А., Гроссберг, С., Маркузон, Н., Рейнольдс, Дж. Х., и Розен, Д. Б. (1992), Fuzzy ARTMAP: архитектура нейронной сети для постепенного контролируемого обучения аналоговых многомерных карт. В архиве 2006-05-19 в Wayback Machine, IEEE-транзакции в нейронных сетях, 3, 698-713
  9. ^ Мохаммад-Таги Вакил-Багмишех и Никола Павешич. (2003) Fast Simplified Fuzzy ARTMAP Network, Neural Processing Letters, 17 (3): 273–316.
  10. ^ а б Джеймс Р. Уильямсон. (1996), Gaussian ARTMAP: нейронная сеть для быстрого инкрементального изучения зашумленных многомерных карт, Нейронные сети, 9 (5): 881-897
  11. ^ Ю. Асфур, Г.А. Карпентер, С. Гроссберг и Г.В. Лешер. (1993) Fusion ARTMAP: адаптивная нечеткая сеть для многоканальной классификации. В: Труды Третьей Международной конференции по промышленному нечеткому управлению и интеллектуальным системам (IFIS).
  12. ^ Марко Черепанов. (2010) TopoART: иерархическая сеть ART с изучением топологии, В: Материалы Международной конференции по искусственным нейронным сетям (ICANN), часть III, LNCS 6354, 157-167.
  13. ^ а б Георгиос К. Анагностопулос и Майкл Георгиопулос. (2000), Hypersphere ART и ARTMAP для неконтролируемого и контролируемого инкрементального обучения, В: Труды Международной совместной конференции по нейронным сетям (IJCNN), т. 6, 59–64
  14. ^ Сандийские национальные лаборатории (2017) Документация Lapart-python
  15. ^ Сарл, Уоррен С. (1995), Почему статистикам не следует пукать В архиве 20 июля 2011 г. Wayback Machine
  16. ^ Марко Черепанов. (2012) Инкрементальная он-лайн кластеризация с иерархической нейронной сетью ART с изучением топологии с использованием гиперсферических категорий, In: Poster and Industry Proceedings of the Industrial Conference on Data Mining (ICDM), 22–34.

Вассерман, Филип Д. (1989), Нейронные вычисления: теория и практика, Нью-Йорк: Ван Ностранд Рейнхольд, ISBN  0-442-20743-3

внешняя ссылка