Случайная нейронная сеть - Random neural network

В случайная нейронная сеть (RNN) математическое представление взаимосвязанной сети нейроны или же клетки который обмен пиковые сигналы. Это было изобретено Эрол Геленбе и связан с G-сеть модели сетей массового обслуживания, а также к моделям генных регулирующих сетей. Состояние каждой ячейки представлено целым числом, значение которого увеличивается, когда ячейка получает возбуждающий всплеск, и падает, когда она получает тормозной всплеск. Спайки могут возникать за пределами сеть сам по себе, или они могут поступать из других ячеек в сети. Ячейкам, внутреннее возбуждающее состояние которых имеет положительное значение, разрешено посылать пики любого вида другим ячейкам в сети в соответствии с конкретными зависимыми от ячейки скоростями пиков. Модель имеет математическое решение в установившемся режиме, которое обеспечивает совместное распределение вероятностей сети с точки зрения индивидуальных вероятностей того, что каждая ячейка возбуждена и способна посылать пики. Вычисление этого решения основано на решении набора нелинейные алгебраические уравнения чей параметры связаны со скоростью пиков отдельных ячеек и их подключением к другим ячейкам, а также со скоростью поступления пиков извне сети. RNN - это рекуррентная модель, то есть нейронная сеть, которая может иметь сложные петли обратной связи.

Высокоэффективная реализация случайных нейронных сетей была продемонстрирована Кришна Палем и другие. используя вероятностную CMOS или PCMOS технологии и было показано, что c. В 226–300 раз эффективнее с точки зрения энергоэффективности продукта.[1]

RNN также связаны с искусственные нейронные сети, которые (как и случайная нейронная сеть) имеют градиентные алгоритмы обучения. Алгоритм обучения случайной нейронной сети с n узлами, включающий петли обратной связи (это также рекуррентная нейронная сеть ) имеет вычислительную сложность O (n ^ 3) (количество вычислений пропорционально кубу n - количеству нейронов). Случайная нейронная сеть также может использоваться с другим обучением. алгоритмы Такие как обучение с подкреплением. Было показано, что RNN является универсальным приближением для ограниченный и непрерывные функции.

Смотрите также

Ссылки и источники

Рекомендации
  1. ^ Лакшми Н. Чакрапани; Бильге Э. С. Акгуль; Суреш Чемалавагу; Пинар Коркмаз; Кришна В. Палем; Balasubramanian Seshasayee. «Ультраэффективные встраиваемые архитектуры SOC на основе технологии вероятностной CMOS (PCMOS)». Конференция «Автоматизация проектирования и испытания в Европе» (ДАТА), 2006 г.
Источники
  • Э. Геленбе, Случайные нейронные сети с отрицательными и положительными сигналами и решение формы продукта, Нейронные вычисления, т. 1, вып. 4. С. 502–511, 1989.
  • Э. Геленбе, Устойчивость модели случайной нейронной сети, Нейронные вычисления, т. 2, вып. 2. С. 239–247, 1990.
  • Э. Геленбе, А. Стафилопатис, А. Ликас, Операция ассоциативной памяти модели случайной сети, в Proc. Int. Конф. Искусственные нейронные сети, Хельсинки, стр. 307–312, 1991.
  • Э. Геленбе, Ф. Бэтти, Покрытие графа минимальной стоимости случайной нейронной сетью, Компьютерные науки и исследования операций, О. Бальчи (редактор), Нью-Йорк, Пергамон, стр. 139–147, 1992.
  • Э. Геленбе, Обучение в повторяющейся случайной нейронной сети, Нейронные вычисления, т. 5, вып. 1. С. 154–164, 1993.
  • Э. Геленбе, В. Куби, Ф. Пекергин, Подход динамической случайной нейронной сети к задаче коммивояжера, Proc. IEEE Symp. Syst., Man, Cybern., Стр. 630–635, 1993.
  • Э. Геленбе, К. Крамер, М. Сунгур, П. Геленбе «Качество трафика и видео при адаптивном нейронном сжатии», Мультимедийные системы, 4, 357–369, 1996.
  • К. Крамер, Э. Геленбе, Х. Бакирджоглу Сжатие видео с низкой скоростью передачи данных с помощью нейронных сетей и временной субдискретизации, Труды IEEE, Vol. 84, No. 10, pp. 1529–1543, октябрь 1996 г.
  • Э. Геленбе, Т. Фенг, K.R.R. Кришнан Нейросетевые методы объемной магнитно-резонансной томографии головного мозга человека, Труды IEEE, Vol. 84, No. 10, pp. 1488–1496, октябрь 1996 г.
  • Э. Геленбе, А. Ганвани, В. Сринивасан, "Улучшенная нейронная эвристика для многоадресной маршрутизации", IEEE J. Избранные области коммуникаций, 15, (2), 147–155, 1997.
  • Э. Геленбе, З. Х. Мао и Ю. Д. Ли, "Аппроксимация функций случайной нейронной сетью", IEEE Trans. Нейронные сети, 10, (1), январь 1999 г.[страница нужна ]
  • Э. Геленбе, Дж. М. Фурно «Случайные нейронные сети с несколькими классами сигналов», Нейронные вычисления, 11, 721–731, 1999.
  • Угур Халичи «Обучение с подкреплением с внутренним ожиданием для случайной нейронной сети», Европейский журнал операционных исследований 126 (2): 288–307, 2000.
  • Аристидис Ликас, Андреас Стафилопатис «Обучение случайной нейронной сети с использованием квазиньютоновских методов», Европейский журнал операционных исследований 126 (2): 331–339, 2000.
  • Самир Мохамед, Херардо Рубино, Мартин Варела «Оценка производительности речи в реальном времени через пакетную сеть: подход на основе случайных нейронных сетей», Perform. Eval. 57 (2): 141–161, 2004.
  • Э. Геленбе, З.-Х. Мао и Й-Д. Ли «Аппроксимация функций случайными нейронными сетями с ограниченным числом слоев», «Дифференциальные уравнения и динамические системы», 12 (1 и 2), 143–170, январь, апрель 2004 г.
  • Херардо Рубино, Пьер Тирилли, Мартин Варела «Оценка удовлетворенности пользователей в пакетных сетях с использованием случайных нейронных сетей», ICANN (1) 2006: 303–312, 2006.
  • Гюлай Оке и Георгиос Лукас. Детектор отказа в обслуживании, основанный на обнаружении максимального правдоподобия и случайной нейронной сети. Компьютерный журнал, 50 (6): 717–727, ноябрь 2007 г.
  • С. Тимотеу. Неотрицательное обучение методом наименьших квадратов для случайной нейронной сети. В материалах 18-й Международной конференции по искусственным нейронным сетям, Прага, Чешская Республика, страницы 195–204, 2008 г.
  • С. Тимотеу. Новый метод инициализации весов для случайной нейронной сети. На Пятом международном симпозиуме по нейронным сетям (ISNN), Пекин, Китай, 2008 г.
  • Стелиос Тимотеу "Случайная нейронная сеть: обзор", Comput. J. 53 (3): 251–267, 2010.
  • Педро Касас, Сандрин Ватон «Об использовании случайных нейронных сетей для оценки матрицы трафика в крупномасштабных IP-сетях», IWCMC 2010: 326–330, 2010.
  • С. Бастерреч, Г. Рубино, "Случайная нейронная сеть как инструмент обучения с учителем", Neural Network World, 25 (5), 457-499, DOI: 10.14311 / NNW.2015.25.024, 2015.
  • С. Бастерреч, С. Мохамед, Г. Рубино, М. Солиман, "Обучающие алгоритмы Левенберга-Марквардта для случайных нейронных сетей", Компьютерный журнал, 54 (1), 125–135, 2011.
  • Майкл Георгиопулос, Конг Ли и Таскин Коджак «Обучение в случайной нейронной сети с прямой связью: критический обзор», Performance Evaluation, 68 (4): 361–384, 2011.