Рекурсивная нейронная сеть - Recursive neural network

Не путать с рекуррентная нейронная сеть.

А рекурсивная нейронная сеть это своего рода глубокая нейронная сеть создается путем применения того же набора весов рекурсивно над структурированным вводом, чтобы создать структурированный прогноз над входными структурами переменного размера или скалярным предсказанием на нем, пройдя заданную структуру в топологический порядок. Рекурсивные нейронные сети, иногда сокращенно называемые RvNN, оказались успешными, например, в обучении последовательностей и древовидных структур в обработка естественного языка, в основном непрерывные представления фраз и предложений, основанные на вложение слов. RvNN впервые были введены для изучения распределенные представления структуры, такой как логические термины.[1]Модели и общие рамки разрабатывались в дальнейших работах с 1990-х годов.[2][3]

Архитектура

Базовый

Простая рекурсивная архитектура нейронной сети

В самой простой архитектуре узлы объединяются в родительские с помощью матрицы весов, которая является общей для всей сети, и нелинейности, такой как танх. Если c1 и c2 находятся п-мерное векторное представление узлов, их родитель также будет п-мерный вектор, рассчитываемый как

Где W ученый матрица веса.

Эта архитектура с некоторыми улучшениями использовалась для успешного синтаксического анализа естественных сцен и синтаксического анализа предложений на естественном языке.[4]

Рекурсивная каскадная корреляция (RecCC)

RecCC - это конструктивный подход нейронной сети для работы с доменами дерева.[2] с новаторскими приложениями в химии[5] и расширение на ориентированные ациклические графы.[6]

Неконтролируемая RNN

Фреймворк для неконтролируемой RNN был введен в 2004 году.[7][8]

Тензор

Рекурсивный нейронный тензор сети используют одну тензорную композиционную функцию для всех узлов в дереве.[9]

Обучение персонала

Стохастический градиентный спуск

Обычно стохастический градиентный спуск (SGD) используется для обучения сети. Градиент вычисляется с использованием обратное распространение через структуру (BPTS), вариант обратное распространение во времени используется для повторяющиеся нейронные сети.

Характеристики

Универсальная аппроксимирующая способность РНС над деревьями доказана в литературе.[10][11]

Связанные модели

Рекуррентные нейронные сети

Основная статья: Рекуррентная нейронная сеть

Рекуррентные нейронные сети рекурсивные искусственные нейронные сети с определенной структурой: линейной цепью. В то время как рекурсивные нейронные сети работают с любой иерархической структурой, комбинируя дочерние представления с родительскими представлениями, рекуррентные нейронные сети работают с линейной прогрессией времени, комбинируя предыдущий временной шаг и скрытое представление в представление для текущего временного шага.

Сети состояний эха дерева

Эффективный подход к реализации рекурсивных нейронных сетей дается Tree Echo State Network.[12] в пределах пластовые вычисления парадигма.

Расширение на графы

Расширения к графики включают графическую нейронную сеть (GNN),[13] Нейронная сеть для графиков (NN4G),[14] и совсем недавно сверточные нейронные сети для графиков.

Рекомендации

  1. ^ Goller, C .; Кюхлер, А. (1996). «Изучение распределенных представлений, зависящих от задачи, путем обратного распространения через структуру». Труды Международной конференции по нейронным сетям (ICNN'96). 1. С. 347–352. CiteSeerX  10.1.1.52.4759. Дои:10.1109 / ICNN.1996.548916. ISBN  978-0-7803-3210-2.
  2. ^ а б Sperduti, A .; Старита, А. (1997-05-01). «Контролируемые нейронные сети для классификации структур». IEEE-транзакции в нейронных сетях. 8 (3): 714–735. Дои:10.1109/72.572108. ISSN  1045-9227. PMID  18255672.
  3. ^ Frasconi, P .; Гори, М .; Спердути, А. (1998-09-01). «Общая основа для адаптивной обработки структур данных». IEEE-транзакции в нейронных сетях. 9 (5): 768–786. CiteSeerX  10.1.1.64.2580. Дои:10.1109/72.712151. ISSN  1045-9227. PMID  18255765.
  4. ^ Сохер, Ричард; Лин, Клифф; Ng, Andrew Y .; Мэннинг, Кристофер Д. «Анализ естественных сцен и естественного языка с помощью рекурсивных нейронных сетей» (PDF). 28-я Международная конференция по машинному обучению (ICML 2011).
  5. ^ Биануччи, Анна Мария; Микели, Алессио; Спердути, Алессандро; Старита, Антонина (2000). «Применение каскадных корреляционных сетей для структур в химии». Прикладной интеллект. 12 (1–2): 117–147. Дои:10.1023 / А: 1008368105614. ISSN  0924-669X.
  6. ^ Micheli, A .; Sona, D .; Спердути, А. (2004-11-01). «Контекстная обработка структурированных данных путем рекурсивной каскадной корреляции». IEEE-транзакции в нейронных сетях. 15 (6): 1396–1410. CiteSeerX  10.1.1.135.8772. Дои:10.1109 / TNN.2004.837783. ISSN  1045-9227. PMID  15565768.
  7. ^ Хаммер, Барбара; Микели, Алессио; Спердути, Алессандро; Стрикерт, Марк (2004). «Рекурсивные модели самоорганизующихся сетей». Нейронные сети. 17 (8–9): 1061–1085. CiteSeerX  10.1.1.129.6155. Дои:10.1016 / j.neunet.2004.06.009. PMID  15555852.
  8. ^ Хаммер, Барбара; Микели, Алессио; Спердути, Алессандро; Стрикерт, Марк (2004-03-01). «Общая основа для неконтролируемой обработки структурированных данных». Нейрокомпьютинг. 57: 3–35. CiteSeerX  10.1.1.3.984. Дои:10.1016 / j.neucom.2004.01.008.
  9. ^ Сохер, Ричард; Перелыгин Алексей; Ю. Ву, Жан; Чуанг, Джейсон; Д. Мэннинг, Кристофер; Й. Нг, Эндрю; Поттс, Кристофер. «Рекурсивные глубинные модели для семантической композиционности по банку дерева настроений» (PDF). Emnlp 2013.
  10. ^ Хаммер, Барбара (2007-10-03). Обучение с помощью рекуррентных нейронных сетей. Springer. ISBN  9781846285677.
  11. ^ Хаммер, Барбара; Микели, Алессио; Спердути, Алессандро (01.05.2005). «Универсальная аппроксимативная возможность каскадной корреляции структур». Нейронные вычисления. 17 (5): 1109–1159. CiteSeerX  10.1.1.138.2224. Дои:10.1162/0899766053491878.
  12. ^ Галликкио, Клаудио; Микели, Алессио (04.02.2013). «Дерево эхо-состояний сети». Нейрокомпьютинг. 101: 319–337. Дои:10.1016 / j.neucom.2012.08.017. HDL:11568/158480.
  13. ^ Scarselli, F .; Гори, М .; Цой, А. Ц .; Hagenbuchner, M .; Монфардини, Г. (2009-01-01). "Модель графической нейронной сети". IEEE-транзакции в нейронных сетях. 20 (1): 61–80. Дои:10.1109 / TNN.2008.2005605. ISSN  1045-9227. PMID  19068426.
  14. ^ Микели, А. (2009-03-01). «Нейронная сеть для графов: контекстный конструктивный подход». IEEE-транзакции в нейронных сетях. 20 (3): 498–511. Дои:10.1109 / TNN.2008.2010350. ISSN  1045-9227. PMID  19193509.