Типы искусственных нейронных сетей - Википедия - Types of artificial neural networks

Есть много типы искусственных нейронных сетей (АННА).

Искусственные нейронные сети находятся вычислительные модели вдохновлен биологические нейронные сети, и привыкли приблизительный функции которые обычно неизвестны. В частности, их вдохновляет поведение нейроны и электрические сигналы, которые они передают между входом (например, из глаз или нервных окончаний в руке), обработкой и выходом из мозга (например, реакцией на свет, прикосновение или тепло). То, как нейроны семантически общаются, является областью постоянных исследований.[1][2][3][4] Большинство искусственных нейронных сетей имеют лишь некоторое сходство со своими более сложными биологическими аналогами, но очень эффективны в решении поставленных перед ними задач (например, классификации или сегментации).

Некоторые искусственные нейронные сети адаптивные системы и используются, например, для модельные популяции и окружающая среда, которая постоянно меняется.

Нейронные сети могут быть аппаратными (нейроны представлены физическими компонентами) или программный (компьютерные модели) и могут использовать различные топологии и алгоритмы обучения.

Прогноз

Основная статья: Нейронная сеть с прямой связью

Нейронная сеть с прямой связью была первым и самым простым типом. В этой сети информация перемещается только от входного слоя напрямую через любые скрытые слои к выходному слою без циклов / циклов. Сети прямого распространения могут быть построены с использованием различных типов единиц, таких как двоичные Нейроны Маккаллоха – Питтса, самым простым из которых является перцептрон. Непрерывные нейроны, часто с сигмоидальной активацией, используются в контексте обратное распространение.

Групповой метод обработки данных

Основная статья: Групповой метод обработки данных

Групповой метод обработки данных (GMDH)[5] имеет полностью автоматическую оптимизацию структурных и параметрических моделей. Функции активации узла: Колмогоров –Полиномы Габора, допускающие сложение и умножение. Используется глубокая многослойная перцептрон с восемью слоями.[6] Это контролируемое обучение сеть, которая растет слой за слоем, где каждый слой обучается регрессивный анализ. Бесполезные элементы обнаруживаются с помощью набора проверки и удаляются регуляризация. Размер и глубина результирующей сети зависит от задачи.[7]

Автоэнкодер

Основная статья: Автоэнкодер

Автоэнкодер, автоассоциатор или сеть Diabolo[8]:19 похож на многослойный персептрон (MLP) - с входным слоем, выходным слоем и одним или несколькими соединяющими их скрытыми слоями. Однако выходной слой имеет то же количество единиц, что и входной слой. Его цель - восстановить собственные входные данные (вместо выдачи целевого значения). Следовательно, автоэнкодеры обучение без учителя модели. Автоэнкодер используется для обучение без учителя из эффективное кодирование,[9][10] обычно с целью уменьшение размерности и для обучения генеративные модели данных.[11][12]

Вероятностный

Основная статья: Вероятностная нейронная сеть

Вероятностная нейронная сеть (PNN) - это четырехуровневая нейронная сеть с прямой связью. Слои - это вход, скрытый, шаблон / суммирование и выход. В алгоритме PNN родительская функция распределения вероятностей (PDF) каждого класса аппроксимируется Окно Парзена и непараметрическая функция. Затем, используя PDF каждого класса, оценивается вероятность класса нового ввода и применяется правило Байеса, чтобы отнести его к классу с наивысшей апостериорной вероятностью.[13] Он был получен из Байесовская сеть[14] и статистический алгоритм, называемый Дискриминантный анализ ядра Фишера.[15] Он используется для классификации и распознавания образов.

Временная задержка

Основная статья: Нейронная сеть с временной задержкой

Нейронная сеть с временной задержкой (TDNN) - это архитектура с прямой связью для последовательных данных, которая распознает признаки независимо от положения последовательности. Чтобы добиться инвариантности сдвига во времени, к входным данным добавляются задержки, так что несколько точек данных (моменты времени) анализируются вместе.

Обычно он является частью более крупной системы распознавания образов. Это было реализовано с использованием перцептрон сеть, веса соединений которой были обучены с обратным распространением (обучение с учителем).[16]

Сверточный

Основная статья: Сверточная нейронная сеть

Сверточная нейронная сеть (CNN, или ConvNet, или инвариант сдвига, или пространственный инвариант) - это класс глубокой сети, состоящей из одного или нескольких сверточный слои с полностью связанными слоями (совпадающими со слоями в типичных ИНС) наверху.[17][18] Он использует связанные веса и объединяющие слои. В частности, max-pooling.[19] Он часто структурирован через сверточную архитектуру Фукусимы.[20] Это вариации многослойные персептроны которые используют минимальные предварительная обработка.[21] Эта архитектура позволяет CNN использовать двумерную структуру входных данных.

Его единичная модель связности вдохновлена ​​организацией зрительной коры. Единицы реагируют на стимулы в ограниченной области пространства, известной как рецептивное поле. Рецептивные поля частично перекрываются, покрывая всю поле зрения. Отклик агрегата можно математически аппроксимировать свертка операция.[22]

CNN подходят для обработки визуальных и других двумерных данных.[23][24] Они показали превосходные результаты как в графических, так и в речевых приложениях. Их можно обучить стандартным методом обратного распространения ошибки. CNN легче обучать, чем другие обычные, глубокие нейронные сети с прямой связью, и у них гораздо меньше параметров для оценки.[25]

Капсульные нейронные сети (CapsNet) добавляет в CNN структуры, называемые капсулами, и повторно использует выходные данные нескольких капсул, чтобы сформировать более стабильные (по отношению к различным возмущениям) представления.[26]

Примеры приложений компьютерного зрения включают: DeepDream[27] и робот-навигация.[28] Они имеют широкое применение в распознавание изображений и видео, рекомендательные системы[29] и обработка естественного языка.[30]

Сеть глубокого стекирования

Сеть с глубоким стеком (DSN)[31] (глубокая выпуклая сеть) основана на иерархии блоков упрощенных модулей нейронной сети. Он был представлен в 2011 году Дэн и Дун.[32] Он формулирует обучение как задача выпуклой оптимизации с закрытое решение, подчеркивая сходство механизма с сложное обобщение.[33] Каждый блок DSN - это простой модуль, который легко обучить под наблюдением мода без обратного распространения ошибки на целые блоки.[34]

Каждый блок состоит из упрощенного многослойный персептрон (MLP) с одним скрытым слоем. Скрытый слой час имеет логистический сигмовидный единицы, а выходной слой имеет линейные единицы. Связи между этими слоями представлены весовой матрицей U; соединения ввода со скрытым слоем имеют весовую матрицу W. Целевые векторы т сформировать столбцы матрицы Т, а векторы входных данных Икс сформировать столбцы матрицы ИКС. Матрица скрытых единиц . Модули обучаются по порядку, поэтому веса нижнего уровня W известны на каждом этапе. Функция выполняет поэлементно логистическая сигмовидная операция. Каждый блок оценивает один и тот же окончательный класс метки у, и его оценка объединяется с исходным вводом Икс для формирования расширенного ввода для следующего блока. Таким образом, входные данные первого блока содержат только исходные данные, тогда как входные данные последующих блоков добавляют выходные данные предыдущих блоков. Затем изучение матрицы весов верхнего уровня U с учетом других весов в сети можно сформулировать как задачу выпуклой оптимизации:

который имеет решение в замкнутой форме.[31]

В отличие от других глубоких архитектур, таких как DBN, цель не состоит в обнаружении преобразованных особенность представление. Структура иерархии такой архитектуры упрощает параллельное обучение как задачу оптимизации в пакетном режиме. В чисто отличительные задачи, DSN превосходят обычные DBN.

Тензорные сети с глубоким стеком

Эта архитектура является расширением DSN. Он предлагает два важных улучшения: он использует информацию более высокого порядка из ковариация статистики, и это преобразовывает невыпуклая задача нижнего уровня к выпуклой подзадаче верхнего слоя.[35] TDSN используют статистику ковариации в билинейное отображение от каждого из двух различных наборов скрытых единиц в одном слое до прогнозов через третий порядок тензор.

Хотя распараллеливание и масштабируемость серьезно не рассматриваются в обычных DNN,[36][37][38] все обучение для DSNпесок TDSNs выполняется в пакетном режиме, чтобы обеспечить распараллеливание.[39][40] Распараллеливание позволяет масштабировать дизайн для более крупных (более глубоких) архитектур и наборов данных.

Базовая архитектура подходит для различных задач, таких как классификация и регресс.

Нормативная обратная связь

Сети регуляторной обратной связи начинались как модель для объяснения феноменов мозга, обнаруживаемых во время распознавания, в том числе в масштабах всей сети разрыв и трудности со сходством находят повсеместно в сенсорном распознавании. Механизм для выполнения оптимизации во время распознавания создается с использованием ингибирующих обратных связей с теми же входами, которые их активируют. Это снижает требования во время обучения и позволяет упростить обучение и обновление, сохраняя при этом возможность выполнять сложное распознавание.

Радиальная базисная функция (RBF)

Основная статья: Сеть радиальных базисных функций

Радиальные базисные функции - это функции, которые имеют критерий расстояния относительно центра. Радиальные базисные функции были применены в качестве замены сигмоидальной характеристики передачи скрытого слоя в многослойных персептронах. Сети RBF имеют два уровня: на первом вход отображается на каждый RBF в «скрытом» слое. Выбранный RBF обычно является гауссовским. В задачах регрессии выходной слой представляет собой линейную комбинацию значений скрытого слоя, представляющих среднее прогнозируемое значение. Интерпретация этого значения выходного слоя такая же, как у регрессионная модель в статистике. В задачах классификации выходной слой обычно сигмовидная функция линейной комбинации значений скрытого слоя, представляющей апостериорную вероятность. Производительность в обоих случаях часто улучшается за счет методов усадки, известных как регресс гребня в классической статистике. Это соответствует априорной вере в малые значения параметров (и, следовательно, сглаженные выходные функции) в Байесовский рамки.

RBF-сети имеют то преимущество, что избегают локальных минимумов так же, как многослойные персептроны. Это потому, что единственные параметры, которые настраиваются в процессе обучения, - это линейное отображение от скрытого слоя к выходному слою. Линейность гарантирует, что поверхность ошибки является квадратичной и, следовательно, имеет один легко определяемый минимум. В задачах регрессии это можно найти за одну матричную операцию. В задачах классификации фиксированная нелинейность, вносимая сигмовидной выходной функцией, наиболее эффективно решается с помощью итеративно повторно взвешенные методы наименьших квадратов.

Недостатком сетей RBF является необходимость хорошего покрытия входного пространства радиальными базисными функциями. Центры RBF определяются со ссылкой на распределение входных данных, но без привязки к задаче прогнозирования. В результате репрезентативные ресурсы могут быть потрачены впустую на области входного пространства, не относящиеся к задаче. Распространенное решение - связать каждую точку данных с ее собственным центром, хотя это может расширить линейную систему, которая будет решена на последнем слое, и требует методов усадки, чтобы избежать переоснащение.

Связывание каждого входного элемента данных с RBF естественным образом приводит к таким методам ядра, как опорные векторные машины (SVM) и гауссовские процессы (RBF - это функция ядра ). Все три подхода используют нелинейную функцию ядра для проецирования входных данных в пространство, где проблема обучения может быть решена с использованием линейной модели. Подобно гауссовским процессам и в отличие от SVM, RBF-сети обычно обучаются в рамках модели максимального правдоподобия путем максимизации вероятности (минимизации ошибки). SVM избегают переобучения, увеличивая вместо этого маржу. В большинстве классификационных приложений SVM превосходят сети RBF. В приложениях регрессии они могут быть конкурентоспособными, когда размерность входного пространства относительно мала.

Как работают сети RBF

RBF нейронные сети концептуально похожи на K-ближайший сосед (k-NN) модели. Основная идея состоит в том, что одинаковые входные данные производят аналогичные выходные.

В случае, если в обучающем наборе есть две переменные-предикторы, x и y, а целевая переменная имеет две категории: положительную и отрицательную. Учитывая новый случай со значениями предикторов x = 6, y = 5,1, как вычисляется целевая переменная?

Классификация ближайшего соседа, выполняемая для этого примера, зависит от того, сколько соседних точек учитывается. Если используется 1-NN и ближайшая точка отрицательная, то новую точку следует классифицировать как отрицательную. В качестве альтернативы, если используется классификация 9-NN и рассматриваются ближайшие 9 точек, то влияние окружающих 8 положительных точек может перевесить ближайшие 9 (отрицательные) точки.

Сеть RBF позиционирует нейроны в пространстве, описываемом переменными-предикторами (x, y в этом примере). У этого пространства столько же измерений, сколько у переменных-предикторов. Евклидово расстояние вычисляется от новой точки до центра каждого нейрона, а радиальная базисная функция (RBF) (также называемая функцией ядра) применяется к расстоянию для вычисления веса (влияния) для каждого нейрона. Радиальная базисная функция названа так потому, что радиус-расстояние является аргументом функции.

Масса = RBF (расстояние)

Радиальная базисная функция

Значение для новой точки находится путем суммирования выходных значений функций RBF, умноженных на веса, вычисленные для каждого нейрона.

Радиальная базисная функция нейрона имеет центр и радиус (также называемый разбросом). Радиус может быть разным для каждого нейрона, и в сетях RBF, генерируемых DTREG, радиус может быть разным в каждом измерении.

Чем больше разброс, тем большее влияние имеют нейроны на расстоянии от точки.

Архитектура

Сети RBF имеют три уровня:

  • Входной слой: На входном слое появляется один нейрон для каждой переменной-предиктора. В случае категориальные переменные, Используются нейроны N-1, где N - количество категорий. Входные нейроны стандартизируют диапазоны значений путем вычитания медиана и разделив на межквартильный классифицировать. Затем входные нейроны передают значения каждому из нейронов скрытого слоя.
  • Скрытый слой: Этот слой имеет переменное количество нейронов (определяется процессом обучения). Каждый нейрон состоит из радиальной базисной функции с центром в точке, размерность которой равна количеству переменных-предикторов. Разброс (радиус) функции RBF может быть разным для каждого измерения. Центры и спреды определяются тренировкой. При представлении вектора x входных значений из входного слоя скрытый нейрон вычисляет евклидово расстояние тестового примера от центральной точки нейрона, а затем применяет функцию ядра RBF к этому расстоянию, используя значения разброса. Полученное значение передается на слой суммирования.
  • Суммирующий слой: Значение, исходящее от нейрона в скрытом слое, умножается на вес, связанный с нейроном, и прибавляется к взвешенным значениям других нейронов. Эта сумма становится выходом. Для задач классификации создается один результат (с отдельным набором весов и единицей суммирования) для каждой целевой категории. Выходное значение для категории - это вероятность того, что рассматриваемый случай имеет эту категорию.

Обучение персонала

В тренировочном процессе определяются следующие параметры:

  • Количество нейронов в скрытом слое
  • Координаты центра каждой функции RBF скрытого слоя
  • Радиус (разброс) каждой функции RBF в каждом измерении
  • Веса, применяемые к выходам функции RBF, когда они переходят на слой суммирования

Для обучения сетей RBF использовались различные методы. Один подход сначала использует К-средство кластеризации найти центры кластеров, которые затем используются в качестве центров для функций RBF. Однако кластеризация с использованием метода K-средних требует больших вычислительных ресурсов и часто не позволяет получить оптимальное количество центров. Другой подход - использовать случайное подмножество тренировочных точек в качестве центров.

DTREG использует алгоритм обучения, который использует эволюционный подход для определения оптимальных центральных точек и спредов для каждого нейрона. Он определяет, когда следует прекратить добавление нейронов в сеть, отслеживая предполагаемую ошибку исключения одного выхода (LOO) и завершая ее, когда ошибка LOO начинает увеличиваться из-за переобучения.

Вычисление оптимальных весов между нейронами в скрытом слое и слое суммирования выполняется с помощью гребенчатой ​​регрессии. Итерационная процедура вычисляет оптимальный параметр лямбда регуляризации, который минимизирует ошибку обобщенной перекрестной проверки (GCV).

Нейронная сеть общей регрессии

Основная статья: Нейронная сеть общей регрессии

GRNN - это нейронная сеть ассоциативной памяти, которая похожа на вероятностная нейронная сеть но он используется для регрессии и приближения, а не для классификации.

Сеть глубоких убеждений

Основная статья: Сеть глубоких убеждений
А ограниченная машина Больцмана (RBM) с полностью подключенными видимыми и скрытыми блоками. Обратите внимание, что нет скрытых-скрытых или видимых-видимых соединений.

Сеть глубоких убеждений (DBN) является вероятностной, генеративная модель состоит из нескольких скрытых слоев. Это можно считать сочинение простых обучающих модулей.[41]

DBN можно использовать для генеративного предварительного обучения глубокой нейронной сети (DNN), используя изученные веса DBN в качестве начальных весов DNN. Затем различные дискриминационные алгоритмы могут настроить эти веса. Это особенно полезно, когда обучающие данные ограничены, потому что плохо инициализированные веса могут значительно затруднить обучение. Эти предварительно обученные веса попадают в область пространства весов, которая ближе к оптимальным весам, чем случайный выбор. Это позволяет улучшить моделирование и ускорить окончательную сходимость.[42]

Рекуррентная нейронная сеть

Основная статья: Рекуррентная нейронная сеть

Рекуррентные нейронные сети (RNN) распространяет данные вперед, но также и назад, от более поздних этапов обработки к более ранним этапам. RNN можно использовать как процессоры общей последовательности.

Полностью повторяющийся

Эта архитектура была разработана в 1980-х годах. Его сеть создает направленное соединение между каждой парой устройств. Каждый из них имеет изменяющуюся во времени активацию (выход) с действительным знаком (больше нуля или одного). Каждое соединение имеет изменяемый действительный вес. Некоторые из узлов называются помеченными узлами, некоторые выходные узлы, остальные скрытыми узлами.

За контролируемое обучение в настройках дискретного времени обучающие последовательности действительных входных векторов становятся последовательностями активаций входных узлов, по одному входному вектору за раз. На каждом временном шаге каждый не входящий блок вычисляет свою текущую активацию как нелинейную функцию взвешенной суммы активаций всех блоков, от которых он получает соединения. Система может явно активировать (независимо от входящих сигналов) некоторые блоки вывода в определенные временные интервалы. Например, если входная последовательность представляет собой речевой сигнал, соответствующий произносимой цифре, конечным целевым выходом в конце последовательности может быть метка, классифицирующая цифру. Для каждой последовательности ее ошибка представляет собой сумму отклонений всех активаций, вычисленных сетью, от соответствующих целевых сигналов. Для обучающего набора из множества последовательностей общая ошибка - это сумма ошибок всех отдельных последовательностей.

Чтобы минимизировать общую ошибку, градиентный спуск может использоваться для изменения каждого веса пропорционально его производной по ошибке, при условии, что нелинейные функции активации дифференцируемый. Стандартный метод называется "обратное распространение во времени "или BPTT, обобщение обратного распространения для сетей прямого распространения.[43][44] Более затратный в вычислительном отношении онлайн-вариант называется «Рекуррентное обучение в реальном времени» или RTRL.[45][46] В отличие от BPTT этот алгоритм локальный во времени, но не локальный в пространстве.[47][48] Существует онлайн-гибрид между BPTT и RTRL с промежуточной сложностью,[49][50] с вариантами для непрерывного времени.[51] Основная проблема с градиентным спуском для стандартных архитектур RNN заключается в том, что градиенты ошибок исчезают экспоненциально быстро с увеличением временного интервала между важными событиями.[52][53] В Долговременная кратковременная память архитектура преодолевает эти проблемы.[54]

В обучение с подкреплением настройки, ни один учитель не дает целевых сигналов. Вместо этого фитнес-функция или же функция вознаграждения или же вспомогательная функция иногда используется для оценки производительности, которая влияет на входной поток через блоки вывода, подключенные к исполнительным механизмам, влияющим на окружающую среду. Варианты эволюционные вычисления часто используются для оптимизации весовой матрицы.

Hopfield

Основная статья: Сеть Хопфилда

В Сеть Хопфилда (как и аналогичные сети, основанные на аттракторах) представляет исторический интерес, хотя это не обычная RNN, поскольку она не предназначена для обработки последовательностей шаблонов. Вместо этого требуются стационарные входы. Это RNN, в которой все соединения симметричны. Это гарантирует, что он сойдется. Если соединения обучаются с использованием Hebbian обучение сеть Хопфилда может работать как надежная память с адресацией по содержимому, устойчивая к изменению подключения.

Машина Больцмана

Основная статья: Машина Больцмана

В Машина Больцмана можно рассматривать как шумную сеть Хопфилда. Это одна из первых нейронных сетей, продемонстрировавших обучение скрытым переменным (скрытым единицам). Сначала моделирование машинного обучения Больцмана было медленным, но алгоритм контрастной дивергенции ускоряет обучение машин Больцмана и Продукция экспертов.

Самоорганизующаяся карта

Основная статья: Самоорганизующаяся карта

Самоорганизующаяся карта (SOM) использует обучение без учителя. Набор нейронов учится сопоставлять точки во входном пространстве с координатами в выходном пространстве. Пространство ввода может иметь другие размеры и топологию, чем пространство вывода, и SOM пытается сохранить их.

Изучение векторного квантования

Основная статья: Изучение векторного квантования

Изучение векторного квантования (LVQ) можно интерпретировать как архитектуру нейронной сети. Прототипные представители классов параметризуют вместе с соответствующей мерой расстояния в схеме классификации на основе расстояния.

Простой повторяющийся

Простые рекуррентные сети имеют три уровня с добавлением набора «контекстных единиц» на входном уровне. Эти блоки подключаются из скрытого слоя или выходного слоя с фиксированным весом, равным единице.[55] На каждом временном шаге входные данные распространяются стандартным образом с прямой связью, а затем применяется правило обучения, подобное обратному распространению (не выполняется градиентный спуск ). Фиксированные обратные соединения оставляют копию предыдущих значений скрытых единиц в единицах контекста (поскольку они распространяются по соединениям до применения правила обучения).

Пластовые вычисления

Основная статья: Пластовые вычисления

Вычисления коллектора - это вычислительная структура, которую можно рассматривать как расширение нейронные сети.[56] Обычно входной сигнал подается в фиксированный (случайный) динамическая система называется резервуар динамика которого отображает вход в более высокое измерение. А зачитать Механизм обучен отображать резервуар на желаемый результат. Обучение проводится только на этапе считывания. Машины с жидким состоянием[57] два основных типа пластовых вычислений.[58]

Состояние эха

Основная статья: Сеть состояния эха

Сеть состояния эха (ESN) использует случайный скрытый слой с редкими связями. Веса выходных нейронов - единственная обучаемая часть сети. ESN хорошо воспроизводят определенные временные ряды.[59]

Долговременная кратковременная память

Основная статья: Долговременная кратковременная память

В долговременная кратковременная память (LSTM)[54] избегает проблема исчезающего градиента. Он работает даже при больших задержках между входами и может обрабатывать сигналы, в которых смешиваются низкочастотные и высокочастотные компоненты. LSTM RNN превзошел другие RNN и другие методы обучения последовательности, такие как ХМ в таких приложениях, как изучение языков[60] и подключенное распознавание почерка.[61]

Двунаправленный

Двунаправленная RNN, или BRNN, использует конечную последовательность для прогнозирования или маркировки каждого элемента последовательности на основе как прошлого, так и будущего контекста элемента.[62] Это делается путем сложения выходов двух RNN: одна обрабатывает последовательность слева направо, другая - справа налево. Комбинированные выходные данные - это предсказания заданных учителем целевых сигналов. Этот метод оказался особенно полезным в сочетании с LSTM.[63]

Иерархический

Иерархическая RNN соединяет элементы различными способами, чтобы разложить иерархическое поведение на полезные подпрограммы.[64][65]

Стохастик

Основная статья: Стохастическая нейронная сеть

Стохастическая нейронная сеть вносит в сеть случайные изменения. Такие случайные вариации можно рассматривать как форму статистическая выборка, Такие как Отбор проб Монте-Карло.

Генетическая шкала

RNN (часто LSTM), где ряд разбивается на несколько шкал, где каждая шкала сообщает основную длину между двумя последовательными точками. Шкала первого порядка состоит из нормальной RNN, второго порядка - из всех точек, разделенных двумя индексами, и так далее. RNN N-го порядка соединяет первый и последний узел. Результаты всех различных шкал рассматриваются как Комитет машин, и связанные с ними оценки используются генетически для следующей итерации.

Модульный

Основная статья: Модульная нейронная сеть

Биологические исследования показали, что человеческий мозг работает как совокупность небольших сетей. Это осознание породило концепцию модульные нейронные сети, в котором несколько небольших сетей сотрудничают или конкурируют за решение проблем.

Комитет машин

Основная статья: Комитетная машина

Комитет машин (CoM) - это совокупность различных нейронных сетей, которые вместе «голосуют» за данный пример. Обычно это дает гораздо лучший результат, чем отдельные сети. Поскольку нейронные сети страдают от локальных минимумов, начиная с той же архитектуры и обучения, но с использованием случайно разных начальных весов, часто дают совершенно разные результаты.[нужна цитата ] CoM стремится стабилизировать результат.

CoM похож на общий машинное обучение упаковка метод, за исключением того, что необходимое разнообразие машин в комитете достигается путем обучения с разными начальными весами, а не обучения на разных случайно выбранных подмножествах обучающих данных.

Ассоциативный

Ассоциативная нейронная сеть (ASNN) - это расширение комитета машин, которое объединяет несколько нейронных сетей прямого распространения и метод k-ближайшего соседа. Он использует корреляцию между ответами ансамбля в качестве меры расстояния среди проанализированных случаев для kNN. Это исправляет смещение ансамбля нейронных сетей. Ассоциативная нейронная сеть имеет память, которая может совпадать с обучающей выборкой. Если новые данные становятся доступными, сеть мгновенно улучшает свои возможности прогнозирования и обеспечивает аппроксимацию данных (самообучение) без переобучения. Другой важной особенностью ASNN является возможность интерпретации результатов нейронной сети путем анализа корреляций между кейсами данных в пространстве моделей.[66]

Физический

Основная статья: Физическая нейронная сеть

Физическая нейронная сеть включает в себя электрически регулируемый материал сопротивления для имитации искусственных синапсов. Примеры включают АДАЛИН мемристор на основе нейронной сети.[67] Anоптическая нейронная сеть физическая реализацияискусственная нейронная сеть соптические компоненты.

Другие типы

Мгновенно обученный

Мгновенно обученные нейронные сети (ITNN) были вдохновлены феноменом краткосрочного обучения, которое, кажется, происходит мгновенно. В этих сетях веса скрытого и выходного слоев отображаются непосредственно из данных обучающего вектора. Обычно они работают с двоичными данными, но существуют версии для непрерывных данных, требующие небольшой дополнительной обработки.

Пик

Пикирование нейронных сетей (SNN) явно учитывают время ввода. Входные и выходные данные сети обычно представлены в виде серии пиков (дельта-функция или более сложные формы). SNN может обрабатывать информацию в область времени (сигналы, которые меняются со временем). Часто они реализуются как повторяющиеся сети. SNN также являются формой импульсный компьютер.[68]

Пиковые нейронные сети с задержками аксональной проводимости демонстрируют полихронизацию и, следовательно, могут иметь очень большой объем памяти.[69]

SNN и временные корреляции нейронных сборок в таких сетях - использовались для моделирования разделения фигуры и земли и связывания областей в визуальной системе.

Нормативная обратная связь

Сеть обратной связи регулирующих органов делает выводы, используя негативный отзыв.[70] Обратная связь используется для поиска оптимальной активации юнитов. Это больше всего похоже на непараметрический метод но отличается от K-ближайшего соседа тем, что математически имитирует сети прямого распространения.

Неокогнитрон

В неокогнитрон представляет собой иерархическую многоуровневую сеть, смоделированную после зрительная кора. Он использует несколько типов единиц (первоначально два, называемых просто и сложный ячеек) в качестве каскадной модели для использования в задачах распознавания образов.[71][72][73] Локальные особенности извлекаются S-клетками, деформация которых переносится C-клетками. Локальные объекты во входных данных постепенно интегрируются и классифицируются на более высоких уровнях.[74] Среди различных видов неокогнитронов[75] - это системы, которые могут обнаруживать несколько паттернов на одном и том же входе, используя обратное распространение для достижения избирательное внимание.[76] Он использовался для распознавание образов задачи и вдохновил сверточные нейронные сети.[77]

Составные иерархические модели

Составные модели с глубокой иерархией составляют глубокие сети с непараметрическими Байесовские модели. Функции можно изучить с использованием глубоких архитектур, таких как DBN,[78] глубокие машины Больцмана (DBM),[79] глубокие автокодеры,[80] сверточные варианты,[81][82] ssRBMs,[83] сети глубокого кодирования,[84] DBN с редким изучением функций,[85] RNN,[86] условные ДБН,[87] шумоподавляющие автокодеры.[88] Это обеспечивает лучшее представление, позволяя более быстрое обучение и более точную классификацию данных большого размера. Однако эти архитектуры плохо справляются с изучением новых классов с несколькими примерами, потому что все сетевые блоки участвуют в представлении входных данных ( распределенное представительство) и должны регулироваться вместе (высокий степень свободы ). Ограничение степени свободы уменьшает количество параметров для изучения, облегчая изучение новых классов на нескольких примерах. Иерархический байесовский (HB) модели позволяют учиться на нескольких примерах, например[89][90][91][92][93] для компьютерного зрения, статистика и когнитивная наука.

Составные HD-архитектуры стремятся объединить характеристики как HB, так и глубоких сетей. Составная архитектура HDP-DBM - это иерархический процесс Дирихле (HDP) как иерархическая модель, включающая архитектуру DBM. Это полный генеративная модель, обобщенный на основе абстрактных концепций, протекающих через слои модели, который может синтезировать новые примеры в новых классах, которые выглядят «достаточно» естественно. Все уровни изучаются вместе, максимизируя совместный логарифмическая вероятность счет.[94]

В DBM с тремя скрытыми слоями вероятность видимого ввода ''ν'' является:

куда это набор скрытых единиц, а - параметры модели, представляющие симметричные условия взаимодействия видимое-скрытое и скрытое-скрытое.

Выученная модель DBM - это неориентированная модель, которая определяет совместное распределение . Один из способов выразить то, что было изучено, - это условная модель и предыдущий срок .

Здесь представляет собой условную модель DBM, которую можно рассматривать как двухуровневую DBM, но с условиями смещения, определяемыми состояниями :

Сети глубокого предсказательного кодирования

Сеть глубокого предсказательного кодирования (DPCN) - это предсказательный схема кодирования, которая использует нисходящую информацию для эмпирической корректировки априорных значений, необходимых для восходящего вывод процедура с помощью глубоких, локально связанных, генеративная модель. Это работает путем извлечения разреженных Особенности из изменяющихся во времени наблюдений с использованием линейной динамической модели. Затем стратегия объединения используется для изучения инвариантных представлений функций. Эти единицы составляют глубокую архитектуру и обучаются жадный послойно обучение без учителя. Слои представляют собой своего рода Цепь Маркова таким образом, что состояния на любом уровне зависят только от предыдущего и последующего уровней.

DPCN предсказывают представление уровня, используя нисходящий подход, используя информацию верхнего уровня и временные зависимости от предыдущих состояний.[95]

DPCN могут быть расширены, чтобы сформировать сверточная сеть.[95]

Машина с многослойным ядром

Машины с многоуровневым ядром (MKM) - это способ обучения сильно нелинейным функциям путем итеративного применения слабонелинейных ядер. Они используют анализ основных компонентов ядра (KPCA),[96] как метод для без присмотра жадный послойный предтренировочный этап глубокого обучения.[97]

Слой изучает представление предыдущего слоя , извлекая главный компонент (ПК) проекционного слоя output in the feature domain induced by the kernel. To reduce the dimensionaliity of the updated representation in each layer, a supervised strategy selects the best informative features among features extracted by KPCA. The process is:

  • ранжируйте features according to their взаимная информация with the class labels;
  • for different values of K и , compute the classification error rate of a K-ближайший сосед (K-NN) classifier using only the most informative features on a validation set;
  • the value of with which the classifier has reached the lowest error rate determines the number of features to retain.

Some drawbacks accompany the KPCA method for MKMs.

A more straightforward way to use kernel machines for deep learning was developed for spoken language understanding.[98] The main idea is to use a kernel machine to approximate a shallow neural net with an infinite number of hidden units, then use stacking to splice the output of the kernel machine and the raw input in building the next, higher level of the kernel machine. The number of levels in the deep convex network is a hyper-parameter of the overall system, to be determined by cross validation.

Динамический

Dynamic neural networks address nonlinear multivariate behaviour and include (learning of) time-dependent behaviour, such as transient phenomena and delay effects. Techniques to estimate a system process from observed data fall under the general category of system identification.

Cascading

Cascade correlation is an architecture and supervised learning алгоритм. Instead of just adjusting the weights in a network of fixed topology,[99] Cascade-Correlation begins with a minimal network, then automatically trains and adds new hidden units one by one, creating a multi-layer structure. Once a new hidden unit has been added to the network, its input-side weights are frozen. This unit then becomes a permanent feature-detector in the network, available for producing outputs or for creating other, more complex feature detectors. The Cascade-Correlation architecture has several advantages: It learns quickly, determines its own size and topology, retains the structures it has built even if the training set changes and requires no обратное распространение.

Нейро-нечеткий

A neuro-fuzzy network is a fuzzy inference system in the body of an artificial neural network. Depending on the FIS type, several layers simulate the processes involved in a fuzzy inference-like fuzzification, inference, aggregation and defuzzification. Embedding an FIS in a general structure of an ANN has the benefit of using available ANN training methods to find the parameters of a fuzzy system.

Compositional pattern-producing

Основная статья: Сеть создания композиционных паттернов

Compositional pattern-producing networks (CPPNs) are a variation of artificial neural networks which differ in their set of функции активации and how they are applied. While typical artificial neural networks often contain only sigmoid functions (and sometimes Gaussian functions ), CPPNs can include both types of functions and many others. Furthermore, unlike typical artificial neural networks, CPPNs are applied across the entire space of possible inputs so that they can represent a complete image. Since they are compositions of functions, CPPNs in effect encode images at infinite resolution and can be sampled for a particular display at whatever resolution is optimal.

Memory networks

Memory networks[100][101] включать Долгосрочная память. The long-term memory can be read and written to, with the goal of using it for prediction. These models have been applied in the context of ответ на вопрос (QA) where the long-term memory effectively acts as a (dynamic) knowledge base and the output is a textual response.[102]

В sparse distributed memory или же иерархическая временная память, the patterns encoded by neural networks are used as addresses for память с адресацией по содержимому, with "neurons" essentially serving as address encoders and decoders. However, the early controllers of such memories were not differentiable.[103]

One-shot associative memory

This type of network can add new patterns without re-training. It is done by creating a specific memory structure, which assigns each new pattern to an orthogonal plane using adjacently connected hierarchical arrays.[104] The network offers real-time pattern recognition and high scalability; this requires parallel processing and is thus best suited for platforms such as беспроводные сенсорные сети, сеточные вычисления, и GPGPUs.

Иерархическая временная память

Основная статья: Иерархическая временная память

Hierarchical temporal memory (HTM) models some of the structural and алгоритмический properties of the неокортекс. HTM is a biomimetic model based on memory-prediction теория. HTM is a method for discovering and inferring the high-level causes of observed input patterns and sequences, thus building an increasingly complex model of the world.

HTM combines existing ideas to mimic the neocortex with a simple design that provides many capabilities. HTM combines and extends approaches used in Байесовские сети, spatial and temporal clustering algorithms, while using a tree-shaped hierarchy of nodes that is common in нейронные сети.

Голографическая ассоциативная память

Основная статья: Голографическая ассоциативная память

Holographic Associative Memory (HAM) is an analog, correlation-based, associative, stimulus-response system. Information is mapped onto the phase orientation of complex numbers. The memory is effective for ассоциативный объем памяти tasks, generalization and pattern recognition with changeable attention. Dynamic search localization is central to biological memory. In visual perception, humans focus on specific objects in a pattern. Humans can change focus from object to object without learning. HAM can mimic this ability by creating explicit representations for focus. It uses a bi-modal representation of pattern and a hologram-like complex spherical weight state-space. HAMs are useful for optical realization because the underlying hyper-spherical computations can be implemented with optical computation.[105]

LSTM-related differentiable memory structures

Помимо долговременная кратковременная память (LSTM), other approaches also added differentiable memory to recurrent functions. Например:

  • Differentiable push and pop actions for alternative memory networks called neural stack machines[106][107]
  • Memory networks where the control network's external differentiable storage is in the fast weights of another network[108]
  • LSTM forget gates[109]
  • Self-referential RNNs with special output units for addressing and rapidly manipulating the RNN's own weights in differentiable fashion (internal storage)[110][111]
  • Learning to transduce with unbounded memory[112]

Neural Turing machines

Основная статья: Нейронная машина Тьюринга

Neural Turing machines[113] couple LSTM networks to external memory resources, with which they can interact by attentional processes. The combined system is analogous to a Машина Тьюринга but is differentiable end-to-end, allowing it to be efficiently trained by gradient descent. Preliminary results demonstrate that neural Turing machines can infer simple algorithms such as copying, sorting and associative recall from input and output examples.

Differentiable neural computers (DNC) are an NTM extension. They out-performed Neural turing machines, долговременная кратковременная память systems and memory networks on sequence-processing tasks.[114][115][116][117][118]

Semantic hashing

Approaches that represent previous experiences directly and use a similar experience to form a local model часто называют nearest neighbour или же k-ближайшие соседи методы.[119] Deep learning is useful in semantic hashing[120] where a deep графическая модель the word-count vectors[121] obtained from a large set of documents.[требуется разъяснение ] Documents are mapped to memory addresses in such a way that semantically similar documents are located at nearby addresses. Documents similar to a query document can then be found by accessing all the addresses that differ by only a few bits from the address of the query document. В отличие от sparse distributed memory that operates on 1000-bit addresses, semantic hashing works on 32 or 64-bit addresses found in a conventional computer architecture.

Pointer networks

Deep neural networks can be potentially improved by deepening and parameter reduction, while maintaining trainability. While training extremely deep (e.g., 1 million layers) neural networks might not be practical, ЦПУ -like architectures such as pointer networks[122] and neural random-access machines[123] overcome this limitation by using external оперативная память and other components that typically belong to a компьютерная архитектура Такие как registers, ALU и указатели. Such systems operate on распределение вероятностей vectors stored in memory cells and registers. Thus, the model is fully differentiable and trains end-to-end. The key characteristic of these models is that their depth, the size of their short-term memory, and the number of parameters can be altered independently.

Гибриды

Encoder–decoder networks

Encoder–decoder frameworks are based on neural networks that map highly структурированный input to highly structured output. The approach arose in the context of машинный перевод,[124][125][126] where the input and output are written sentences in two natural languages. In that work, an LSTM RNN or CNN was used as an encoder to summarize a source sentence, and the summary was decoded using a conditional RNN языковая модель to produce the translation.[127] These systems share building blocks: gated RNNs and CNNs and trained attention mechanisms.

Смотрите также

Рекомендации

  1. ^ University Of Southern California. (2004, June 16). Gray Matters: New Clues Into How Neurons Process Information. ScienceDaily Quote: "... "It's amazing that after a hundred years of modern neuroscience research, we still don't know the basic information processing functions of a neuron," said Bartlett Mel..."
  2. ^ Институт науки Вейцмана. (2007, April 2). It's Only A Game Of Chance: Leading Theory Of Perception Called Into Question. ScienceDaily Quote: "..."Since the 1980s, many neuroscientists believed they possessed the key for finally beginning to understand the workings of the brain. But we have provided strong evidence to suggest that the brain may not encode information using precise patterns of activity."..."
  3. ^ University Of California – Los Angeles (2004, December 14). UCLA Neuroscientist Gains Insights Into Human Brain From Study Of Marine Snail. ScienceDaily Quote: "..."Our work implies that the brain mechanisms for forming these kinds of associations might be extremely similar in snails and higher organisms...We don't fully understand even very simple kinds of learning in these animals."..."
  4. ^ Йельский университет. (2006, April 13). Brain Communicates In Analog And Digital Modes Simultaneously. ScienceDaily Quote: "...McCormick said future investigations and models of neuronal operation in the brain will need to take into account the mixed analog-digital nature of communication. Only with a thorough understanding of this mixed mode of signal transmission will a truly in depth understanding of the brain and its disorders be achieved, he said..."
  5. ^ Ivakhnenko, Alexey Grigorevich (1968). "The group method of data handling – a rival of the method of stochastic approximation". Soviet Automatic Control. 13 (3): 43–55.
  6. ^ Ivakhnenko, A. G. (1971). "Polynomial Theory of Complex Systems". IEEE Transactions по системам, человеку и кибернетике. 1 (4): 364–378. Дои:10.1109/TSMC.1971.4308320. S2CID  17606980.
  7. ^ Кондо, Т .; Ueno, J. (2008). "Multi-layered GMDH-type neural network self-selecting optimum neural network architecture and its application to 3-dimensional medical image recognition of blood vessels". International Journal of Innovative Computing, Information and Control. 4 (1): 175–187.
  8. ^ Bengio, Y. (2009). "Learning Deep Architectures for AI" (PDF). Foundations and Trends in Machine Learning. 2: 1–127. CiteSeerX  10.1.1.701.9550. Дои:10.1561/2200000006.
  9. ^ Liou, Cheng-Yuan (2008). "Modeling word perception using the Elman network". Neurocomputing. 71 (16–18): 3150–3157. Дои:10.1016/j.neucom.2008.04.030.
  10. ^ Liou, Cheng-Yuan (2014). "Autoencoder for words". Neurocomputing. 139: 84–96. Дои:10.1016/j.neucom.2013.09.055.
  11. ^ Auto-Encoding Variational Bayes, Kingma, D.P. and Welling, M., ArXiv e-prints, 2013 arxiv.org/abs/1312.6114
  12. ^ Generating Faces with Torch, Boesen A., Larsen L. and Sonderby S.K., 2015 факел.ch/ блог/2015/11/13/gan.html
  13. ^ "Competitive probabilistic neural network (PDF Download Available)". ResearchGate. Получено 2017-03-16.
  14. ^ «Архивная копия». Архивировано из оригинал на 2010-12-18. Получено 2012-03-22.CS1 maint: заархивированная копия как заголовок (связь)
  15. ^ «Архивная копия» (PDF). Архивировано из оригинал (PDF) на 31.01.2012. Получено 2012-03-22.CS1 maint: заархивированная копия как заголовок (связь)
  16. ^ TDNN Fundamentals, Kapitel aus dem Online Handbuch des SNNS
  17. ^ Zhang, Wei (1990). "Parallel distributed processing model with local space-invariant interconnections and its optical architecture". Прикладная оптика. 29 (32): 4790–7. Bibcode:1990ApOpt..29.4790Z. Дои:10.1364/ao.29.004790. PMID  20577468.
  18. ^ Zhang, Wei (1988). "Shift-invariant pattern recognition neural network and its optical architecture". Proceedings of Annual Conference of the Japan Society of Applied Physics.
  19. ^ J. Weng, N. Ahuja and T. S. Huang, "Learning recognition and segmentation of 3-D objects from 2-D images," Proc. 4th International Conf. Компьютерное зрение, Berlin, Germany, pp. 121–128, May, 1993.
  20. ^ Fukushima, K. (1980). "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position". Биол. Cybern. 36 (4): 193–202. Дои:10.1007/bf00344251. PMID  7370364. S2CID  206775608.
  21. ^ LeCun, Yann. "LeNet-5, convolutional neural networks". Получено 16 ноября 2013.
  22. ^ "Convolutional Neural Networks (LeNet) – DeepLearning 0.1 documentation". DeepLearning 0.1. LISA Lab. Получено 31 августа 2013.
  23. ^ LeCun и другие., "Backpropagation Applied to Handwritten Zip Code Recognition," Нейронные вычисления, 1, pp. 541–551, 1989.
  24. ^ Янн ЛеКун (2016). Slides on Deep Learning В сети
  25. ^ "Unsupervised Feature Learning and Deep Learning Tutorial". ufldl.stanford.edu.
  26. ^ Хинтон, Джеффри Э .; Крижевский, Алексей; Wang, Sida D. (2011), "Transforming Auto-Encoders", Lecture Notes in Computer Science, Springer Berlin Heidelberg, pp. 44–51, CiteSeerX  10.1.1.220.5099, Дои:10.1007/978-3-642-21735-7_6, ISBN  9783642217340
  27. ^ Сегеди, Кристиан; Лю, Вэй; Jia, Yangqing; Sermanet, Pierre; Reed, Scott; Anguelov, Dragomir; Эрхан, Думитру; Vanhoucke, Vincent; Rabinovich, Andrew (2014). Going Deeper with Convolutions. Computing Research Repository. п. 1. arXiv:1409.4842. Дои:10.1109/CVPR.2015.7298594. ISBN  978-1-4673-6964-0. S2CID  206592484.
  28. ^ Ran, Lingyan; Zhang, Yanning; Чжан, Цилинь; Yang, Tao (2017-06-12). "Convolutional Neural Network-Based Robot Navigation Using Uncalibrated Spherical Images" (PDF). Датчики. 17 (6): 1341. Дои:10.3390/s17061341. ISSN  1424-8220. ЧВК  5492478. PMID  28604624.
  29. ^ van den Oord, Aaron; Dieleman, Sander; Schrauwen, Benjamin (2013-01-01). Burges, C. J. C.; Bottou, L.; Welling, M.; Ghahramani, Z.; Weinberger, K. Q. (eds.). Deep content-based music recommendation (PDF). Curran Associates, Inc. pp. 2643–2651.
  30. ^ Collobert, Ronan; Weston, Jason (2008-01-01). A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning. Proceedings of the 25th International Conference on Machine Learning. ICML '08. Нью-Йорк, Нью-Йорк, США: ACM. С. 160–167. Дои:10.1145/1390156.1390177. ISBN  978-1-60558-205-4. S2CID  2617020.
  31. ^ а б Deng, Li; Yu, Dong; Platt, John (2012). "Scalable stacking and learning for building deep architectures" (PDF). 2012 Международная конференция IEEE по акустике, речи и обработке сигналов (ICASSP): 2133–2136. Дои:10.1109/ICASSP.2012.6288333. ISBN  978-1-4673-0046-9. S2CID  16171497.
  32. ^ Deng, Li; Yu, Dong (2011). "Deep Convex Net: A Scalable Architecture for Speech Pattern Classification" (PDF). Proceedings of the Interspeech: 2285–2288.
  33. ^ David, Wolpert (1992). "Stacked generalization". Нейронные сети. 5 (2): 241–259. CiteSeerX  10.1.1.133.8090. Дои:10.1016/S0893-6080(05)80023-1.
  34. ^ Bengio, Y. (2009-11-15). "Learning Deep Architectures for AI". Foundations and Trends in Machine Learning. 2 (1): 1–127. CiteSeerX  10.1.1.701.9550. Дои:10.1561/2200000006. ISSN  1935-8237.
  35. ^ Hutchinson, Brian; Deng, Li; Yu, Dong (2012). "Tensor deep stacking networks". IEEE Transactions по анализу шаблонов и машинному анализу. 1–15 (8): 1944–1957. Дои:10.1109/tpami.2012.268. PMID  23267198. S2CID  344385.
  36. ^ Хинтон, Джеффри; Salakhutdinov, Ruslan (2006). "Reducing the Dimensionality of Data with Neural Networks". Наука. 313 (5786): 504–507. Bibcode:2006Sci...313..504H. Дои:10.1126/science.1127647. PMID  16873662. S2CID  1658773.
  37. ^ Dahl, G.; Ю, Д .; Deng, L.; Acero, A. (2012). "Context-Dependent Pre-Trained Deep Neural Networks for Large-Vocabulary Speech Recognition". IEEE Transactions on Audio, Speech, and Language Processing. 20 (1): 30–42. CiteSeerX  10.1.1.227.8990. Дои:10.1109/tasl.2011.2134090. S2CID  14862572.
  38. ^ Mohamed, Abdel-rahman; Dahl, George; Hinton, Geoffrey (2012). "Acoustic Modeling Using Deep Belief Networks". IEEE Transactions on Audio, Speech, and Language Processing. 20 (1): 14–22. CiteSeerX  10.1.1.338.2670. Дои:10.1109/tasl.2011.2109382. S2CID  9530137.
  39. ^ Deng, Li; Yu, Dong (2011). "Deep Convex Net: A Scalable Architecture for Speech Pattern Classification" (PDF). Proceedings of the Interspeech: 2285–2288.
  40. ^ Deng, Li; Yu, Dong; Platt, John (2012). "Scalable stacking and learning for building deep architectures" (PDF). 2012 Международная конференция IEEE по акустике, речи и обработке сигналов (ICASSP): 2133–2136. Дои:10.1109/ICASSP.2012.6288333. ISBN  978-1-4673-0046-9. S2CID  16171497.
  41. ^ Хинтон, Г. (2009). "Сети глубоких убеждений". Scholarpedia. 4 (5): 5947. Bibcode:2009SchpJ ... 4.5947H. Дои:10.4249 / scholarpedia.5947.
  42. ^ Larochelle, Hugo; Эрхан, Думитру; Курвиль, Аарон; Bergstra, James; Bengio, Yoshua (2007). An Empirical Evaluation of Deep Architectures on Problems with Many Factors of Variation. Proceedings of the 24th International Conference on Machine Learning. ICML '07. Нью-Йорк, Нью-Йорк, США: ACM. С. 473–480. CiteSeerX  10.1.1.77.3242. Дои:10.1145/1273496.1273556. ISBN  9781595937933. S2CID  14805281.
  43. ^ Werbos, P. J. (1988). "Generalization of backpropagation with application to a recurrent gas market model". Нейронные сети. 1 (4): 339–356. Дои:10.1016/0893-6080(88)90007-x.
  44. ^ David E. Rumelhart; Geoffrey E. Hinton; Ronald J. Williams. Learning Internal Representations by Error Propagation.
  45. ^ A. J. Robinson and F. Fallside. The utility driven dynamic error propagation network. Technical Report CUED/F-INFENG/TR.1, Cambridge University Engineering Department, 1987.
  46. ^ Р. Дж. Уильямс и Д. Ципсер. Алгоритмы обучения на основе градиентов для рекуррентных сетей и их вычислительная сложность. В обратном распространении: теория, архитектура и приложения. Хиллсдейл, Нью-Джерси: Эрлбаум, 1994.
  47. ^ Schmidhuber, J. (1989). "A local learning algorithm for dynamic feedforward and recurrent networks". Связь Наука. 1 (4): 403–412. Дои:10.1080/09540098908915650. S2CID  18721007.
  48. ^ Neural and Adaptive Systems: Fundamentals through Simulation. J.C. Principe, N.R. Euliano, W.C. Лефевр
  49. ^ Schmidhuber, J. (1992). "A fixed size storage O(n3) time complexity learning algorithm for fully recurrent continually running networks". Нейронные вычисления. 4 (2): 243–248. Дои:10.1162/neco.1992.4.2.243. S2CID  11761172.
  50. ^ R. J. Williams. Complexity of exact gradient computation algorithms for recurrent neural networks. Technical Report Technical Report NU-CCS-89-27, Boston: Northeastern University, College of Computer Science, 1989.
  51. ^ Pearlmutter, B. A. (1989). "Learning state space trajectories in recurrent neural networks" (PDF). Нейронные вычисления. 1 (2): 263–269. Дои:10.1162/neco.1989.1.2.263. S2CID  16813485.
  52. ^ S. Hochreiter. Untersuchungen zu dynamischen neuronalen Netzen. Diploma thesis, Institut f. Informatik, Technische Univ. Munich, 1991.
  53. ^ S. Hochreiter, Y. Bengio, P. Frasconi, and J. Schmidhuber. Gradient flow in recurrent nets: the difficulty of learning long-term dependencies. In S. C. Kremer and J. F. Kolen, editors, A Field Guide to Dynamical Recurrent Neural Networks. IEEE Press, 2001.
  54. ^ а б Hochreiter, S .; Шмидхубер, Дж. (1997). "Long short-term memory". Нейронные вычисления. 9 (8): 1735–1780. Дои:10.1162 / neco.1997.9.8.1735. PMID  9377276. S2CID  1915014.
  55. ^ Neural Networks as Cybernetic Systems 2nd and revised edition, Holk Cruse[1]
  56. ^ Schrauwen, Benjamin, David Verstraeten, и Jan Van Campenhout "An overview of reservoir computing: theory, applications, and implementations." Proceedings of the European Symposium on Artificial Neural Networks ESANN 2007, pp. 471–482.
  57. ^ Mass, Wolfgang; Nachtschlaeger, T.; Markram, H. (2002). "Real-time computing without stable states: A new framework for neural computation based on perturbations". Нейронные вычисления. 14 (11): 2531–2560. Дои:10.1162/089976602760407955. PMID  12433288. S2CID  1045112.
  58. ^ Сеть состояния эха, Scholarpedia
  59. ^ Jaeger, H .; Harnessing (2004). "Predicting chaotic systems and saving energy in wireless communication". Наука. 304 (5667): 78–80. Bibcode:2004Sci...304...78J. CiteSeerX  10.1.1.719.2301. Дои:10.1126/science.1091277. PMID  15064413. S2CID  2184251.
  60. ^ F. A. Gers and J. Schmidhuber. LSTM recurrent networks learn simple context free andcontext sensitive languages IEEE-транзакции в нейронных сетях 12(6):1333–1340, 2001.
  61. ^ A. Graves, J. Schmidhuber. Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks. Advances in Neural Information Processing Systems 22, NIPS'22, p 545-552, Vancouver, MIT Press, 2009.
  62. ^ Schuster, Mike; Paliwal, Kuldip K. (1997). "Bidirectional recurrent neural networks". Транзакции IEEE при обработке сигналов. 45 (11): 2673–2681. Bibcode:1997ITSP...45.2673S. CiteSeerX  10.1.1.331.9441. Дои:10.1109/78.650093.
  63. ^ Graves, A.; Schmidhuber, J. (2005). "Framewise phoneme classification with bidirectional LSTM and other neural network architectures". Нейронные сети. 18 (5–6): 602–610. CiteSeerX  10.1.1.331.5800. Дои:10.1016/j.neunet.2005.06.042. PMID  16112549.
  64. ^ Schmidhuber, J. (1992). "Learning complex, extended sequences using the principle of history compression". Нейронные вычисления. 4 (2): 234–242. Дои:10.1162/neco.1992.4.2.234. S2CID  18271205.
  65. ^ Dynamic Representation of Movement Primitives in an Evolved Recurrent Neural Network
  66. ^ "Associative Neural Network". www.vcclab.org. Получено 2017-06-17.
  67. ^ Андерсон, Джеймс А .; Rosenfeld, Edward (2000). Talking Nets: An Oral History of Neural Networks. ISBN  9780262511117.
  68. ^ Gerstner; Kistler. "Spiking Neuron Models: Single Neurons, Populations, Plasticity". icwww.epfl.ch. Получено 2017-06-18. Freely available online textbook
  69. ^ Izhikevich EM (February 2006). "Polychronization: computation with spikes". Нейронные вычисления. 18 (2): 245–82. Дои:10.1162/089976606775093882. PMID  16378515. S2CID  14253998.
  70. ^ Achler T., Omar C., Amir E., "Shedding Weights: More With Less", IEEE Proc. International Joint Conference on Neural Networks, 2008
  71. ^ David H. Hubel and Torsten N. Wiesel (2005). Brain and visual perception: the story of a 25-year collaboration. Oxford University Press, США. п. 106. ISBN  978-0-19-517618-6.
  72. ^ Hubel, DH; Wiesel, TN (October 1959). «Рецептивные поля отдельных нейронов в полосатой коре головного мозга кошки». J. Physiol. 148 (3): 574–91. Дои:10.1113 / jphysiol.1959.sp006308. ЧВК  1363130. PMID  14403679.
  73. ^ Fukushima 1987, p. 83.
  74. ^ Fukushima 1987, p. 84.
  75. ^ Fukushima 2007
  76. ^ Fukushima 1987, pp.81, 85
  77. ^ ЛеКун, Янн; Бенхио, Йошуа; Хинтон, Джеффри (2015). «Глубокое обучение». Природа. 521 (7553): 436–444. Bibcode:2015Натура.521..436L. Дои:10.1038 / природа14539. PMID  26017442. S2CID  3074096.
  78. ^ Hinton, G. E.; Osindero, S.; Teh, Y. (2006). "A fast learning algorithm for deep belief nets" (PDF). Нейронные вычисления. 18 (7): 1527–1554. CiteSeerX  10.1.1.76.1541. Дои:10.1162/neco.2006.18.7.1527. PMID  16764513. S2CID  2309950.
  79. ^ Хинтон, Джеффри; Salakhutdinov, Ruslan (2009). "Efficient Learning of Deep Boltzmann Machines" (PDF). 3: 448–455. Цитировать журнал требует | журнал = (помощь)
  80. ^ Larochelle, Hugo; Бенхио, Йошуа; Louradour, Jerdme; Lamblin, Pascal (2009). "Exploring Strategies for Training Deep Neural Networks". Журнал исследований в области машинного обучения. 10: 1–40.
  81. ^ Coates, Adam; Carpenter, Blake (2011). "Text Detection and Character Recognition in Scene Images with Unsupervised Feature Learning" (PDF): 440–445. Цитировать журнал требует | журнал = (помощь)
  82. ^ Lee, Honglak; Grosse, Roger (2009). Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations. Материалы 26-й ежегодной международной конференции по машинному обучению. pp. 1–8. CiteSeerX  10.1.1.149.6800. Дои:10.1145/1553374.1553453. ISBN  9781605585161. S2CID  12008458.
  83. ^ Курвиль, Аарон; Bergstra, James; Bengio, Yoshua (2011). "Unsupervised Models of Images by Spike-and-Slab RBMs" (PDF). Proceedings of the 28th International Conference on Machine Learning. 10. pp. 1–8.
  84. ^ Lin, Yuanqing; Чжан, Тонг; Zhu, Shenghuo; Yu, Kai (2010). "Deep Coding Network". Advances in Neural Information Processing Systems 23 (NIPS 2010). pp. 1–9.
  85. ^ Ranzato, Marc Aurelio; Boureau, Y-Lan (2007). "Sparse Feature Learning for Deep Belief Networks" (PDF). Достижения в системах обработки нейронной информации. 23: 1–8.
  86. ^ Сохер, Ричард; Lin, Clif (2011). "Parsing Natural Scenes and Natural Language with Recursive Neural Networks" (PDF). Proceedings of the 26th International Conference on Machine Learning.
  87. ^ Тейлор, Грэм; Hinton, Geoffrey (2006). "Modeling Human Motion Using Binary Latent Variables" (PDF). Достижения в системах обработки нейронной информации.
  88. ^ Vincent, Pascal; Larochelle, Hugo (2008). Extracting and composing robust features with denoising autoencoders. Proceedings of the 25th International Conference on Machine Learning – ICML '08. pp. 1096–1103. CiteSeerX  10.1.1.298.4083. Дои:10.1145/1390156.1390294. ISBN  9781605582054. S2CID  207168299.
  89. ^ Kemp, Charles; Perfors, Amy; Tenenbaum, Joshua (2007). "Learning overhypotheses with hierarchical Bayesian models". Наука о развитии. 10 (3): 307–21. CiteSeerX  10.1.1.141.5560. Дои:10.1111/j.1467-7687.2007.00585.x. PMID  17444972.
  90. ^ Xu, Fei; Tenenbaum, Joshua (2007). "Word learning as Bayesian inference". Psychol. Rev. 114 (2): 245–72. CiteSeerX  10.1.1.57.9649. Дои:10.1037/0033-295X.114.2.245. PMID  17500627.
  91. ^ Чен, Бо; Polatkan, Gungor (2011). "The Hierarchical Beta Process for Convolutional Factor Analysis and Deep Learning" (PDF). Proceedings of the 28th International Conference on International Conference on Machine Learning. Omnipress. pp. 361–368. ISBN  978-1-4503-0619-5.
  92. ^ Фэй-Фэй, Ли; Fergus, Rob (2006). "One-shot learning of object categories". IEEE Transactions по анализу шаблонов и машинному анализу. 28 (4): 594–611. CiteSeerX  10.1.1.110.9024. Дои:10.1109/TPAMI.2006.79. PMID  16566508. S2CID  6953475.
  93. ^ Rodriguez, Abel; Dunson, David (2008). "The Nested Dirichlet Process". Журнал Американской статистической ассоциации. 103 (483): 1131–1154. CiteSeerX  10.1.1.70.9873. Дои:10.1198/016214508000000553. S2CID  13462201.
  94. ^ Ruslan, Salakhutdinov; Joshua, Tenenbaum (2012). "Learning with Hierarchical-Deep Models". IEEE Transactions по анализу шаблонов и машинному анализу. 35 (8): 1958–71. CiteSeerX  10.1.1.372.909. Дои:10.1109/TPAMI.2012.269. PMID  23787346. S2CID  4508400.
  95. ^ а б Chalasani, Rakesh; Principe, Jose (2013). "Deep Predictive Coding Networks". arXiv:1301.3541 [cs.LG ].
  96. ^ Scholkopf, B; Smola, Alexander (1998). "Nonlinear component analysis as a kernel eigenvalue problem". Нейронные вычисления. 44 (5): 1299–1319. CiteSeerX  10.1.1.53.8911. Дои:10.1162/089976698300017467. S2CID  6674407.
  97. ^ Cho, Youngmin (2012). "Kernel Methods for Deep Learning" (PDF): 1–9. Цитировать журнал требует | журнал = (помощь)
  98. ^ Deng, Li; Tur, Gokhan; He, Xiaodong; Hakkani-Tür, Dilek (2012-12-01). "Use of Kernel Deep Convex Networks and End-To-End Learning for Spoken Language Understanding". Microsoft Research.
  99. ^ Fahlman, Scott E.; Lebiere, Christian (August 29, 1991). "The Cascade-Correlation Learning Architecture" (PDF). Университет Карнеги Меллон. Получено 4 октября 2014.
  100. ^ Schmidhuber, Juergen (2014). "Memory Networks". arXiv:1410.3916 [cs.AI ].
  101. ^ Schmidhuber, Juergen (2015). "End-To-End Memory Networks". arXiv:1503.08895 [cs.NE ].
  102. ^ Schmidhuber, Juergen (2015). "Large-scale Simple Question Answering with Memory Networks". arXiv:1506.02075 [cs.LG ].
  103. ^ Hinton, Geoffrey E. (1984). "Distributed representations". Архивировано из оригинал on 2016-05-02.
  104. ^ B.B. Nasution, A.I. Khan, A Hierarchical Graph Neuron Scheme for Real-Time Pattern Recognition, IEEE Transactions on Neural Networks, vol 19(2), 212–229, Feb. 2008
  105. ^ Sutherland, John G. (1 January 1990). "A holographic model of memory, learning and expression". Международный журнал нейронных систем. 01 (3): 259–267. Дои:10.1142/S0129065790000163.
  106. ^ S. Das, C.L. Giles, G.Z. Sun, "Learning Context Free Grammars: Limitations of a Recurrent Neural Network with an External Stack Memory," Proc. 14th Annual Conf. of the Cog. Sci. Soc., p. 79, 1992.
  107. ^ Mozer, M. C.; Das, S. (1993). A connectionist symbol manipulator that discovers the structure of context-free languages. NIPS 5. pp. 863–870.
  108. ^ Schmidhuber, J. (1992). "Learning to control fast-weight memories: An alternative to recurrent nets". Нейронные вычисления. 4 (1): 131–139. Дои:10.1162/neco.1992.4.1.131. S2CID  16683347.
  109. ^ Gers, F.; Schraudolph, N.; Schmidhuber, J. (2002). "Learning precise timing with LSTM recurrent networks" (PDF). JMLR. 3: 115–143.
  110. ^ Jürgen Schmidhuber (1993). "An introspective network that can learn to run its own weight change algorithm". В Proc. of the Intl. Конф. on Artificial Neural Networks, Brighton. IEE. pp. 191–195.
  111. ^ Hochreiter, Sepp; Younger, A. Steven; Conwell, Peter R. (2001). "Learning to Learn Using Gradient Descent". ICANN. 2130: 87–94. CiteSeerX  10.1.1.5.323.
  112. ^ Schmidhuber, Juergen (2015). "Learning to Transduce with Unbounded Memory". arXiv:1506.02516 [cs.NE ].
  113. ^ Schmidhuber, Juergen (2014). «Нейронные машины Тьюринга». arXiv:1410.5401 [cs.NE ].
  114. ^ Берджесс, Мэтт. "DeepMind's AI learned to ride the London Underground using human-like reason and memory". ПРОВОДНАЯ Великобритания. Получено 2016-10-19.
  115. ^ "DeepMind AI 'Learns' to Navigate London Tube". PCMAG. Получено 2016-10-19.
  116. ^ Mannes, John. "DeepMind's differentiable neural computer helps you navigate the subway with its memory". TechCrunch. Получено 2016-10-19.
  117. ^ Грейвс, Алекс; Уэйн, Грег; Рейнольдс, Малькольм; Харли, Тим; Данихелка, Иво; Грабска-Барвинска, Агнешка; Кольменарехо, Серхио Гомес; Грефенстетт, Эдвард; Ramalho, Tiago (2016-10-12). «Гибридные вычисления с использованием нейронной сети с динамической внешней памятью». Природа. 538 (7626): 471–476. Bibcode:2016Натура.538..471Г. Дои:10.1038 / природа20101. ISSN  1476-4687. PMID  27732574. S2CID  205251479.
  118. ^ "Differentiable neural computers | DeepMind". DeepMind. Получено 2016-10-19.
  119. ^ Atkeson, Christopher G.; Schaal, Stefan (1995). "Memory-based neural networks for robot learning". Neurocomputing. 9 (3): 243–269. Дои:10.1016/0925-2312(95)00033-6.
  120. ^ Salakhutdinov, Ruslan, and Geoffrey Hinton. "Semantic hashing." International Journal of Approximate Reasoning 50.7 (2009): 969–978.
  121. ^ Le, Quoc V.; Mikolov, Tomas (2014). "Distributed representations of sentences and documents". arXiv:1405.4053 [cs.CL ].
  122. ^ Schmidhuber, Juergen (2015). "Pointer Networks". arXiv:1506.03134 [stat.ML ].
  123. ^ Schmidhuber, Juergen (2015). "Neural Random-Access Machines". arXiv:1511.06392 [cs.LG ].
  124. ^ Kalchbrenner, N.; Blunsom, P. (2013). "Recurrent continuous translation models". EMNLP'2013: 1700–1709. Цитировать журнал требует | журнал = (помощь)
  125. ^ Sutskever, I.; Vinyals, O.; Le, Q. V. (2014). "Sequence to sequence learning with neural networks" (PDF). Twenty-eighth Conference on Neural Information Processing Systems. arXiv:1409.3215.
  126. ^ Schmidhuber, Juergen (2014). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation". arXiv:1406.1078 [cs.CL ].
  127. ^ Schmidhuber, Juergen; Курвиль, Аарон; Bengio, Yoshua (2015). "Describing Multimedia Content using Attention-based Encoder—Decoder Networks". IEEE Transactions on Multimedia. 17 (11): 1875–1886. arXiv:1507.01053. Bibcode:2015arXiv150701053C. Дои:10.1109/TMM.2015.2477044. S2CID  1179542.