История искусственных нейронных сетей - Википедия - History of artificial neural networks

В история искусственных нейронных сетей (АННА) началось с Уоррен МакКаллох и Уолтер Питтс[1] (1943), которые создали вычислительную модель нейронных сетей на основе алгоритмы называется пороговая логика. Эта модель позволила разделить исследования на два подхода. Один подход был сосредоточен на биологических процессах, а другой - на применении нейронных сетей для искусственный интеллект. Эта работа привела к работе над нервными сетями и их связью с конечные автоматы.[2]

Hebbian обучение

В конце 1940-х гг. Д. О. Хебб[3] создал гипотезу обучения, основанную на механизме нейронная пластичность это стало известно как Hebbian обучение. Hebbian обучение - это обучение без учителя. Это превратилось в модели для долгосрочное потенцирование. Исследователи начали применять эти идеи к вычислительным моделям в 1948 г. Машины Тьюринга типа B. Фарли и Кларк[4] (1954) сначала использовали вычислительные машины, тогда называемые «калькуляторами», для моделирования сети Хебба. Другие вычислительные машины нейронных сетей были созданы Рочестер, Голландия, Хабит и Дуда (1956).[5] Розенблатт[6] (1958) создал перцептрон, алгоритм распознавания образов. Используя математические обозначения, Розенблатт описал схему, не входящую в базовый перцептрон, такую ​​как Эксклюзивный или схема, которая в то время не могла быть обработана нейронными сетями.[7] В 1959 году биологическая модель, предложенная Нобелевские лауреаты Hubel и Визель был основан на их открытии двух типов клеток в первичная зрительная кора: простые клетки и сложные клетки.[8] Первые функциональные сети со многими уровнями были опубликованы Ивахненко и Лапа в 1965 г. Групповой метод обработки данных.[9][10][11]

Исследования застопорились после машинное обучение исследование Минский и Papert (1969),[12] который обнаружил две ключевые проблемы с вычислительными машинами, которые обрабатывали нейронные сети. Во-первых, базовые перцептроны неспособны обрабатывать схему исключающего ИЛИ. Во-вторых, компьютерам не хватало вычислительной мощности для эффективного выполнения работы, необходимой для больших нейронных сетей. Исследования нейронных сетей замедлились, пока компьютеры не достигли гораздо большей вычислительной мощности. Много искусственный интеллект сосредоточился на высокоуровневых (символических) моделях, обрабатываемых с помощью явных алгоритмы, характеризуемый, например, экспертные системы со знаниями, воплощенными в если-то правил, пока в конце 1980-х исследования не расширились до низкоуровневого (субсимвольного) машинное обучение, характеризующийся знаниями, воплощенными в параметрах когнитивная модель.[нужна цитата ]

Обратное распространение

Ключевым фактором возобновления интереса к нейронным сетям и обучению стало: Werbos s (1975) обратное распространение алгоритм, позволяющий на практике обучаться работе с многоуровневыми сетями. При обратном распространении термин ошибки распределяется по слоям, изменяя веса в каждом узле.[7]

В середине 1980-х гг. параллельная распределенная обработка стал популярным под названием коннекционизм. Румельхарт и Макклелланд (1986) описали использование коннекционизма для моделирования нейронных процессов.[13]

Опорные векторные машины и более простые методы, такие как линейные классификаторы постепенно настигли нейронные сети. Однако нейронные сети трансформировали такие области, как предсказание белковых структур.[14][15]

В 1992 г. макс-пул был введен, чтобы помочь с наименьшей инвариантностью сдвига и толерантностью к деформации, чтобы помочь в Распознавание 3D-объектов.[16][17][18] В 2010 году обучение обратному распространению через макс-пул был ускорен графическими процессорами и показал лучшую производительность, чем другие варианты объединения.[19]

В проблема исчезающего градиента влияет на многослойные сети прямого распространения который использовал обратное распространение, а также повторяющиеся нейронные сети (RNN).[20][21] По мере того, как ошибки распространяются от уровня к уровню, они экспоненциально сужаются с увеличением количества слоев, что затрудняет настройку весов нейронов, основанную на этих ошибках, особенно влияя на глубокие сети.

Чтобы преодолеть эту проблему, Шмидхубер приняла многоуровневую иерархию сетей (1992), предварительно обучая по одному уровню за раз обучение без учителя и доработан обратное распространение.[22] Бенке (2003) полагался только на знак градиента (Rprop )[23] по таким проблемам, как реконструкция изображения и локализация лица.

Хинтон и другие. (2006) предложили изучить высокоуровневое представление с использованием последовательных слоев двоичных или вещественных скрытые переменные с ограниченная машина Больцмана[24] для моделирования каждого слоя. Когда изучено достаточно много уровней, глубокая архитектура может использоваться как генеративная модель путем воспроизведения данных при выборке модели («наследственный переход») из активаций функций верхнего уровня.[25][26] В 2012, Нг и Декан создали сеть, которая научилась распознавать концепции более высокого уровня, такие как кошки, только путем просмотра немаркированных изображений, взятых из YouTube ролики.[27]

Более ранние проблемы обучения глубоких нейронных сетей были успешно решены такими методами, как неконтролируемое предварительное обучение, в то время как доступная вычислительная мощность увеличивалась за счет использования GPU и распределенных вычислений. Нейронные сети были развернуты в большом масштабе, особенно в задачах распознавания изображений и визуального распознавания. Это стало известно как "глубокое обучение ".[нужна цитата ]

Аппаратные конструкции

Развитие металл – оксид – полупроводник (MOS) очень крупномасштабная интеграция (СБИС), в виде дополнительный MOS (CMOS) технология позволила разработать практические искусственные нейронные сети в 1980-х годах.[28]

Вычислительные устройства были созданы в CMOS, как для биофизического моделирования, так и для нейроморфные вычисления. Наноустройства[29] для очень большого масштаба основные компоненты анализы и свертка могут создать новый класс нейронных вычислений, потому что они фундаментально аналог скорее, чем цифровой (хотя первые реализации могут использовать цифровые устройства).[30] Чиресан и его коллеги (2010)[31] в группе Шмидхубера показали, что, несмотря на проблему исчезающего градиента, графические процессоры делают возможным обратное распространение в многоуровневых нейронных сетях с прямой связью.

Конкурсы

В период с 2009 по 2012 год повторяющиеся нейронные сети и глубокие нейронные сети с прямой связью, разработанные в Шмидхубер исследовательская группа выиграла восемь международных конкурсов в распознавание образов и машинное обучение.[32][33] Например, двунаправленный и многомерный долговременная кратковременная память (LSTM)[34][35][36][37] из Могилы и другие. выиграл три конкурса по распознаванию связного почерка в 2009 г. Международная конференция по анализу и распознаванию документов (ICDAR), без каких-либо предварительных знаний о трех изучаемых языках.[36][35]

Чиресан и его коллеги выиграли распознавание образов конкурсы, включая Конкурс распознавания дорожных знаков IJCNN 2011,[38] Задача ISBI 2012 «Сегментация нейронных структур в стеках для электронной микроскопии»[39] и другие. Их нейронные сети были первыми распознавателями образов, которые достигли конкурентоспособных / сверхчеловеческих возможностей человека.[40] по тестам, таким как распознавание дорожных знаков (IJCNN 2012) или Проблема с рукописными цифрами MNIST.

Исследователи продемонстрировали (2010), что глубокие нейронные сети взаимодействуют с скрытая марковская модель с контекстно-зависимыми состояниями, которые определяют выходной уровень нейронной сети, может значительно уменьшить количество ошибок в задачах распознавания речи с большим словарем, таких как голосовой поиск.[нужна цитата ]

Реализации на базе GPU[41] этого подхода выиграла множество конкурсов по распознаванию образов, в том числе IJCNN 2011 Traffic Sign Recognition Competition,[38] ISBI ​​2012 Сегментация нейронных структур в ЭМ стеках,[39] то Конкурс ImageNet[42] и другие.

Глубокие, сильно нелинейные нейронные архитектуры, подобные неокогнитрон[43] и "стандартная архитектура видения",[44] вдохновлен просто и сложные клетки, были предварительно обучены неконтролируемыми методами Хинтоном.[45][25] Команда его лаборатории выиграла конкурс 2012 года, спонсируемый Merck разработать программное обеспечение, которое поможет найти молекулы, которые могут идентифицировать новые лекарства.[46]

Сверточные нейронные сети

По состоянию на 2011 г., современное состояние сетей прямого обучения для глубокого обучения чередовалось между сверточными слоями и слоями максимального объединения,[41][47] с несколькими полностью или редко связанными слоями, за которыми следует последний классификационный слой. Обучение обычно проводится без предварительной подготовки без присмотра. Сверточный слой включает фильтры, которые свертываются с вводом. Каждый фильтр эквивалентен вектору весов, который необходимо обучить.

Такие контролируемые методы глубокого обучения были первыми, кто достиг конкурентоспособности человека в определенных практических приложениях.[40]

ИНС смогли гарантировать инвариантность сдвига для работы с маленькими и большими естественными объектами в больших загроможденных сценах, только когда инвариантность выходила за рамки сдвига, на все концепции, изученные ИНС, такие как местоположение, тип (метка класса объекта), масштаб, освещение и другие . Это было реализовано в Сети развития (DN).[48] чьими вариантами являются сети Where-What Networks, WWN-1 (2008)[49] через WWN-7 (2013).[50]

Рекомендации

  1. ^ Маккалок, Уоррен; Уолтер Питтс (1943). «Логический расчет идей, имманентных нервной деятельности». Бюллетень математической биофизики. 5 (4): 115–133. Дои:10.1007 / BF02478259.
  2. ^ Клини, S.C. (1956). «Представление событий в нервных сетях и конечных автоматах». Анналы математических исследований (34). Издательство Принстонского университета. стр. 3–41. Получено 2017-06-17.
  3. ^ Хебб, Дональд (1949). Организация поведения. Нью-Йорк: Вили. ISBN  978-1-135-63190-1.
  4. ^ Farley, B.G .; Кларк (1954). «Моделирование самоорганизующихся систем с помощью цифрового компьютера». Сделки IRE по теории информации. 4 (4): 76–84. Дои:10.1109 / TIT.1954.1057468.
  5. ^ Rochester, N .; J.H. Голландия; L.H. Habit; W.L. Дуда (1956). «Тесты по теории сборки клеток деятельности мозга с использованием большого цифрового компьютера». Сделки IRE по теории информации. 2 (3): 80–93. Дои:10.1109 / TIT.1956.1056810.
  6. ^ Розенблатт, Ф. (1958). «Персептрон: вероятностная модель хранения и организации информации в мозгу». Психологический обзор. 65 (6): 386–408. CiteSeerX  10.1.1.588.3775. Дои:10,1037 / ч0042519. PMID  13602029.
  7. ^ а б Вербос, П.Дж. (1975). За пределами регрессии: новые инструменты для прогнозирования и анализа в поведенческих науках.
  8. ^ Дэвид Хьюбел и Торстен Н. Визель (2005). Мозг и визуальное восприятие: история 25-летнего сотрудничества. Oxford University Press, США. п. 106. ISBN  978-0-19-517618-6.
  9. ^ Шмидхубер, Дж. (2015). «Глубокое обучение в нейронных сетях: обзор». Нейронные сети. 61: 85–117. arXiv:1404.7828. Дои:10.1016 / j.neunet.2014.09.003. PMID  25462637. S2CID  11715509.
  10. ^ Ивахненко, А. Г. (1973). Кибернетические устройства прогнозирования. Информационная корпорация СКК.
  11. ^ Ивахненко, А.Г .; Григорьевич Лапа, Валентин (1967). Кибернетика и методы прогнозирования. Американский паб Elsevier. Co.
  12. ^ Минский, Марвин; Паперт, Сеймур (1969). Персептроны: введение в вычислительную геометрию. MIT Press. ISBN  978-0-262-63022-1.
  13. ^ Rumelhart, D.E; Макклелланд, Джеймс (1986). Параллельная распределенная обработка: исследования микроструктуры познания. Кембридж: MIT Press. ISBN  978-0-262-63110-5.
  14. ^ Qian, N .; Сейновски, Т. (1988). «Прогнозирование вторичной структуры глобулярных белков с использованием моделей нейронных сетей» (PDF). Журнал молекулярной биологии. 202 (4): 865–884. Дои:10.1016/0022-2836(88)90564-5. PMID  3172241. Qian1988.
  15. ^ Рост, Б .; Сандер, К. (1993). «Прогноз вторичной структуры белка с точностью выше 70%» (PDF). Журнал молекулярной биологии. 232 (2): 584–599. Дои:10.1006 / jmbi.1993.1413. PMID  8345525. Рост1993 г.
  16. ^ Дж. Венг, Н. Ахуджа и Т. С. Хуанг "Крецептрон: самоорганизующаяся нейронная сеть, которая адаптивно растет," Proc. Международная совместная конференция по нейронным сетям, Балтимор, Мэриленд, том I, стр. 576–581, июнь 1992 г.
  17. ^ Дж. Венг, Н. Ахуджа и Т. С. Хуанг "Обучение распознаванию и сегментации трехмерных объектов из двухмерных изображений," Proc. 4-я Международная конф. Компьютерное зрение, Берлин, Германия, стр. 121–128, май 1993 г.
  18. ^ Дж. Венг, Н. Ахуджа и Т. С. Хуанг "Распознавание и сегментация обучения с помощью Cresceptron," Международный журнал компьютерного зрения, т. 25, нет. 2. С. 105–139, ноябрь 1997 г.
  19. ^ Доминик Шерер, Андреас К. Мюллер и Свен Бенке: "Оценка операций объединения в сверточные архитектуры для распознавания объектов," На 20-й Международной конференции по искусственным нейронным сетям (ICANN)2010. С. 92–101. Дои:10.1007/978-3-642-15825-4_10.
  20. ^ С. Хохрайтер. "Untersuchungen zu Dynamischen Neuronalen Netzen," Дипломная работа. Institut f. Informatik, Technische Univ. Мюнхен. Советник: Я. Шмидхубер, 1991.
  21. ^ Hochreiter, S .; и другие. (15 января 2001 г.). «Градиентный поток в повторяющихся сетях: трудность изучения долгосрочных зависимостей». В Колене, Джон Ф .; Кремер, Стефан С. (ред.). Полевое руководство по динамическим рекуррентным сетям. Джон Вили и сыновья. ISBN  978-0-7803-5369-5.
  22. ^ Дж. Шмидхубер. «Обучающие сложные, расширенные последовательности с использованием принципа сжатия истории». Нейронные вычисления4. С. 234–242, 1992.
  23. ^ Свен Бенке (2003). Иерархические нейронные сети для интерпретации изображений (PDF). Конспект лекций по информатике. 2766. Springer.
  24. ^ Смоленский, П. (1986). «Обработка информации в динамических системах: основы теории гармонии».. В Д. Э. Румельхарте; Дж. Л. Макклелланд; Исследовательская группа PDP (ред.). Параллельная распределенная обработка: исследования микроструктуры познания. 1. стр.194–281. ISBN  9780262680530.
  25. ^ а б Хинтон, Г.Э.; Осиндеро, С .; Тех, Ю. (2006). «Алгоритм быстрого обучения для сетей глубоких убеждений» (PDF). Нейронные вычисления. 18 (7): 1527–1554. CiteSeerX  10.1.1.76.1541. Дои:10.1162 / neco.2006.18.7.1527. PMID  16764513. S2CID  2309950.
  26. ^ Хинтон, Г. (2009). "Сети глубоких убеждений". Scholarpedia. 4 (5): 5947. Bibcode:2009SchpJ ... 4.5947H. Дои:10.4249 / scholarpedia.5947.
  27. ^ Нг, Эндрю; Дин, Джефф (2012). «Создание высокоуровневых функций с использованием крупномасштабного обучения без учителя». arXiv:1112.6209 [cs.LG ].
  28. ^ Мид, Карвер А.; Исмаил, Мохаммед (8 мая 1989 г.). Аналоговая реализация нейронных систем на СБИС (PDF). Международная серия Kluwer в области инженерии и информатики. 80. Норвелл, Массачусетс: Kluwer Academic Publishers. Дои:10.1007/978-1-4613-1639-8. ISBN  978-1-4613-1639-8.
  29. ^ Yang, J. J .; Пикетт, М. Д .; Li, X. M .; Ольберг, Д. А. А .; Стюарт, Д. Р .; Уильямс, Р. С. (2008). «Мемристивный механизм переключения для наноустройств металл / оксид / металл». Nat. Нанотехнологии. 3 (7): 429–433. Дои:10.1038 / nnano.2008.160. PMID  18654568.
  30. ^ Струков, Д. Б .; Снайдер, Г. С .; Стюарт, Д. Р .; Уильямс, Р. С. (2008). «Найден пропавший мемристор». Природа. 453 (7191): 80–83. Bibcode:2008Натура.453 ... 80Х. Дои:10.1038 / природа06932. PMID  18451858. S2CID  4367148.
  31. ^ Чирешан, Дэн Клаудиу; Мейер, Ули; Гамбарделла, Лука Мария; Шмидхубер, Юрген (21 сентября 2010 г.). «Глубокие, большие, простые нейронные сети для распознавания рукописных цифр». Нейронные вычисления. 22 (12): 3207–3220. arXiv:1003.0358. Дои:10.1162 / neco_a_00052. ISSN  0899-7667. PMID  20858131. S2CID  1918673.
  32. ^ Курцвейл, 2012 г., Интервью В архиве 2018-08-31 в Wayback Machine с Юрген Шмидхубер о восьми соревнованиях, выигранных его командой Deep Learning 2009–2012 гг.
  33. ^ «Как глубокое обучение, вдохновленное биологией, продолжает побеждать в соревнованиях | KurzweilAI». www.kurzweilai.net. Архивировано из оригинал на 2018-08-31. Получено 2017-06-16.
  34. ^ Грейвс, Алекс; и Шмидхубер, Юрген; Распознавание рукописного ввода в автономном режиме с помощью многомерных рекуррентных нейронных сетей в Бенджио, Йошуа; Шурманс, Дейл; Лафферти, Джон; Уильямс, Крис К. И .; и Кулотта, Арон (ред.), Достижения в системах обработки нейронной информации 22 (NIPS'22), 7–10 декабря 2009 г., Ванкувер, Британская Колумбия, Фонд нейронных систем обработки информации (NIPS), 2009, стр. 545–552.
  35. ^ а б Graves, A .; Liwicki, M .; Fernandez, S .; Bertolami, R .; Bunke, H .; Шмидхубер, Дж. (2009). «Новая система коннекционистов для улучшенного распознавания рукописного ввода» (PDF). IEEE Transactions по анализу шаблонов и машинному анализу. 31 (5): 855–868. CiteSeerX  10.1.1.139.4502. Дои:10.1109 / тпами.2008.137. PMID  19299860. S2CID  14635907.
  36. ^ а б Грейвс, Алекс; Шмидхубер, Юрген (2009). Бенджио, Йошуа; Шурманс, Дейл; Лафферти, Джон; Уильямс, редактор Крис - К. Я.; Кулотта, Арон (ред.). «Распознавание рукописного ввода в автономном режиме с помощью многомерных рекуррентных нейронных сетей». Фонд нейронных систем обработки информации (NIPS). Curran Associates, Inc: 545–552.
  37. ^ Graves, A .; Liwicki, M .; Fernández, S .; Bertolami, R .; Bunke, H .; Шмидхубер, Дж. (Май 2009 г.). «Новая система коннекционистов для неограниченного распознавания почерка». IEEE Transactions по анализу шаблонов и машинному анализу. 31 (5): 855–868. CiteSeerX  10.1.1.139.4502. Дои:10.1109 / тпами.2008.137. ISSN  0162-8828. PMID  19299860. S2CID  14635907.
  38. ^ а б Чирешан, Дан; Мейер, Ули; Маски, Джонатан; Шмидхубер, Юрген (август 2012 г.). «Многоколоночная глубокая нейронная сеть для классификации дорожных знаков». Нейронные сети. Избранные статьи из IJCNN 2011. 32: 333–338. CiteSeerX  10.1.1.226.8219. Дои:10.1016 / j.neunet.2012.02.023. PMID  22386783.
  39. ^ а б Чиресан, Дан; Джусти, Алессандро; Gambardella, Luca M .; Шмидхубер, Юрген (2012). Pereira, F .; Burges, C.J.C .; Bottou, L .; Weinberger, K. Q. (ред.). Достижения в системах обработки нейронной информации 25 (PDF). Curran Associates, Inc., стр. 2843–2851.
  40. ^ а б Чиресан, Дан; Meier, U .; Шмидхубер, Дж. (Июнь 2012 г.). Многоколоночные глубокие нейронные сети для классификации изображений. Конференция IEEE 2012 года по компьютерному зрению и распознаванию образов. С. 3642–3649. arXiv:1202.2745. Bibcode:2012arXiv1202.2745C. CiteSeerX  10.1.1.300.3283. Дои:10.1109 / cvpr.2012.6248110. ISBN  978-1-4673-1228-8. S2CID  2161592.
  41. ^ а б Ciresan, D.C .; Meier, U .; Masci, J .; Gambardella, L.M .; Шмидхубер, Дж. (2011). «Гибкие, высокопроизводительные сверточные нейронные сети для классификации изображений» (PDF). Международная совместная конференция по искусственному интеллекту. Дои:10.5591 / 978-1-57735-516-8 / ijcai11-210.
  42. ^ Крижевский, Алексей; Суцкевер Илья; Хинтон, Джеффри (2012). «Классификация ImageNet с глубокими сверточными нейронными сетями» (PDF). NIPS 2012: Системы обработки нейронной информации, Озеро Тахо, Невада.
  43. ^ Фукусима, К. (1980). «Неокогнитрон: модель самоорганизующейся нейронной сети для механизма распознавания образов, не зависящего от изменения положения». Биологическая кибернетика. 36 (4): 93–202. Дои:10.1007 / BF00344251. PMID  7370364. S2CID  206775608.
  44. ^ Riesenhuber, M; Поджио, Т. (1999). «Иерархические модели распознавания объектов в коре головного мозга». Природа Неврология. 2 (11): 1019–1025. Дои:10.1038/14819. PMID  10526343. S2CID  8920227.
  45. ^ Хинтон, Джеффри (31 мая 2009 г.). "Сети глубоких убеждений". Scholarpedia. 4 (5): 5947. Bibcode:2009SchpJ ... 4.5947H. Дои:10.4249 / scholarpedia.5947. ISSN  1941-6016.
  46. ^ Марков, Джон (23 ноября 2012 г.). «Ученые видят перспективы в программах глубокого обучения». Нью-Йорк Таймс.
  47. ^ Martines, H .; Bengio, Y .; Яннакакис, Г. Н. (2013). «Изучение глубоких физиологических моделей аффекта». Журнал IEEE Computational Intelligence Magazine (Представлена ​​рукопись). 8 (2): 20–33. Дои:10.1109 / mci.2013.2247823. S2CID  8088093.
  48. ^ Дж. Венг "Почему мы прошли проверку «Нейронные сети плохо абстрагируются»?," Естественный интеллект: журнал INNS, т. 2011. № 1. С. 13–22.
  49. ^ З. Цзи, Дж. Венг, Д. Прохоров "Сеть Where-What Network 1: Где и что помогают друг другу посредством нисходящих подключений," Proc. 7-я Международная конференция по развитию и обучению (ICDL'08), Монтерей, Калифорния, 9–12 августа, стр. 1–6, 2008 г.
  50. ^ X. Wu, G. Guo и J. Weng "Автономная разработка с закрытым черепом: WWN-7 Работа с весами," Proc. Международная конференция по мозгу и разуму, 27–28 июля, Ист-Лансинг, Мичиган, стр. 1–9, 2013 г.

внешняя ссылка