Коннекционизм - Connectionism

Коннекционизм это подход в области наука о мышлении что надеется объяснить умственный явления с использованием искусственные нейронные сети (АННА).[1] Коннекционизм представляет собой когнитивную теорию, основанную на одновременном возникновении распределенной активности сигналов через связи, которые могут быть представлены численно, где обучение происходит путем изменения силы связи на основе опыта.[2]

Некоторые преимущества коннекционистского подхода включают его применимость к широкому спектру функций, структурное приближение к биологическим нейронам, низкие требования к врожденной структуре и способность к изящная деградация.[3] Некоторые недостатки включают трудность в расшифровке того, как ИНС обрабатывают информацию или учитывают композиционность ментальных представлений, и, как следствие, сложность объяснения явлений на более высоком уровне.[2]

Успех глубокое обучение сети за последнее десятилетие значительно увеличили популярность этого подхода, но сложность и масштаб таких сетей привели к увеличению проблемы интерпретируемости.[1] Многие считают, что коннекционизм предлагает альтернативу классическим теориям разума, основанным на символических вычислениях, но степень совместимости этих двух подходов была предметом многочисленных споров с момента их появления.[1]

Модель Connectionist (ANN) со скрытым слоем

Основные принципы

Центральный принцип коннекционизма состоит в том, что ментальные явления могут быть описаны взаимосвязанными сетями простых и часто однородных единиц. Форма соединений и агрегатов может варьироваться от модели к модели. Например, единицы в сети могут представлять нейроны и связи могут представлять синапсы, как в человеческий мозг.

Активация распространения

Основная статья: Активация распространения

В большинстве коннекционистских моделей сети со временем меняются. Близким и очень распространенным аспектом моделей коннекционизма является активация. В любой момент у объекта в сети есть активация, которая представляет собой числовое значение, предназначенное для представления некоторого аспекта объекта. Например, если единицы в модели - нейроны, активация может представлять собой вероятность что нейрон будет генерировать потенциал действия шип. Активация обычно распространяется на все другие подключенные к нему юниты. Активация распространения всегда является особенностью моделей нейронных сетей, и она очень часто встречается в моделях коннекционистов, используемых когнитивные психологи.

Нейронные сети

Основная статья: Искусственные нейронные сети

Сегодня нейронные сети являются наиболее часто используемой моделью подключения. Хотя существует множество моделей нейронных сетей, они почти всегда следуют двум основным принципам, касающимся разума:

  1. Любое психическое состояние можно описать как (N) -мерное вектор числовых значений активации нейронных единиц в сети.
  2. Память создается путем изменения силы связей между нейронными единицами. Сила соединения или «веса» обычно представлена ​​как N × N матрица.

Наибольшее разнообразие моделей нейронных сетей связано с:

  • Толкование единиц: Единицы можно интерпретировать как нейроны или группы нейронов.
  • Определение активации: Активацию можно определить по-разному. Например, в Машина Больцмана активация интерпретируется как вероятность генерации всплеска потенциала действия и определяется через логистическая функция по сумме входов в единицу.
  • Алгоритм обучения: Разные сети по-разному изменяют свои соединения. В общем, любое математически определенное изменение веса соединений с течением времени называется «алгоритмом обучения».

Коннекционисты согласны с тем, что повторяющиеся нейронные сети (направленные сети, в которых соединения сети могут образовывать направленный цикл) являются лучшей моделью мозга, чем нейронные сети с прямой связью (направленные сети без циклов, называемые DAG ). Многие повторяющиеся модели коннекционистов также включают теория динамических систем. Многие исследователи, например, коннекционист Павел Смоленский, утверждали, что коннекционистские модели будут развиваться в направлении непрерывный, многомерный, нелинейный, динамические системы подходы.

Биологический реализм

Работа коннекционистов в целом не обязана быть биологически реалистичной и поэтому страдает недостатком нейробиологической достоверности.[4][5][6][7][8][9][10] Однако структура нейронных сетей происходит от структуры биологических нейроны, и эта параллель в структуре низкого уровня часто считается преимуществом коннекционизма при моделировании когнитивных структур по сравнению с другими подходами.[3] Одна из областей, в которой коннекционистские модели считаются биологически неправдоподобными, - это сети распространения ошибок, которые необходимы для поддержки обучения.[11][12] но распространение ошибок может объяснить часть биологически генерируемой электрической активности, наблюдаемой на коже черепа в связанные с событиями потенциалы такой как N400 и P600,[13] и это обеспечивает некоторую биологическую поддержку одного из ключевых предположений о процедурах коннекционистского обучения.

Учусь

Веса в нейронной сети регулируются в соответствии с некоторыми правило обучения или алгоритм, такой как Hebbian обучение. Таким образом, коннекционисты создали множество сложных процедур обучения для нейронных сетей. Обучение всегда включает в себя изменение весов соединений. В общем, они включают математические формулы для определения изменения весов при заданных наборах данных, состоящих из векторов активации для некоторого подмножества нейронных единиц. Несколько исследований были сосредоточены на разработке методов преподавания и обучения, основанных на коннекционизме.[14]

Формализуя обучение таким образом, у коннекционистов есть много инструментов. Очень распространенной стратегией в методах коннекционистского обучения является включение градиентный спуск над поверхностью ошибки в пространстве, определяемом весовой матрицей. Все обучение по градиентному спуску в моделях коннекционизма включает изменение каждого веса на частная производная поверхности ошибки по отношению к весу. Обратное распространение (BP), впервые ставший популярным в 1980-х годах, вероятно, является наиболее известным сегодня алгоритмом коннекционистского градиентного спуска.[12]

Коннекционизм можно проследить до идей, возникших более века назад, которые до середины-конца 20-го века были не более чем спекуляциями.

Параллельная распределенная обработка

Преобладающий сегодня коннекционистский подход изначально был известен как параллельная распределенная обработка (PDP). Это был искусственная нейронная сеть подход, который подчеркивал параллельный характер нейронной обработки и распределенный характер нейронных представлений. Он предоставил исследователям общую математическую основу для работы. Она включает восемь основных аспектов:

  • Набор блоки обработки, представленный набор целых чисел.
  • An активация для каждой единицы, представленной вектором зависящих от времени функции.
  • An функция вывода для каждого блока, представленного вектором функций по активациям.
  • А образец связи среди единиц, представленных матрицей действительных чисел, указывающих силу соединения.
  • А правило распространения распространение активаций через соединения, представленные функцией на выходе блоков.
  • An правило активации для объединения входов в единицу для определения его новой активации, представленной функцией текущей активации и распространения.
  • А правило обучения для изменения связей на основе опыта, представленного изменением весов на основе любого количества переменных.
  • An среда который предоставляет системе опыт, представленный наборами векторов активации для некоторых подмножество единиц.

Многие исследования, приведшие к разработке PDP, были проведены в 1970-х годах, но PDP стала популярной в 1980-х, когда были выпущены книги. Параллельная распределенная обработка: исследования микроструктуры познания - Том 1 (основы) и Том 2 (Психологические и биологические модели), к Джеймс Л. Макклелланд, Дэвид Э. Румелхарт и Исследовательская группа PDP. Книги теперь считаются основополагающими работами по коннекционизму, и теперь принято полностью приравнивать PDP и коннекционизм, хотя термин «коннекционизм» в книгах не используется. Следуя модели PDP, исследователи теоретизировали системы, основанные на принципах перпендикулярной распределенной обработки (PDP).

Ранее работа

Прямые корни PDP были перцептрон теории таких исследователей как Фрэнк Розенблатт с 1950-х и 1960-х годов. Но модели персептронов были очень непопулярны в книге. Персептроны к Марвин Мински и Сеймур Пейперт, опубликованный в 1969 году. Он продемонстрировал ограничения на виды функций, которые могут вычислять однослойные (без скрытого слоя) перцептроны, показывая, что даже простые функции, такие как исключительная дизъюнкция (XOR) не удалось обработать должным образом. В книгах по PDP это ограничение удалось преодолеть, продемонстрировав, что многоуровневые нелинейные нейронные сети гораздо более надежны и могут использоваться для широкого спектра функций.[15]

Многие ранние исследователи отстаивали модели коннекционистского стиля, например, в 1940-х и 1950-х годах. Уоррен МакКаллох и Уолтер Питтс (МП нейрон ), Дональд Олдинг Хебб, и Карл Лэшли. Маккалок и Питтс показали, как нейронные системы могут реализовать логика первого порядка: Их классическая статья «Логическое исчисление идей, присущих нервной деятельности» (1943 г.) важна в этом развитии. На них повлияла важная работа Николай Рашевский в 1930-е гг. Хебб внес большой вклад в рассуждения о функционировании нейронов и предложил принцип обучения: Hebbian обучение, который до сих пор используется. Лэшли выступал за распределенные представления из-за того, что ему не удалось найти что-то вроде локализованного инграмма в годы поражение эксперименты.

Коннекционизм отдельно от PDP

Хотя PDP является доминирующей формой коннекционизма, другие теоретические работы также следует классифицировать как коннекционистские.

Многие принципы коннекционизма восходят к ранним работам в психология, например, Уильям Джеймс.[16] Психологические теории, основанные на знаниях о человеческом мозге, были в моде в конце 19 века. Еще в 1869 г. невролог Джон Хьюлингс Джексон выступал за многоуровневые распределенные системы. Следуя этому примеру, Герберт Спенсер с Принципы психологии, 3-е издание (1872 г.), и Зигмунд Фрейд с Проект научной психологии (составлен в 1895 г.) выдвинул теории коннекционизма или протоконнекционизма. Как правило, это были спекулятивные теории. Но к началу 20 века Эдвард Торндайк экспериментировал с обучением, основанным на сети типа коннекционистов.

Фридрих Хайек независимо задумал модель обучения синапсов Хебба в статье, представленной в 1920 году, и развил эту модель в глобальную теорию мозга, состоящую из сетей синапсов Хебба, встраиваемых в более крупные системы карт и сети памяти[нужна цитата ]. Фрэнк Розенблатт процитировал революционную работу Хайека в своей статье о персептронах.

Другой формой коннекционистской модели была реляционная сеть рамки, разработанные лингвист Сидней Лэмб в 1960-е гг. Реляционные сети использовались только лингвистами и никогда не были объединены с подходом PDP. В результате их сейчас используют очень немногие исследователи.

Существуют также гибридные коннекционистские модели, в основном смешивающие символические представления с моделями нейронных сетей. Гибридный подход был рекомендован некоторыми исследователями (такими как Рон Сан ).

Споры о коннекционизме и вычислительном подходе

Поскольку в конце 1980-х годов коннекционизм становился все более популярным, некоторые исследователи (в том числе Джерри Фодор, Стивен Пинкер и другие) выступили против. Они утверждали, что развитие коннекционизма угрожает уничтожить то, что они считали прогрессом, достигнутым в области когнитивной науки и психологии с помощью классического подхода вычислитель. Компьютационализм - это особая форма когнитивизма, утверждающая, что умственная деятельность вычислительный, то есть разум действует, выполняя чисто формальные операции с символами, например Машина Тьюринга. Некоторые исследователи утверждали, что тенденция к коннекционизму представляет собой возврат к ассоциация и отказ от идеи язык мысли что-то они посчитали ошибочным. Напротив, именно эти тенденции сделали коннекционизм привлекательным для других исследователей.

Коннекционизм и вычислительный подход не должны противоречить друг другу, но дебаты в конце 1980-х - начале 1990-х годов привели к противостоянию между двумя подходами. В ходе дебатов некоторые исследователи утверждали, что коннекционизм и вычислительный подход полностью совместимы, хотя полного консенсуса по этому вопросу достичь не удалось. Различия между двумя подходами заключаются в следующем:

  • Компьютационалисты постулируют символические модели, которые структурно похожи на лежащую в основе структуру мозга, тогда как коннекционисты занимаются "низкоуровневым" моделированием, пытаясь обеспечить сходство своих моделей с неврологическими структурами.
  • Вычислительные специалисты в целом сосредотачиваются на структуре явных символов (ментальные модели ) и синтаксический правила для своих внутренних манипуляций, в то время как коннекционисты сосредотачиваются на изучении стимулов окружающей среды и хранении этой информации в форме связей между нейронами.
  • Вычислительные специалисты считают, что внутренняя умственная деятельность состоит из манипулирования явными символами, в то время как коннекционисты полагают, что манипулирование явными символами дает плохую модель умственной деятельности.
  • Вычислительные специалисты часто утверждают специфичный для домена символические подсистемы, предназначенные для поддержки обучения в определенных областях познания (например, язык, интенциональность, число), тогда как коннекционисты постулируют один или небольшой набор очень общих механизмов обучения.

Несмотря на эти различия, некоторые теоретики предположили, что архитектура коннекционизма - это просто способ, которым органический мозг реализует систему манипулирования символами. Это логически возможно, поскольку хорошо известно, что коннекционистские модели могут реализовывать системы манипулирования символами того типа, который используется в вычислительных моделях,[17] поскольку они действительно должны уметь объяснять человеческую способность выполнять задачи манипулирования символами. Было предложено несколько когнитивных моделей, сочетающих архитектуру манипуляций с символами и коннекционизма, в частности, среди них. Павел Смоленский Интегрированная коннекционистская / символическая когнитивная архитектура (ICS).[1][18] Но дебаты основываются на том, формирует ли эта манипуляция символами основу познания в целом, так что это не является потенциальным оправданием вычислительного подхода. Тем не менее, вычислительные описания могут быть, например, полезными высокоуровневыми описаниями познания логики.

Споры в основном были сосредоточены на логических аргументах о том, могут ли коннекционистские сети создавать синтаксическую структуру, наблюдаемую в такого рода рассуждениях. Позднее это было достигнуто, хотя и с использованием способностей быстрого связывания переменных, выходящих за рамки тех, которые обычно предполагаются в моделях коннекционизма.[17][19] По состоянию на 2016 годПрогресс в нейрофизиологии и общие достижения в понимании нейронных сетей привели к успешному моделированию огромного количества этих ранних проблем, и поэтому дебаты о фундаментальном познании в значительной степени решились среди нейробиологов в пользу коннекционизма.[нужна цитата ] Однако эти относительно недавние разработки еще не достигли консенсуса среди тех, кто работает в других областях, таких как психология или философия разума.

Отчасти привлекательность вычислительных описаний заключается в том, что их относительно легко интерпретировать и, таким образом, можно рассматривать как способствующие нашему пониманию конкретных психических процессов, в то время как коннекционистские модели в целом более непрозрачны, поскольку их можно описать только в очень общие термины (например, указание алгоритма обучения, количества единиц и т. д.) или в терминах крайне низкого уровня. В этом смысле коннекционистские модели могут конкретизировать и, таким образом, предоставлять доказательства широкой теории познания (то есть коннекционизма), не представляя полезную теорию конкретного моделируемого процесса. В этом смысле дебаты могут рассматриваться как в некоторой степени отражающие простую разницу в уровне анализа, на котором строятся те или иные теории. Некоторые исследователи предполагают, что пробел в анализе является следствием коннекционистских механизмов, порождающих возникающие явления это может быть описано в вычислительных терминах.[20]

Недавний[когда? ] популярность динамические системы в философия разума добавили новый взгляд на дебаты; некоторые авторы[который? ] теперь утверждают, что любой раскол между коннекционизмом и вычислительным подходом более убедительно характеризуется как разрыв между вычислительным и вычислительным. динамические системы.

В 2014, Алекс Грейвс и другие из DeepMind опубликовал серию статей, описывающих новую структуру глубокой нейронной сети, названную Нейронная машина Тьюринга[21] может читать символы на ленте и сохранять символы в памяти. Relational Networks, еще один модуль Deep Network, опубликованный DeepMind, может создавать объектно-подобные представления и манипулировать ими, чтобы отвечать на сложные вопросы. Реляционные сети и нейронные машины Тьюринга - еще одно свидетельство того, что коннекционизм и вычислительный подход не должны противоречить друг другу.

Смотрите также

Примечания

  1. ^ а б c d Гарсон, Джеймс (27 ноября 2018 г.). Залта, Эдвард Н. (ред.). Стэнфордская энциклопедия философии. Лаборатория метафизических исследований, Стэнфордский университет - через Стэнфордскую энциклопедию философии.
  2. ^ а б Смоленский, Павел (1999). «Коннекционистские подходы к языку, основанные на грамматике» (PDF). Наука о мышлении. 23 (4): 589–613. Дои:10.1207 / с15516709cog2304_9.
  3. ^ а б Маркус, Гэри Ф. (2001). Алгебраический разум: интеграция коннекционизма и когнитивной науки (обучение, развитие и концептуальные изменения). Кембридж, Массачусетс: MIT Press. стр.27 –28. ISBN  978-0262632683.
  4. ^ "Журнал Энцефалоса". www.encephalos.gr. Получено 2018-02-20.
  5. ^ Уилсон, Элизабет А. (04.02.2016). Нейрогеографии: феминизм и микроструктура познания. Рутледж. ISBN  9781317958765.
  6. ^ «Организованная робототехника: гомеостатическая адаптация и телеология вне замкнутой сенсомоторной петли». S2CID  15349751. Цитировать журнал требует | журнал = (помощь)
  7. ^ Зорзи, Марко; Testolin, Альберто; Стоянов, Ивилин П. (2013-08-20). «Моделирование языка и познания с помощью глубокого обучения без учителя: обзор учебника». Границы в психологии. 4: 515. Дои:10.3389 / fpsyg.2013.00515. ISSN  1664-1078. ЧВК  3747356. PMID  23970869.
  8. ^ «АНАЛИТИЧЕСКАЯ И КОНТИНЕНТАЛЬНАЯ ФИЛОСОФИЯ».
  9. ^ Браун, А. (1 января 1997 г.). Перспективы нейронных сетей для познания и адаптивной робототехники. CRC Press. ISBN  9780750304559.
  10. ^ Pfeifer, R .; Schreter, Z .; Fogelman-Soulié, F .; Стали, Л. (1989-08-23). Коннекционизм в перспективе. Эльзевир. ISBN  9780444598769.
  11. ^ Крик, Фрэнсис (январь 1989 г.). «Недавний ажиотаж по поводу нейронных сетей». Природа. 337 (6203): 129–132. Bibcode:1989Натура.337..129C. Дои:10.1038 / 337129a0. ISSN  1476-4687. PMID  2911347. S2CID  5892527.
  12. ^ а б Румелхарт, Дэвид Э .; Хинтон, Джеффри Э .; Уильямс, Рональд Дж. (Октябрь 1986 г.). «Изучение представлений путем обратного распространения ошибок». Природа. 323 (6088): 533–536. Bibcode:1986Натура.323..533R. Дои:10.1038 / 323533a0. ISSN  1476-4687. S2CID  205001834.
  13. ^ Фитц, Хартмут; Чанг, Франклин (2019-06-01). «Языковые ERP отражают обучение через распространение ошибок прогнозирования». Когнитивная психология. 111: 15–52. Дои:10.1016 / j.cogpsych.2019.03.002. HDL:21.11116 / 0000-0003-474F-6. ISSN  0010-0285. PMID  30921626. S2CID  85501792.
  14. ^ Ново, Мария-Луиза; Альсина, Анхель; Марбан, Хосе-Мария; Берчиано, Айнхоа (2017). "Connective Intelligence для детского математического образования". Comunicar (на испанском). 25 (52): 29–39. Дои:10.3916 / c52-2017-03. ISSN  1134-3478.
  15. ^ Хорник, К .; Stinchcombe, M .; Уайт, Х. (1989). «Многослойные сети с прямой связью - универсальные аппроксиматоры». Нейронные сети. 2 (5): 359. Дои:10.1016/0893-6080(89)90020-8.
  16. ^ Андерсон, Джеймс А .; Розенфельд, Эдвард (1989). "Глава 1: (1890) Уильям Джеймс Психология (краткий курс)". Нейрокомпьютеры: основы исследований. Книга Брэдфорда. п. 1. ISBN  978-0262510486.
  17. ^ а б Чанг, Франклин (2002). «Символически говоря: коннекционистская модель производства предложений». Наука о мышлении. 26 (5): 609–651. Дои:10.1207 / с15516709cog2605_3. ISSN  1551-6709.
  18. ^ Смоленский, Павел (1990). «Связывание переменных тензорного продукта и представление символических структур в коннекционистских системах» (PDF). Искусственный интеллект. 46 (1–2): 159–216. Дои:10.1016 / 0004-3702 (90) 90007-М.
  19. ^ Шастри, Локендра; Аджанагадде, Венкат (сентябрь 1993 г.). «От простых ассоциаций к систематическим рассуждениям: коннекционистское представление правил, переменных и динамических привязок с использованием временной синхронизации». Поведенческие науки и науки о мозге. 16 (3): 417–451. Дои:10.1017 / S0140525X00030910. ISSN  1469-1825.
  20. ^ Эллис, Ник С. (1998). «Эмерджентизм, коннекционизм и изучение языков» (PDF). Изучение языка. 48:4 (4): 631–664. Дои:10.1111/0023-8333.00063.
  21. ^ Могилы, Алекс (2014). «Нейронные машины Тьюринга». arXiv:1410.5401 [cs.NE ].

Рекомендации

  • Rumelhart, D.E., J.L. McClelland и исследовательская группа PDP (1986). Параллельная распределенная обработка: исследования микроструктуры познания. Том 1: Основы, Кембридж, Массачусетс: MIT Press, ISBN  978-0262680530
  • Макклелланд, J.L., D.E. Рамельхарт и Исследовательская группа PDP (1986). Параллельная распределенная обработка: исследования микроструктуры познания. Том 2: Психологические и биологические модели, Кембридж, Массачусетс: MIT Press, ISBN  978-0262631105
  • Пинкер, Стивен и Мелер, Жак (1988). Подключения и символы, Кембридж, Массачусетс: MIT Press, ISBN  978-0262660648
  • Джеффри Л. Элман, Элизабет А. Бейтс, Марк Х. Джонсон, Аннет Кармилофф-Смит, Доменико Паризи, Ким Планкетт (1996). Переосмысление врожденности: коннекционистский взгляд на развитие, Кембридж, Массачусетс: MIT Press, ISBN  978-0262550307
  • Маркус, Гэри Ф. (2001). Алгебраический разум: интеграция коннекционизма и когнитивной науки (обучение, развитие и концептуальные изменения), Кембридж, Массачусетс: MIT Press, ISBN  978-0262632683
  • Дэвид А. Медлер (1998). «Краткая история коннекционизма» (PDF). Обзоры нейронных вычислений. 1: 61–101.

внешняя ссылка