Обобщенный алгоритм Хеббиана - Википедия - Generalized Hebbian algorithm

В обобщенный алгоритм Хебба (ГСГ), также известный в литературе как Правило Сангера, является линейным прямая связь модель нейронной сети за обучение без учителя с приложениями в основном в анализ основных компонентов. Впервые определено в 1989 г.,^[1] это похоже на Правило Оджи по своей формулировке и стабильности, за исключением того, что он может применяться к сетям с несколькими выходами. Название происходит из-за сходства между алгоритмом и гипотезой, сделанной Дональд Хебб^[2] о способе модификации синаптических сил в мозге в ответ на опыт, т.е. о том, что изменения пропорциональны корреляции между активацией пре- и постсинаптических нейроны.^[3]

Теория

ГСГ сочетает правило Оджи с Процесс Грама-Шмидта создать обучающее правило формы

{ displaystyle , Delta w_ {ij} ~ = ~ eta left (y_ {i} x_ {j} -y_ {i} sum _ {k = 1} ^ {i} w_ {kj} y_ { k} right)}

,^[4]

куда $ш ij$ определяет синаптический вес или прочность связи между $j$ й вход и $я$ th выходных нейронов, $Икс$ и $у$ - входной и выходной векторы соответственно, и $η$ это скорость обучения параметр.

Вывод

В матричной форме правило Оджи можно записать

{ displaystyle , { frac {{ text {d}} w (t)} {{ text {d}} t}} ~ = ~ w (t) Q- mathrm {diag} [w (t ) Qw (t) ^ { mathrm {T}}] w (t)}

,

а алгоритм Грама-Шмидта -

{ Displaystyle , Delta ш (т) ~ = ~ - mathrm {нижний} [вес (т) ш (т) ^ { mathrm {T}}] ш (т)}

,

куда $ш (т)$ любая матрица, в данном случае представляющая синаптические веса, $Q = η Икс Икс Т$ - это автокорреляционная матрица, просто внешнее произведение входных данных, $диагональ$ это функция, которая диагонализует матрица и $ниже$ - это функция, которая устанавливает все матричные элементы на диагонали или над ней равными 0. Мы можем объединить эти уравнения, чтобы получить наше исходное правило в матричной форме,

{ displaystyle , Delta w (t) ~ = ~ eta (t) left ( mathbf {y} (t) mathbf {x} (t) ^ { mathrm {T}} - mathrm { LT} [ mathbf {y} (t) mathbf {y} (t) ^ { mathrm {T}}] w (t) right)}

,

где функция $LT$ устанавливает все элементы матрицы над диагональю равными 0, и обратите внимание, что наш вывод $у (т) = ш (т) Икс (т)$ представляет собой линейный нейрон.^[1]

Стабильность и PCA

^[5]^[6]

Приложения

ГСГ используется в приложениях, где самоорганизующаяся карта необходимо, или если функция или анализ основных компонентов может быть использован. Примеры таких случаев включают: искусственный интеллект и обработка речи и изображений.

Его важность исходит из того факта, что обучение - это однослойный процесс, то есть синаптический вес изменяется только в зависимости от реакции входов и выходов этого уровня, что позволяет избежать многослойной зависимости, связанной с обратное распространение алгоритм. Он также предлагает простой и предсказуемый компромисс между скоростью обучения и точностью сходимости, установленной учусь параметр скорости $η$ .^[5]

Смотрите также

Рекомендации

^ ^а ^б Сэнгер, Теренс Д. (1989). «Оптимальное обучение без учителя в однослойной линейной нейронной сети с прямой связью» (PDF). Нейронные сети. 2 (6): 459–473. CiteSeerX 10.1.1.128.6893. Дои:10.1016/0893-6080(89)90044-0. Получено 2007-11-24.
^ Хебб, Д.О. (1949). Организация поведения. Нью-Йорк: Wiley & Sons. ISBN 9781135631918.
^ Герц, Джон; Андерс Кроу; Ричард Г. Палмер (1991). Введение в теорию нейронных вычислений. Редвуд-Сити, Калифорния: издательство Addison-Wesley Publishing Company. ISBN 978-0201515602.
^ Горрелл, Женевьева (2006), "Обобщенный алгоритм Хебба для инкрементальной декомпозиции сингулярных значений при обработке естественного языка", EACL, CiteSeerX 10.1.1.102.2084
^ ^а ^б Хайкин, Симон (1998). Нейронные сети: всеобъемлющий фундамент (2-е изд.). Прентис Холл. ISBN 978-0-13-273350-2.
^ Оя, Эркки (Ноябрь 1982 г.). «Упрощенная модель нейрона как анализатор главных компонент». Журнал математической биологии. 15 (3): 267–273. Дои:10.1007 / BF00275687. PMID 7153672. S2CID 16577977. BF00275687.

[Sanger89-1] а ^б Сэнгер, Теренс Д. (1989). «Оптимальное обучение без учителя в однослойной линейной нейронной сети с прямой связью» (PDF). Нейронные сети. 2 (6): 459–473. CiteSeerX 10.1.1.128.6893. Дои:10.1016/0893-6080(89)90044-0. Получено 2007-11-24.

[Hebb_1949-2] Хебб, Д.О. (1949). Организация поведения. Нью-Йорк: Wiley & Sons. ISBN 9781135631918.

[Hertz,_Krough,_and_Palmer,_1991-3] Герц, Джон; Андерс Кроу; Ричард Г. Палмер (1991). Введение в теорию нейронных вычислений. Редвуд-Сити, Калифорния: издательство Addison-Wesley Publishing Company. ISBN 978-0201515602.

[4] Горрелл, Женевьева (2006), "Обобщенный алгоритм Хебба для инкрементальной декомпозиции сингулярных значений при обработке естественного языка", EACL, CiteSeerX 10.1.1.102.2084

[Haykin98-5] а ^б Хайкин, Симон (1998). Нейронные сети: всеобъемлющий фундамент (2-е изд.). Прентис Холл. ISBN 978-0-13-273350-2.

[Oja82-6] Оя, Эркки (Ноябрь 1982 г.). «Упрощенная модель нейрона как анализатор главных компонент». Журнал математической биологии. 15 (3): 267–273. Дои:10.1007 / BF00275687. PMID 7153672. S2CID 16577977. BF00275687.

[1]

[2]

[3]

[4]

[5]

[6]