Математические принципы армирования - Mathematical principles of reinforcement

Эта статья поднимает множество проблем. Пожалуйста помоги Улучши это или обсудите эти вопросы на страница обсуждения. (Узнайте, как и когда удалить эти сообщения-шаблоны) Эта статья требует внимания специалиста по математике. Пожалуйста, добавьте причина или разговаривать в этот шаблон, чтобы объяснить проблему со статьей. ВикиПроект по математике может помочь нанять эксперта. (Декабрь 2012 г.) Эта статья включает Список ссылок, связанное чтение или внешняя ссылка, но его источники остаются неясными, потому что в нем отсутствует встроенные цитаты. Пожалуйста, помогите улучшать эта статья введение более точные цитаты. (Август 2018 г.) (Узнайте, как и когда удалить этот шаблон сообщения) (Узнайте, как и когда удалить этот шаблон сообщения)

В математические принципы армирования (MPR) составляют набор математические уравнения изложены Питером Киллином и его коллегами, пытающимися описать и предсказать наиболее фундаментальные аспекты поведения (Killeen & Sitomer, 2003).

Три ключевых принципа MPR, возбуждение, ограничение и сцепление, описывают, как стимулы мотивировать ответ, как это ограничивает время и как подкрепления становятся связанными с конкретными ответами, соответственно. Математические модели приведены для этих основных принципов, чтобы четко сформулировать необходимые детали фактических данных.

Первый принцип: возбуждение

Первый основной принцип MPR: возбуждение. Возбуждение относится к активации поведения путем предъявления стимулы. Повышение уровня активности после многократного предъявления стимулов является фундаментальным аспектом кондиционирование. Киллин, Хэнсон и Осборн (1978) предположили, что дополнительное (или вызванное расписанием) поведение обычно является частью репертуара организма. Доставка поощрений увеличивает скорость дополнительное поведение путем создания повышенного уровня общей активности или возбуждения у организмов.

Killeen & Hanson (1978) подвергали голубей однократному ежедневному предъявлению пищи в экспериментальной камере и измеряли общую активность в течение 15 минут после кормления. Они показали, что уровень активности немного повысился сразу после кормления, а затем медленно снизился с течением времени. Скорость распада можно описать следующей функцией:

${displaystyle b (t) = b_ {1} imes e ^ {frac {-t} {alpha}}}$

б₁ = y-перехват (ответов в минуту)

т = время в секундах с момента кормления

${displaystyle alpha}$ = постоянная времени

е = основание натурального логарифма

Временной ход всего теоретическая модель общей активности моделируется следующим уравнением:

${displaystyle R = A imes (e- {frac {t} {C}} - e- {frac {t} {I}})}$

А = возбуждение

я = временное торможение

C = конкурирующее поведение

Чтобы лучше концептуализировать эту модель, представьте, как будет отображаться скорость реагирования для каждого из этих процессов в отдельности. В отсутствие временного торможения или конкурирующих реакций уровень возбуждения будет оставаться высоким, а скорость реакции будет изображена в виде почти горизонтальной линии с очень небольшим отрицательным наклоном. Сразу после подачи пищи временное торможение достигает максимального уровня. Оно быстро уменьшается с течением времени, и можно ожидать, что скорость реакции увеличится до уровня возбуждения за короткое время. Конкурирующее поведение, такое как отслеживание целей или проверка бункера, происходит как минимум сразу после презентации еды. Это поведение усиливается по мере того, как истекает интервал, поэтому показатель общей активности будет постепенно уменьшаться. Вычитание этих двух кривых дает прогнозируемый уровень общей активности.

Killeen et al. (1978) затем увеличили частоту кормления с ежедневного на каждые фиксированные секунды. Они показали, что общий уровень активности существенно повысился по сравнению с уровнем повседневной презентации. Скорость отклика асимптоты были самыми высокими для самых высоких показателей армирования. Эти эксперименты показывают, что уровень возбуждения пропорционален скорости подстрекательства, а асимптотический уровень увеличивается при повторном предъявлении стимулов. Повышение уровня активности при повторном предъявлении стимулов называется кумуляцией возбуждения. Первый принцип MPR гласит, что уровень возбуждения пропорционален скорость армирования, ${displaystyle A = ar}$, куда:

А= уровень возбуждения

а= конкретная активация

р= скорость армирования

(Киллин и Ситомер, 2003).

Второй принцип: принуждение

Очевидным, но часто упускаемым из виду фактором при анализе распределения откликов является то, что отклики не являются мгновенными, а требуют некоторого времени для их появления (Killeen, 1994). Эти ограничения на количество ответов часто объясняются конкуренцией со стороны других ответов, но реже - тем фактом, что ответы не всегда могут передаваться с той же скоростью, с которой они возникают (Killeen & Sitomer, 2003). Этот ограничивающий фактор необходимо принимать во внимание, чтобы правильно охарактеризовать, какой ответ может быть теоретически, а какой - эмпирически.

Организм может получать импульсы для ответа с определенной скоростью. При низких скоростях усиления скорость извлечения и скорость выхода будут приближаться друг к другу. Однако при высоких скоростях подкрепления эта вызванная скорость подчиняется количеству времени, необходимому для получения ответа. Скорость отклика, ${displaystyle b}$, обычно измеряется как количество ответов, происходящих в эпоха делится на продолжительность эпохи. Взаимность ${displaystyle b}$ дает типичную меру взаимного ответа (IRT), среднее время от начала одного ответа до начала другого (Killeen & Sitomer, 2003). На самом деле это время цикла, а не время между ответами. Согласно Killeen & Sitomer (2003), IRT состоит из двух подынтервалы, время, необходимое для отправки ответа, ${displaystyle delta}$ плюс время между ответами, ${displaystyle au}$. Следовательно, скорость ответа можно измерить, разделив количество ответов на время цикла:

${displaystyle b = {frac {1} {delta + au}}}$ ,

или как количество ответов, деленное на фактическое время между ответами:

${displaystyle b = {frac {1} {au}}}$ .

Эта мгновенная скорость, ${displaystyle {frac {1} {au}}}$ может быть лучшей мерой для использования, поскольку природа операнда может произвольно изменяться в ходе эксперимента (Killeen & Sitomer, 2003).

Киллин, Холл, Рейли и Кеттл (2002) показали, что если мгновенная скорость реакции пропорциональна скорости подкрепления, ${displaystyle {frac {1} {au}} = ar}$, то основное уравнение для результатов MPR. Killeen & Sitomer (2003) показали, что:

если ${displaystyle au = 1 / ar}$

тогда ${displaystyle b = {frac {1} {(delta + {frac {1} {ar}})}}}$,

и перестановка дает:

${displaystyle b = {frac {r} {delta r + {frac {1} {a}}}}}$

Хотя ответы могут возникать со скоростью, пропорциональной ${displaystyle A = ar}$, они могут испускаться только со скоростью ${displaystyle b}$ из-за принуждения. Второй принцип MPR гласит, что время, необходимое для создания ответа, ограничивает скорость ответа (Killeen & Sitomer, 2003).

Третий принцип: сцепление

Связывание - это последняя концепция MPR, которая связывает все процессы вместе и позволяет делать конкретные прогнозы поведения с разными графиками подкрепления. Связь относится к ассоциации между ответами и подкреплениями. Целевой ответ - это ответ, представляющий интерес для экспериментатора, но любой ответ может ассоциироваться с подкреплением. Непредвиденные обстоятельства подкрепление относятся к тому, как подкрепление назначается по отношению к целевому отклику (Killeen & Sitomer, 2003), а конкретные действующие графики подкрепления определяют, как ответы связаны с подкреплением. Третий принцип MPR гласит, что степень связи между ответом и подкреплением уменьшается с увеличением расстояния между ними (Killeen & Sitomer, 2003). Связь коэффициенты, обозначенный как ${displaystyle c}$, приведены для разных графиков армирования. Когда коэффициенты связи вводятся в модель ограничения активации, получаются полные модели обусловленности:

${displaystyle b = {frac {c.r} {delta r + 1 / a}}}$

Это основное уравнение МПР. Точка после ${displaystyle c}$ является заполнителем для конкретных непредвиденных обстоятельств изучаемого армирования (Killeen & Sitomer, 2003).

Графики армирования с фиксированным соотношением

Скорость подкрепления для расписаний с фиксированным соотношением легко рассчитать, поскольку уровень подкрепления прямо пропорционален скорости отклика и обратно пропорционален требованию отношения (Killeen, 1994). Таким образом, функция обратной связи по расписанию:

${displaystyle r = {frac {b} {n}}}$.

Подстановка этой функции в полную модель дает уравнение движения для графиков отношения (Killeen & Sitomer, 2003). Киллин (1994, 2003) показал, что самый последний ответ в последовательности ответов имеет наибольший вес и имеет вес ${displaystyle eta}$, уход ${displaystyle 1- eta}$ для остальных ответов. Предпоследний ответ получает ${displaystyle eta (1- эта)}$, третий защитник получает ${displaystyle eta (1- эта) ^ {2}}$. В ${displaystyle n}$-ому ответу придается вес ${displaystyle eta (1- эта) ^ {n-1}}$

Сумма этого ряда представляет собой коэффициент связи для графиков с фиксированным соотношением:

${displaystyle c_ {FR_ {n}} = 1- (1- эта) ^ {n}}$

Непрерывное приближение этого:

${displaystyle c_ {FR_ {n}} = 1-e ^ {- лямбда n}}$

куда ${displaystyle lambda}$ это собственная скорость распада памяти. Вставка скорости подкрепления и коэффициента связи в модель ограничения активации дает прогнозируемые скорости отклика для расписаний FR:

${displaystyle b = {frac {c.} {delta}} - {frac {n} {delta a}}}$

Это уравнение предсказывает низкие скорости отклика при низких требованиях к соотношению из-за смещения памяти из-за консумматического поведения. Однако такие низкие ставки встречаются не всегда. Связь ответов может выходить за рамки предыдущего подкрепления и дополнительного параметра, ${extstyle n_ {0}}$ добавлен в счет этого. Killeen & Sitomer (2003) показали, что коэффициент связи для графиков FR в этом случае становится:

${displaystyle c_ {FR_ {n}} = 1- (1- эта) n + n_ {0} = 1-эпсилон (1-эта) n}$

${extstyle n_ {0}}$ это количество ответов, предшествующих предыдущему подкреплению, которые вносят вклад в силу ответа. ${extstyle epsilon}$ которая колеблется от 0 до 1, тогда степень стирания целевого ответа из памяти с доставкой подкрепления. (${extstyle epsilon = (1- эта) n_ {0}}$) Если ${displaystyle epsilon = 1}$, стирание завершено, и можно использовать более простое уравнение FR.

Графики армирования с переменным соотношением

Согласно Killeen & Sitomer (2003), продолжительность ответа может влиять на скорость распада памяти. Когда продолжительность реакции варьируется внутри или между организмами, тогда необходима более полная модель, и ${displaystyle eta}$ заменяется на ${displaystyle 1-e ^ {- лямбда-дельта}}$ уступая:

${displaystyle 1-эпсилон (1-эта) дельта n = 1-эпсилон e ^ {- лямбда-дельта n}}$

Идеализированные графики переменного отношения со средним требованием отклика ${displaystyle n}$ иметь постоянную вероятность ${displaystyle 1 / n}$ ответа, заканчивающегося подкреплением (Bizo, Kettle, & Killeen, 2001). Последний ответ, заканчивающийся подкреплением, всегда должен происходить и получает усиление ${displaystyle eta}$. Предпоследний ответ происходит с вероятность ${displaystyle 1-p}$ и получает усиление ${displaystyle eta (1- эта)}$ . Сумма этого процесса до бесконечности (Killeen 2001, Приложение):

${displaystyle C (n) = sum _ {j = 1} ^ {infty} eta (1- эта) ^ {j-1} (1-p) ^ {j-1}}$^{[нужна цитата ]}

Коэффициент связи для графиков VR составляет:

${displaystyle c_ {VR_ {n}} = {frac {n} {n + {frac {(1-b)} {b}}}}}$

Умножение на степень стирания памяти дает:

${displaystyle c_ {VR_ {n}} = {frac {n} {n + epsilon {frac {(1-eta)} {eta}}}}}$

Затем коэффициент связи может быть вставлен в модель ограничения активации так же, как коэффициент связи для расписаний FR, чтобы получить прогнозируемые скорости отклика в расписаниях VR:

${displaystyle b = {frac {c_ {VR_ {n}}} {delta}} - {frac {n} {delta a}}}$

В расписаниях с интервалом функция обратной связи по расписанию

${displaystyle R = {frac {1} {t}}}$

куда ${displaystyle t}$ это минимальное среднее время между подкреплениями (Killeen, 1994). Связь в расписаниях интервалов слабее, чем в графиках соотношений, поскольку графики интервалов одинаково усиливают все ответы, предшествующие цели, а не только целевую реакцию. Только какая-то пропорция ${displaystyle ho}$ памяти укрепляется. При требовании ответа конечный целевой ответ должен иметь силу ${displaystyle eta}$. Все предыдущие ответы, целевые или нецелевые, получают усиление ${displaystyle 1- eta}$.

Графики с фиксированным временем - это простейшие графики, зависящие от времени, в которых организмы должны просто ждать t секунд, чтобы получить стимул. Киллин (1994) переосмыслил временные требования как требования реакции и интегрировал содержимое памяти от одного стимула к другому. Это дает содержимое памяти:

N

MN = lò e-lndn

0

Это степень насыщения памяти всеми ответами, как целевыми, так и нецелевыми, вызванными в контексте (Killeen, 1994). Решение этого уравнения дает коэффициент связи для графиков с фиксированным временем:

с = г (1-е-фунт)

куда ${displaystyle ho}$ - доля ответов цели в траектории реакции. Разложение в степенной ряд дает следующее приближение:

c »rlbt

1 + фунт

Это уравнение предсказывает серьезную нестабильность для внеплановых графиков армирования.

График с фиксированным интервалом гарантирует усиление целевой реакции, b = w1, поскольку подкрепление зависит от этой окончательной непрерывной реакции (Killeen, 1994). Эта связь эквивалентна соединению в расписаниях FR 1.

ш1 = б = 1-е-л.

Остальная часть связи связана с памятью о предыдущем поведении. Коэффициент связи для графиков FI составляет:

c = b + r (1-b -e-lbt).

Графики с переменным временем похожи на графики со случайным соотношением в том, что существует постоянная вероятность подкрепления, но эти подкрепления устанавливаются во времени, а не в ответах. Вероятность отсутствия подкрепления до некоторого времени t ’является экспоненциальная функция этого времени с постоянной времени t, являющейся средним IRI графика (Killeen, 1994). Чтобы получить коэффициент связи, необходимо интегрировать вероятность того, что расписание не завершится, взвешенное по содержимому памяти.

∞

M = lò e-n’t / te-ln ’dn’

0

В этом уравнении t ’= n’t, где t - малая единица времени. Киллин (1994) объясняет, что первый экспоненциальный член - это распределение подкрепления, а второй член - это взвешивание этого распределения в памяти. Решение этого интеграла и умножение на константу связи r дает степень заполнения памяти в расписаниях VT:

c = rlbt

1 + фунт

Это тот же коэффициент связи, что и у расписания FT, за исключением того, что это точное решение для расписаний VT, а не приближение. Опять же, функция обратной связи по этим внеплановым расписаниям предсказывает серьезную нестабильность реагирования.

Как и в случае расписаний FI, расписаниям с переменным интервалом гарантируется целевое соединение отклика b. Простое добавление b к уравнению VT дает:

∞

M = b + lò e-n’t / te-ln ’dn’

1

Решение интеграла и умножение на r дает коэффициент связи для графиков VI:

c = b + (1-b) rlbt

1 + фунт

Коэффициенты связи для всех расписаний вставляются в модель ограничения активации, чтобы получить прогнозируемую общую скорость отклика. Третий принцип MPR гласит, что связь между ответом и подкреплением уменьшается с увеличением времени между ними (Killeen & Sitomer, 2003).

Математические принципы подкрепления описывают, как стимулы подпитывают поведение, как его ограничивает время и как его определяют непредвиденные обстоятельства. Это общая теория подкрепления, которая сочетает в себе смежность и корреляцию как объяснительные процессы поведения. Многие ответы, предшествующие подкреплению, могут коррелировать с подкреплением, но окончательный ответ получает наибольший вес в памяти. Для трех основных принципов представлены конкретные модели, позволяющие сформулировать прогнозируемые модели реакции во многих различных ситуациях и при разных графиках подкрепления. Коэффициенты связи для каждого графика армирования выводятся и вставляются в основное уравнение для получения общих прогнозируемых скоростей отклика.

Рекомендации

Источники

• Бизо, Л. А., Чайник, Л. К. и Киллин, П. Р. (2001). «Животные не всегда быстрее реагируют на еду: парадоксальный стимулирующий эффект». Обучение и поведение животных, 29, 66-78.
• Киллин, П.Р. (1994). «Математические принципы армирования». Поведенческие науки и науки о мозге, 17, 105-172.
• Киллин П. Р., Холл С. С., Рейли М. П. и Кеттл Л. С. (2002). «Молекулярный анализ основных компонентов силы отклика». Журнал экспериментального анализа поведения, 78, 127-160.
• Киллин, П. Р., Хэнсон, С. Дж., И Осборн, С. Р. (1978). «Возбуждение: его происхождение и проявление как скорость реакции». Психологический обзор. Том 85 № 6. п. 571-81
• Киллин, П. Р. и Ситомер, М. Т. (2003). «МНР». Поведенческие процессы, 62, 49-64