Математические принципы армирования

Математические принципы подкрепления ( MPR ) представляют собой набор математических уравнений, сформулированных Питером Килином и его коллегами, которые пытаются описать и предсказать наиболее фундаментальные аспекты поведения (Киллин и Ситомер, 2003).

Три основных принципа MPR, возбуждение, ограничение и сопряжение, описывают, как стимулы мотивируют реакцию, как время ограничивает ее и как подкрепители становятся связанными с определенными реакциями, соответственно. Для этих основных принципов предоставляются математические модели , чтобы сформулировать необходимые детали фактических данных.

Первый принцип: возбуждение

Первый базовый принцип MPR — возбуждение . Возбуждение относится к активации поведения путем предъявления стимулов . Повышение уровня активности после повторных предъявлений стимулов является фундаментальным аспектом обусловливания . Киллин, Хансон и Осборн (1978) предположили, что дополнительное (или вызванное графиком) поведение — это обычно встречающиеся части репертуара организма. Предоставление стимулов увеличивает частоту дополнительного поведения , вызывая повышенный уровень общей активности или возбуждения в организмах.

Killeen & Hanson (1978) подвергали голубей однократному ежедневному представлению пищи в экспериментальной камере и измеряли общую активность в течение 15 минут после кормления. Они показали, что уровень активности слегка увеличивался непосредственно после кормления, а затем медленно снижался с течением времени. Скорость спада можно описать следующей функцией:

${\displaystyle b(t)=b_{1}\times e^{\frac {-t}{\alpha }}}$

b ₁ = y-пересечение (ответы в минуту)

t = время в секундах с момента кормления

${\displaystyle \alpha }$= постоянная времени

е = основание натурального логарифма

Временной ход всей теоретической модели общей активности моделируется следующим уравнением:

${\displaystyle R=A\times (e^{\frac {-t}{C}}-e^{\frac {-t}{I}})}$

А = возбуждение

I = временное торможение

C = конкурирующее поведение

Чтобы лучше концептуализировать эту модель, представьте, как скорость реагирования будет выглядеть с каждым из этих процессов по отдельности. При отсутствии временного торможения или конкурирующих реакций уровень возбуждения останется высоким, а скорость реагирования будет изображена в виде почти горизонтальной линии с очень небольшим отрицательным наклоном. Непосредственно после представления пищи временное торможение находится на максимальном уровне. Оно быстро уменьшается с течением времени, и можно ожидать, что скорость реагирования увеличится до уровня возбуждения за короткое время. Конкурирующее поведение, такое как отслеживание цели или осмотр бункера, находится на минимуме сразу после представления пищи. Это поведение увеличивается по мере истечения интервала, поэтому мера общей активности будет медленно уменьшаться. Вычитание этих двух кривых приводит к прогнозируемому уровню общей активности.

Киллин и др. (1978) затем увеличили частоту кормления с ежедневного до каждые фиксированные секунды. Они показали, что общий уровень активности существенно увеличился по сравнению с уровнем ежедневного предъявления. Асимптоты скорости реакции были самыми высокими для самых высоких скоростей подкрепления. Эти эксперименты показывают, что уровень возбуждения пропорционален скорости побуждения, и асимптотический уровень увеличивается при повторных предъявлениях стимулов. Увеличение уровня активности при повторных предъявлениях стимулов называется кумуляцией возбуждения. Первый принцип MPR гласит, что уровень возбуждения пропорционален скорости подкрепления , , где: ${\displaystyle A=ar}$

A = уровень возбуждения

а = специфическая активация

r = скорость подкрепления

(Киллин и Ситомер, 2003).

Второй принцип: ограничение

Очевидным, но часто упускаемым из виду фактором при анализе распределения ответов является то, что ответы не мгновенны, а требуют некоторого времени для своего возникновения (Killeen, 1994). Эти потолки скорости реакции часто объясняются конкуренцией со стороны других ответов, но реже тем фактом, что ответы не всегда могут быть вызваны с той же скоростью, с которой они были вызваны (Killeen & Sitomer, 2003). Этот ограничивающий фактор необходимо учитывать, чтобы правильно охарактеризовать, каким может быть реагирование теоретически, и каким оно будет эмпирически.

Организм может получать импульсы для реагирования с определенной скоростью. При низких скоростях подкрепления вызванная скорость и излучаемая скорость будут приблизительно равны друг другу. Однако при высоких скоростях подкрепления эта вызванная скорость подавляется количеством времени, необходимым для излучения ответа. Скорость реагирования, , обычно измеряется как количество ответов, происходящих в эпоху , деленное на продолжительность эпохи. Обратная величина дает типичную меру межреакции (IRT), среднее время от начала одной реакции до начала другой (Killeen & Sitomer, 2003). Это на самом деле время цикла, а не время между ответами. Согласно Killeen & Sitomer (2003), IRT состоит из двух подынтервалов , времени, необходимого для излучения ответа, плюс время между ответами, . Таким образом, скорость реагирования можно измерить либо путем деления количества ответов на время цикла: ${\displaystyle b}$ ${\displaystyle b}$ ${\displaystyle \delta }$ ${\displaystyle \tau }$

${\displaystyle b={\frac {1}{\delta +\tau }}}$,

или как количество ответов, деленное на фактическое время между ответами:

${\displaystyle b={\frac {1}{\tau }}}$.

Эта мгновенная скорость может быть наилучшим показателем, поскольку характер операндума может произвольно меняться в ходе эксперимента (Киллин и Ситомер, 2003). ${\displaystyle {\frac {1}{\tau }}}$

Киллин, Холл, Рейли и Кеттл (2002) показали, что если мгновенная скорость реагирования пропорциональна скорости подкрепления, то получается фундаментальное уравнение для MPR. Киллин и Ситомер (2003) показали, что: ${\displaystyle {\frac {1}{\tau }}=ar}$

если ${\displaystyle \tau =1/ar}$

затем , ${\displaystyle b={\frac {1}{(\delta +{\frac {1}{ar}})}}}$

и перестановка дает:

${\displaystyle b={\frac {r}{\delta r+{\frac {1}{a}}}}}$

Хотя ответы могут быть вызваны со скоростью, пропорциональной , они могут быть испущены только со скоростью, обусловленной ограничением. Второй принцип MPR гласит, что время, необходимое для испускания ответа, ограничивает скорость ответа (Killeen & Sitomer, 2003). ${\displaystyle A=ar}$ ${\displaystyle b}$

Третий принцип: связь

Сцепление — это последняя концепция MPR, которая связывает все процессы вместе и позволяет делать конкретные прогнозы поведения с различными графиками подкрепления. Сцепление относится к ассоциации между ответами и подкрепителями. Целевой ответ — это ответ, представляющий интерес для экспериментатора, но любой ответ может быть связан с подкрепителем. Обстоятельства подкрепления относятся к тому, как подкрепитель запланирован относительно целевой реакции (Killeen & Sitomer, 2003), и конкретные графики подкрепления фактически определяют, как ответы связаны с подкрепителем. Третий принцип MPR гласит, что степень связи между ответом и подкрепителем уменьшается с расстоянием между ними (Killeen & Sitomer, 2003). Коэффициенты сцепления , обозначенные как , даны для различных графиков подкрепления. Когда коэффициенты сцепления вставляются в модель ограничения активации, выводятся полные модели обусловливания: ${\displaystyle c}$

${\displaystyle b={\frac {c.r}{\delta r+1/a}}}$

Это фундаментальное уравнение MPR. Точка после является заполнителем для конкретных обстоятельств подкрепления, которые изучаются (Killeen & Sitomer, 2003). ${\displaystyle c}$

Графики подкрепления с фиксированным соотношением

Скорость подкрепления для графиков с фиксированным соотношением легко рассчитать, поскольку скорость подкрепления прямо пропорциональна скорости реакции и обратно пропорциональна требованию соотношения (Killeen, 1994). Таким образом, функция обратной связи графика выглядит следующим образом:

${\displaystyle r={\frac {b}{n}}}$.

Подстановка этой функции в полную модель дает уравнение движения для графиков отношений (Killeen & Sitomer, 2003). Killeen (1994, 2003) показали, что самый последний ответ в последовательности ответов взвешивается сильнее всего и ему присваивается вес , оставляя для оставшихся ответов. Предпоследний ответ получает , третий ответ получает . Ответу th back присваивается вес ${\displaystyle \beta }$ ${\displaystyle 1-\beta }$ ${\displaystyle \beta (1-\beta )}$ ${\displaystyle \beta (1-\beta )^{2}}$ ${\displaystyle n}$ ${\displaystyle \beta (1-\beta )^{n-1}}$

Сумма этого ряда представляет собой коэффициент связи для графиков с фиксированным соотношением:

${\displaystyle c_{FR_{n}}=1-(1-\beta )^{n}}$

Непрерывное приближение этого:

${\displaystyle c_{FR_{n}}=1-e^{-\lambda n}}$

где - внутренняя скорость распада памяти. Вставка скорости подкрепления и коэффициента связи в модель активации-ограничения дает прогнозируемые скорости ответа для графиков FR: ${\displaystyle \lambda }$

${\displaystyle b={\frac {c.}{\delta }}-{\frac {n}{\delta a}}}$

Это уравнение предсказывает низкие показатели ответов при низких требованиях к соотношению из-за смещения памяти консуматорным поведением. Однако эти низкие показатели не всегда обнаруживаются. Сцепление ответов может простираться за пределы предыдущего подкрепления, и для учета этого добавляется дополнительный параметр. Киллин и Ситомер (2003) показали, что коэффициент сцепления для графиков FR тогда становится: ${\textstyle n_{0}}$

${\displaystyle c_{FR_{n}}=1-(1-\beta )n+n_{0}=1-\epsilon (1-\beta )n}$

${\textstyle n_{0}}$— это количество ответов, предшествующих предыдущему подкреплению, которые вносят вклад в силу ответа. которое варьируется от 0 до 1, является степенью стирания целевого ответа из памяти при подаче подкрепления. ( ) Если , стирание полное и можно использовать более простое уравнение FR. ${\textstyle \epsilon }$ ${\textstyle \epsilon =(1-\beta )n_{0}}$ ${\displaystyle \epsilon =1}$

Графики подкрепления с переменным соотношением

Согласно Киллин и Ситомер (2003), продолжительность ответа может влиять на скорость распада памяти. Когда продолжительность ответа варьируется, как внутри организмов, так и между ними, то требуется более полная модель, и она заменяется на : ${\displaystyle \beta }$ ${\displaystyle 1-e^{-\lambda \delta }}$

${\displaystyle 1-\epsilon (1-\beta )\delta n=1-\epsilon e^{-\lambda \delta n}}$

Идеализированные графики переменного соотношения со средним требованием к ответу имеют постоянную вероятность ответа, заканчивающегося подкреплением (Bizo, Kettle, & Killeen, 2001). Последний ответ, заканчивающийся подкреплением, должен всегда происходить и получать усиление . Предпоследний ответ происходит с вероятностью и получает усиление . Сумма этого процесса до бесконечности равна (Killeen 2001, Приложение): ${\displaystyle n}$ ${\displaystyle 1/n}$ ${\displaystyle \beta }$ ${\displaystyle 1-p}$ ${\displaystyle \beta (1-\beta )}$

${\displaystyle C(n)=\sum _{j=1}^{\infty }\beta (1-\beta )^{j-1}(1-p)^{j-1}}$^{[ необходима ссылка ]}

Коэффициент связи для графиков VR в итоге получается следующим:

${\displaystyle c_{VR_{n}}={\frac {n}{n+{\frac {(1-b)}{b}}}}}$

Умножение на степень стирания памяти дает:

${\displaystyle c_{VR_{n}}={\frac {n}{n+\epsilon {\frac {(1-\beta )}{\beta }}}}}$

Затем коэффициент связи можно вставить в модель активации-ограничения так же, как коэффициент связи для графиков FR, чтобы получить прогнозируемые показатели ответа в графиках VR:

${\displaystyle b={\frac {c_{VR_{n}}}{\delta }}-{\frac {n}{\delta a}}}$

В интервальных расписаниях функция обратной связи расписания

${\displaystyle R={\frac {1}{t}}}$

где — минимальное среднее время между подкрепителями (Killeen, 1994). Сцепление в интервальных графиках слабее, чем в пропорциональных, поскольку интервальные графики одинаково усиливают все реакции, предшествующие целевому, а не только целевой ответ. Укрепляется только некоторая часть памяти. При наличии требования ответа конечный целевой ответ должен получить силу . Все предыдущие ответы, целевые или нецелевые, получают усиление . ${\displaystyle t}$ ${\displaystyle \rho }$ ${\displaystyle \beta }$ ${\displaystyle 1-\beta }$

Графики с фиксированным временем являются простейшими временными зависимостями, в которых организмы должны просто ждать t секунд для стимула. Киллин (1994) переосмыслил временные требования как требования к реакции и интегрировал содержимое памяти от одного стимула к следующему. Это дает содержимое памяти:

Н

MN= lò e-lndn

0

Это степень насыщения памяти всеми ответами, как целевыми, так и нецелевыми, полученными в контексте (Killeen, 1994). Решение этого уравнения дает коэффициент связи для фиксированных по времени графиков:

c=r(1-e-lbt)

где — доля целевых ответов в траектории ответа. Разложение в степенной ряд дает следующее приближение: ${\displaystyle \rho }$

с» рлбт

1+фунт

Это уравнение предсказывает серьезную нестабильность для необусловленных графиков подкрепления.

Графики с фиксированным интервалом гарантируют усиление целевой реакции, b=w1, поскольку подкрепление зависит от этой конечной, непрерывной реакции (Killeen, 1994). Эта связь эквивалентна связи в графиках FR 1

ш1=б=1-эл.

Оставшаяся часть сцепления обусловлена ​​памятью о предыдущем поведении. Коэффициент сцепления для графиков FI равен:

с= б + г(1- б -е-лбт).

Графики с переменным временем похожи на графики со случайным отношением в том, что существует постоянная вероятность подкрепления, но эти подкрепления устанавливаются во времени, а не в ответах. Вероятность отсутствия подкрепления до некоторого времени t' является экспоненциальной функцией этого времени, а постоянная времени t является средним IRI графика (Killeen, 1994). Чтобы вывести коэффициент связи, вероятность того, что график не закончился, взвешенная по содержимому памяти, должна быть интегрирована.

∞

M= lò e-n't/te-ln' dn'

0

В этом уравнении t'=n't, где t — малая единица времени. Киллин (1994) объясняет, что первый экспоненциальный член — это распределение подкрепления, тогда как второй член — это вес этого распределения в памяти. Решение этого интеграла и умножение на константу связи r дает степень заполнения памяти в графиках VT:

с=рлбт

1+фунт

Это тот же коэффициент связи, что и в графике FT, за исключением того, что это точное решение для графиков VT, а не приближение. И снова функция обратной связи в этих необусловленных графиках предсказывает серьезную нестабильность в реагировании.

Как и в случае с графиками FI, графики с переменным интервалом гарантируют целевую ответную связь b. Простое добавление b к уравнению VT дает:

∞

M= b+ lò e-n't/te-ln' dn'

1

Решая интеграл и умножая на r, получаем коэффициент связи для графиков VI:

с= б+(1-б) рлбт

1+фунт

Коэффициенты связи для всех графиков вставляются в модель активации-ограничения, чтобы получить прогнозируемую общую скорость реакции. Третий принцип MPR гласит, что связь между реакцией и подкреплением уменьшается с увеличением времени между ними (Killeen & Sitomer, 2003).

Математические принципы подкрепления описывают, как стимулы подпитывают поведение, как время ограничивает его и как обстоятельства направляют его. Это общая теория подкрепления, которая объединяет как смежность, так и корреляцию как объясняющие процессы поведения. Многие реакции, предшествующие подкреплению, могут коррелировать с подкрепителем, но окончательный ответ получает наибольший вес в памяти. Для трех основных принципов предоставляются конкретные модели, чтобы сформулировать прогнозируемые шаблоны реакций во многих различных ситуациях и при различных графиках подкрепления. Коэффициенты связи для каждого графика подкрепления выводятся и вставляются в фундаментальное уравнение для получения общих прогнозируемых показателей реакции.

Ссылки

Источники

• Бизо, Л.А., Кеттл, Л.С. и Киллин, П.Р. (2001). «Животные не всегда быстрее реагируют на большее количество пищи: парадоксальный эффект стимула». Animal Learning & Behavior , 29 , 66-78.
• Килин, П. Р. (1994). «Математические принципы подкрепления». Поведенческие и мозговые науки , 17 , 105-172.
• Килин, П. Р., Холл, С. С., Рейлли, М. П. и Кеттл, Л. К. (2002). «Молекулярный анализ основных компонентов силы реакции». Журнал экспериментального анализа поведения , 78 , 127-160.
• Килин, П. Р., Хансон, С. Дж. и Осборн, С. Р. (1978). «Возбуждение: его генезис и проявление как скорость реакции». Психологический обзор . Том 85 № 6. С. 571-81
• Килин, П. Р. и Ситомер, М. Т. (2003). «MPR». Поведенческие процессы , 62 , 49-64