Модель Рескорлы–Вагнера

Модель Рескорлы –Вагнера (« RW ») — это модель классического обусловливания , в которой обучение концептуализируется в терминах ассоциаций между условными (CS) и безусловными (US) стимулами. Сильная ассоциация CS-US означает, что сигналы CS предсказывают US. Можно сказать, что до обусловливания субъект удивлен US, но после обусловливания субъект больше не удивлен, потому что CS предсказывает появление US. Модель разбивает процессы обусловливания на отдельные испытания, во время которых стимулы могут как присутствовать, так и отсутствовать. Сила предсказания US в испытании может быть представлена как суммированная ассоциативная сила всех CS, присутствующих во время испытания. Эта особенность модели представляла собой значительный прогресс по сравнению с предыдущими моделями, и она позволила прямо объяснить важные экспериментальные явления, в частности, эффект блокирования . Неудачи модели привели к модификациям, альтернативным моделям и многим дополнительным открытиям. В последние годы эта модель оказала определенное влияние на нейронауку, поскольку исследования показали, что фазовая активность дофаминовых нейронов в мезостриарных проекциях DA в среднем мозге кодирует тип ошибки прогнозирования, подробно описанный в модели. ^[1]

Модель Рескорлы–Вагнера была создана психологами Йельского университета Робертом А. Рескорлой и Алланом Р. Вагнером в 1972 году.

Основные положения модели

Изменение в ассоциации между CS и US, которое происходит, когда они спарены, зависит от того, насколько сильно US предсказывается в этом испытании - то есть, неформально, насколько "удивлен" организм US. Величина этого "удивления" зависит от суммарной ассоциативной силы всех сигналов, присутствующих во время этого испытания. Напротив, предыдущие модели выводили изменение ассоциативной силы только из текущего значения CS.
Ассоциативная сила CS представлена одним числом. Ассоциация возбуждающая, если число положительное, и тормозная, если отрицательное.
Ассоциативная сила стимула напрямую выражается в поведении, которое он вызывает/подавляет.
Выраженность CS (альфа в уравнении) и сила US (бета) являются константами и не изменяются в процессе обучения .
Только текущая ассоциативная сила сигнала определяет его влияние на поведение и объем обучения, который он поддерживает. Неважно, как было получено это значение силы, путем простого обусловливания, повторного обусловливания или иным образом.

Первые два предположения были новыми в модели Рескорлы–Вагнера. Последние три предположения присутствовали в предыдущих моделях и менее важны для новых предсказаний модели RW.

Уравнение

\Delta V_{X}^{n+1}=\alpha _{X}\beta (\lambda -V_{\mathrm {tot} })

V_{X}^{n+1}=V_{X}^{n}+\Дельта V_{X}^{n+1}

где

$\Delta V_{X}$ это изменение силы связи между CS, обозначенным как «X», и US в ходе одного испытания
$\альфа$ это заметность X (ограниченная 0 и 1)
$\бета$ параметр ставки для США (ограниченный 0 и 1), иногда называемый его ассоциативным значением
$\лямбда$ максимально возможная кондиция для США
$V_{X}$ текущая ассоциативная сила X
$V_{\mathrm {tot} }$ это общая ассоциативная сила всех присутствующих стимулов, то есть X плюс любые другие

^[2]

Пересмотренная модель RW Ван Хамме и Вассермана (1994)

Ван Хамме и Вассерман расширили исходную модель Рескорлы–Вагнера (RW) и ввели новый фактор в свою пересмотренную модель RW в 1994 году: ^[3] Они предположили, что не только условные стимулы, физически присутствующие в данном испытании, могут претерпевать изменения в своей ассоциативной силе, ассоциативное значение CS также может быть изменено внутри-составной ассоциацией с CS, присутствующим в этом испытании. Внутри-составная ассоциация устанавливается, если два CS предъявляются вместе во время обучения (составной стимул). Если один из двух компонентов CS впоследствии предъявляется отдельно, то предполагается, что он также активирует представление другого (ранее парного) CS. Ван Хамме и Вассерман предполагают, что стимулы, косвенно активированные через внутри-составные ассоциации, имеют отрицательный параметр обучения — таким образом, можно объяснить явления ретроспективной переоценки.

Рассмотрим следующий пример экспериментальной парадигмы, называемой «обратной блокировкой», указывающей на ретроспективную переоценку, где AB — это составной стимул A+B:

Фаза 1: AB–US
Фаза 2: A–US

Тестовые испытания: Группа 1, которая получила испытания фазы 1 и фазы 2, вызывает более слабую условную реакцию (CR) на B по сравнению с контрольной группой, которая получила только испытания фазы 1.

Первоначальная модель RW не может объяснить этот эффект. Но пересмотренная модель может: в Фазе 2 стимул B косвенно активируется через внутрикомплексную ассоциацию с A. Но вместо положительного параметра обучения (обычно называемого альфа) при физическом присутствии во время Фазы 2 у B есть отрицательный параметр обучения. Таким образом, во время второй фазы ассоциативная сила B снижается, тогда как значение A увеличивается из-за его положительного параметра обучения.

Таким образом, пересмотренная модель RW может объяснить, почему CR, вызванный B после обучения обратной блокировкой, слабее по сравнению с обусловливанием только AB.

Некоторые недостатки модели RW

Спонтанное восстановление после угасания и восстановление после угасания, вызванного напоминанием (восстановление): Это хорошо известное наблюдение, что интервал тайм-аута после завершения угасания приводит к частичному восстановлению после угасания, т. е. ранее угасшая реакция или ответ возобновляются, но обычно на более низком уровне, чем до обучения угасанию. Восстановление относится к явлению, когда воздействие США только от обучения после завершения угасания приводит к частичному восстановлению после угасания. Модель RW не может объяснить эти явления.

Угасание ранее обусловленного ингибитора: Модель RW предсказывает, что повторное предъявление только условного ингибитора (CS с отрицательной ассоциативной силой) приводит к угасанию этого стимула (снижению его отрицательной ассоциативной ценности). Это ложное предсказание. Напротив, эксперименты показывают, что повторное предъявление только условного ингибитора даже увеличивает его ингибирующий потенциал

Облегченное повторное приобретение после вымирания: Одно из предположений модели заключается в том, что история обусловливания CS не оказывает никакого влияния на его нынешний статус — важна только его текущая ассоциативная ценность. Вопреки этому предположению, многие эксперименты ^[4] показывают, что стимулы, которые были сначала обусловлены, а затем погашены, легче восстанавливаются (т. е. для обусловливания требуется меньше попыток).

Исключительность возбуждения и торможения: Модель RW также предполагает, что возбуждение и торможение являются противоположными свойствами. Стимул может иметь либо возбуждающий потенциал (положительная ассоциативная сила), либо тормозной потенциал (отрицательная ассоциативная сила), но не оба сразу. Напротив, иногда наблюдается, что стимулы могут иметь оба качества. Одним из примеров является обратное возбуждающее обусловливание , в котором CS обратно сочетается с US (US–CS вместо CS–US). Это обычно заставляет CS становиться условным возбудителем. Стимул также имеет тормозные свойства, которые могут быть доказаны тестом на замедление приобретения. Этот тест используется для оценки тормозного потенциала стимула, поскольку наблюдается, что возбуждающее обусловливание с ранее обусловленным ингибитором замедляется. Обратно обусловленный стимул проходит этот тест и, таким образом, кажется, имеет как возбуждающие, так и тормозные свойства.

Сочетание нового стимула с условным ингибитором: Предполагается, что условный ингибитор имеет отрицательное ассоциативное значение. При предъявлении ингибитору нового стимула (т. е. его ассоциативная сила равна нулю) модель предсказывает, что новый сигнал должен стать условным возбудителем. В экспериментальных ситуациях это не так. Предсказания модели вытекают из ее основного термина (лямбда-V). Поскольку суммарная ассоциативная сила всех стимулов (V), присутствующих в испытании, отрицательна (ноль + ингибирующий потенциал), а лямбда равна нулю (US отсутствует), результирующее изменение ассоциативной силы положительно, таким образом делая новый сигнал условным возбудителем.

CS-эффект предварительной экспозиции: Эффект предварительного воздействия CS (также называемый латентным торможением ) — это хорошо известное наблюдение, что обусловливание после воздействия стимула, который позже используется в качестве CS в обусловливании, замедляется. Модель RW не предсказывает никакого эффекта предъявления нового стимула без US.

Обусловливание высшего порядка: При более высоком порядке обусловливания ранее обусловленный CS сочетается с новым сигналом (то есть сначала CS1–US, затем CS2–CS1). Это обычно заставляет новый сигнал CS2 вызывать реакции, похожие на CS1. Модель не может объяснить это явление, поскольку во время испытаний CS2–CS1 US отсутствует. Но, позволяя CS1 действовать аналогично US, можно примирить модель с этим эффектом.

Сенсорная предварительная подготовка: Сенсорное предварительное обусловливание относится к первому сопряжению двух новых сигналов (CS1–CS2), а затем сопряжению одного из них с US (CS2–US). Это превращает CS1 и CS2 в условные возбудители. Модель RW не может этого объяснить, поскольку во время фазы CS1–CS2 оба стимула имеют ассоциативное значение, равное нулю, и лямбда также равна нулю (US отсутствует), что не приводит к изменению ассоциативной силы стимулов.

Успех и популярность

Модель Рескорлы–Вагнера обязана своим успехом нескольким факторам, включая ^[2]

имеет относительно мало свободных параметров и независимых переменных
он может генерировать четкие и порядковые предсказания
он сделал ряд успешных предсказаний
Описанная в таких терминах, как «предсказание» и «сюрприз», модель имеет интуитивную привлекательность.
это породило множество исследований, в том числе множество новых открытий и альтернативных теорий

Ссылки

^ Хейзи, Томас Э.; Фрэнк, Майкл Дж.; О'Рейли, Рэндалл К. (2010-04-01). «Нейронные механизмы, поддерживающие приобретенные фазовые дофаминовые реакции в обучении: интегративный синтез». Neuroscience and Biobehavioral Reviews . 34 (5): 701–720. doi :10.1016/j.neubiorev.2009.11.019. ISSN 0149-7634. PMC 2839018. PMID 19944716 .
^ ab Miller, Ralph R.; Barnet, Robert C.; Grahame, Nicholas J. (1995). «Оценка модели Рескорлы-Вагнера» (PDF) . Psychological Bulletin . 117 (3). Американская психологическая ассоциация: 363–386. doi :10.1037/0033-2909.117.3.363. PMID 7777644.
^ Van Hamme, LJ; Wasserman, EA (1994). "Конкуренция сигналов в суждениях о причинности: роль непредставления составных стимульных элементов" (PDF) . Обучение и мотивация . 25 (2): 127–151. doi :10.1006/lmot.1994.1008. Архивировано из оригинала (PDF) 2014-04-07.
^ Napier, RM; Macrae, M.; Kehoe, EJ (1992). «Быстрое повторное приобретение навыков при кондиционировании реакции мигательной мембраны кролика». Журнал экспериментальной психологии: процессы поведения животных . 18 (2): 182–192. doi :10.1037/0097-7403.18.2.182.

Рескорла, РА и Вагнер, АР (1972) Теория павловского обусловливания: вариации в эффективности подкрепления и неподкрепления, Классическое обусловливание II, под ред. AH Black и WF Prokasy, стр. 64–99. Appleton-Century-Crofts.

Внешние ссылки

Scholarpedia Модель Рескорлы–Вагнера
Симулятор RW Симулятор модели Рескорла-Вагнера
Симулятор Рескорлы-Вагнера в браузере
Симулятор с дизайном