Оперантное обусловливание , также называемое инструментальным обусловливанием , представляет собой процесс обучения, при котором произвольное поведение модифицируется путем добавления (или удаления) вознаграждения или аверсивных стимулов. Частота или продолжительность поведения может увеличиваться за счет подкрепления или уменьшаться за счет наказания или подавления .
Оперантное обусловливание возникло в работе Эдварда Торндайка , чей закон эффекта предположил, что поведение возникает в результате того, являются ли его последствия удовлетворительными или дискомфортными. В 20-м веке оперантное обусловливание изучалось психологами-бихевиористами , которые полагали, что большая часть, если не все, разума и поведения может быть объяснена результатом обусловливания окружающей среды. Подкрепления — это стимулы окружающей среды, которые усиливают поведение, тогда как наказания — это стимулы, которые уменьшают поведение. Оба вида стимулов можно разделить на положительные и отрицательные, которые соответственно включают добавление или удаление стимулов окружающей среды.
Оперантное обусловливание отличается от классического обусловливания , которое представляет собой процесс, в котором стимулы сочетаются с биологически значимыми событиями, вызывая непроизвольное и рефлексивное поведение. Напротив, оперантное обусловливание является добровольным и зависит от последствий поведения.
В изучении обучения животных в XX веке доминировал анализ этих двух видов обучения [1] , и они до сих пор лежат в основе анализа поведения. Они также были применены к изучению социальной психологии , помогая прояснить некоторые явления, такие как эффект ложного консенсуса . [2]
Оперантное обусловливание, иногда называемое инструментальным обучением , впервые было тщательно изучено Эдвардом Л. Торндайком (1874–1949), который наблюдал за поведением кошек, пытающихся сбежать из самодельных коробок с головоломками. [3] Кошка могла вырваться из коробки, просто потянув за шнур или толкнув шест, но, когда ее впервые сдерживали, кошкам требовалось много времени, чтобы выбраться. При повторных испытаниях неэффективные реакции возникали реже, а успешные — чаще, поэтому кошки убегали все быстрее и быстрее. [3] Торндайк обобщил этот вывод в своем законе эффекта , который гласит, что поведение, сопровождающееся удовлетворительными последствиями, имеет тенденцию повторяться, а поведение, приводящее к неприятным последствиям, повторяется с меньшей вероятностью. Короче говоря, некоторые последствия усиливают поведение, а некоторые последствия ослабляют поведение. Сопоставив время побега с номером испытания, Торндайк с помощью этой процедуры построил первые известные кривые обучения животных . [4]
Люди, по-видимому, учатся многим простым формам поведения посредством процесса, изученного Торндайком, который теперь называется оперантным обусловливанием. То есть реакции сохраняются, когда они приводят к успешному результату, и отбрасываются, когда они не приводят к успеху или когда они вызывают отталкивающие эффекты. Обычно это происходит без планирования со стороны какого-либо «учителя», но оперантное обусловливание использовалось родителями при обучении своих детей на протяжении тысячелетий. [5]
Б. Ф. Скиннера (1904–1990) называют отцом оперантного обусловливания, и его работы часто цитируются в связи с этой темой. Его книга 1938 года «Поведение организмов: экспериментальный анализ» [6] положила начало его непрерывному изучению оперантного обусловливания и его применения к поведению человека и животных. Следуя идеям Эрнста Маха , Скиннер отверг ссылку Торндайка на ненаблюдаемые психические состояния, такие как удовлетворение, построив свой анализ на наблюдаемом поведении и его столь же наблюдаемых последствиях. [7]
Скиннер считал, что классическая обусловленность слишком упрощена, чтобы ее можно было использовать для описания чего-то столь сложного, как человеческое поведение. По его мнению, оперантное обусловливание лучше описывает человеческое поведение, поскольку исследует причины и последствия намеренного поведения.
Чтобы реализовать свой эмпирический подход, Скиннер изобрел камеру оперантного кондиционирования , или « Ящик Скиннера », в котором такие субъекты, как голуби и крысы, были изолированы и могли подвергаться тщательно контролируемым стимулам. В отличие от коробки-головоломки Торндайка, такое расположение позволяло испытуемому дать одну или две простые, повторяемые реакции, и частота таких ответов стала основным поведенческим показателем Скиннера. [8] Другое изобретение, накопительный регистратор, создавало графическую запись, по которой можно было оценить частоту ответов. Эти записи были основными данными, которые Скиннер и его коллеги использовали для изучения влияния на скорость реакции различных схем подкрепления. [9] График подкрепления можно определить как «любую процедуру, которая доставляет подкрепление организму в соответствии с некоторым четко определенным правилом». [10] Эффекты расписания, в свою очередь, стали основными открытиями, на основе которых Скиннер разработал свою концепцию оперантного обусловливания. Он также опирался на множество менее формальных наблюдений за поведением людей и животных. [11]
Многие работы Скиннера посвящены применению оперантного обусловливания к поведению человека. [12] В 1948 году он опубликовал «Уолден-два» , вымышленный рассказ о мирном, счастливом и продуктивном сообществе, организованном на основе его принципов кондиционирования. [13] В 1957 году Скиннер опубликовал книгу «Вербальное поведение» [14] , в которой принципы оперантного обусловливания распространились на язык, форму человеческого поведения, которая ранее анализировалась лингвистами и другими людьми совершенно по-разному. Скиннер определил новые функциональные отношения, такие как «приказы» и «такты», чтобы охватить некоторые основы языка, но он не ввел никаких новых принципов, рассматривая вербальное поведение как любое другое поведение, контролируемое его последствиями, включая реакции аудитории говорящего.
Говорят, что оперантное поведение «испускается»; то есть первоначально оно не вызывается каким-либо конкретным стимулом. Таким образом, можно спросить, почему это вообще происходит. Ответ на этот вопрос подобен ответу Дарвина на вопрос о происхождении «новой» телесной структуры, а именно: изменчивости и отбора. Точно так же поведение человека меняется от момента к моменту в таких аспектах, как конкретные движения, количество приложенной силы или время реакции. Вариации, которые приводят к подкреплению, усиливаются, и если подкрепление последовательное, поведение имеет тенденцию оставаться стабильным. Однако изменчивость поведения сама по себе может быть изменена путем манипулирования определенными переменными. [15]
Подкрепление и наказание являются основными инструментами, с помощью которых модифицируется оперантное поведение. Эти термины определяются по их влиянию на поведение. И то, и другое может быть положительным или отрицательным.
Другая процедура называется «гашение».
Всего существует пять последствий.
Об актерах (например, о крысе) не говорят, что их подкрепляют, наказывают или уничтожают; именно действия подкрепляются, наказываются или подавляются. Подкрепление, наказание и угашение — это не термины, использование которых ограничено лабораторными исследованиями. Естественно возникающие последствия также могут подкреплять, наказывать или подавлять поведение и не всегда планируются или реализуются намеренно.
Графики подкрепления — это правила, которые контролируют доставку подкрепления. Правила определяют либо время, в течение которого должно быть доступно подкрепление, либо количество ответных действий, либо и то, и другое. Возможны многие правила, но следующие являются наиболее основными и часто используемыми [18] [9]
Эффективность подкрепления и наказания можно изменить.
Большинство из этих факторов выполняют биологические функции. Например, процесс насыщения помогает организму поддерживать стабильную внутреннюю среду ( гомеостаз ). Например, когда организм лишен сахара, вкус сахара является эффективным подкреплением. Когда уровень сахара в крови организма достигает оптимального уровня или превышает его, вкус сахара становится менее эффективным или даже неприятным.
Формирование — это метод кондиционирования, часто используемый при дрессировке животных и обучении невербальных людей. Это зависит от оперантной вариативности и подкрепления, как описано выше. Тренер начинает с определения желаемого конечного (или «целевого») поведения. Далее дрессировщик выбирает поведение, которое с некоторой вероятностью уже демонстрирует животное или человек. Форма этого поведения затем постепенно меняется в ходе последовательных испытаний за счет закрепления поведения, которое все более и более приближается к целевому поведению. Когда целевое поведение наконец проявляется, его можно усилить и поддерживать с помощью графика подкрепления.
Необусловленное подкрепление — это доставка подкрепляющих стимулов независимо от поведения организма. Необусловленное подкрепление может использоваться в попытке уменьшить нежелательное целевое поведение путем усиления нескольких альтернативных реакций при одновременном подавлении целевой реакции. [21] Поскольку ни одно измеряемое поведение не идентифицируется как усиленное, существуют разногласия вокруг использования термина «безусловное подкрепление». [22]
Хотя первоначально оперантное поведение проявляется без идентифицированной ссылки на конкретный стимул, во время оперантного кондиционирования операнты попадают под контроль стимулов, которые присутствуют, когда поведение подкрепляется. Такие стимулы называются «дискриминативными стимулами». Результатом является так называемое « трехчленное непредвиденное обстоятельство ». То есть дискриминационные стимулы создают повод для реакций, вызывающих вознаграждение или наказание. Пример: крысу можно научить нажимать на рычаг только тогда, когда загорается свет; собака бросается на кухню, когда слышит грохот своей сумки с едой; ребенок тянется к конфете, когда видит ее на столе.
Большая часть поведения находится под контролем стимулов. Здесь можно выделить несколько аспектов:
Большую часть поведения нелегко описать с помощью индивидуальных реакций, подкрепляемых одна за другой. Объем оперантного анализа расширяется за счет идеи поведенческих цепочек, которые представляют собой последовательности реакций, связанных между собой трехчленными непредвиденными обстоятельствами, определенными выше. Цепочка основана на экспериментально продемонстрированном факте, что дискриминационный стимул не только создает повод для последующего поведения, но также может подкрепить поведение, которое ему предшествует. То есть дискриминативный стимул также является «условным подкреплением». Например, свет, который создает повод для нажатия рычага, может использоваться для усиления «поворота» при наличии шума. В результате получается последовательность «шум – поворот – свет – нажатие рычага – питание». Гораздо более длинные цепочки можно построить, добавив больше стимулов и реакций.
При обучении бегству поведение прекращает действие (аверсивного) стимула. Например, защита глаз от солнечного света прекращает (неприятную) стимуляцию ярким светом в глазах. (Это пример отрицательного подкрепления, определенного выше.) Поведение, которое поддерживается путем предотвращения раздражителя, называется «избеганием», как, например, надевание солнцезащитных очков перед выходом на улицу. Поведение избегания порождает так называемый «парадокс избегания», поскольку, можно спросить, как может невозникновение стимула служить подкреплением? Этот вопрос рассматривается несколькими теориями избегания (см. ниже).
Обычно используются два типа экспериментальных условий: дискриминируемое и свободное обучение избеганию.
Эксперимент по избирательному избеганию включает в себя серию испытаний, в которых за нейтральным стимулом, например светом, следует аверсивный стимул, например электрошок. После появления нейтрального стимула оперантная реакция, такая как нажатие рычага, предотвращает или прекращает действие аверсивного стимула. В ранних испытаниях испытуемый не реагирует до тех пор, пока не появится аверсивный стимул, поэтому эти ранние испытания называются испытаниями «побега». По мере обучения субъект начинает реагировать на нейтральный стимул и, таким образом, предотвращает возникновение аверсивного стимула. Такие судебные процессы называются «судами по уклонению». Говорят, что этот эксперимент включает в себя классическое обусловливание, потому что нейтральный CS (условный стимул) сочетается с аверсивным US (безусловный стимул); эта идея лежит в основе двухфакторной теории обучения избеганию, описанной ниже.
При свободно-оперантном избегании субъект периодически получает аверсивный стимул (часто электрический шок), пока не будет получен оперантный ответ; реакция задерживает наступление шока. В этой ситуации, в отличие от избирательного избегания, никакой предшествующий стимул не сигнализирует о шоке. Два важнейших временных интервала определяют скорость обучения избеганию. Это первый интервал СС (шок-шок). Это время между последовательными потрясениями при отсутствии реакции. Второй интервал – это интервал RS (реакция-шок). Это определяет время, на которое оперантная реакция задерживает наступление следующего шока. Каждый раз, когда испытуемый выполняет оперантную реакцию, интервал RS без шока начинается заново.
Первоначально эта теория была предложена для объяснения обучения избирательному избеганию, при котором организм учится избегать аверсивного стимула, ускользая от сигнала этого стимула. Здесь задействованы два процесса: классическое обусловливание сигнала, за которым следует оперантное обусловливание реакции ускользания:
а) Классическая обусловленность страха. Первоначально в организме происходит сопряжение КС с аверсивным УЗ. Теория предполагает, что это сочетание создает ассоциацию между CS и США посредством классической обусловленности, и из-за аверсивной природы США CS вызывает условную эмоциональную реакцию (УЭР) – «страх». б) Подкрепление оперантного ответа за счет снижения страха. В результате первого процесса CS теперь сигнализирует о страхе; эта неприятная эмоциональная реакция служит мотивацией оперантных реакций, а реакции, прекращающие КС, подкрепляются прекращением страха. Теория не говорит, что организм «избегает» УЗ в том смысле, что он предвидит его, а скорее, что организм «избегает» аверсивного внутреннего состояния, вызванного КС. Некоторые экспериментальные результаты, похоже, противоречат двухфакторной теории. Например, поведение избегания часто угасает очень медленно, даже если первоначальное соединение CS-US больше никогда не возникает, поэтому можно ожидать, что реакция страха угаснет (см. Классическое обусловливание ). Кроме того, животные, которые научились избегать, часто проявляют мало признаков страха, что позволяет предположить, что бегство от страха не является необходимым для поддержания поведения избегания. [23]
Некоторые теоретики предполагают, что поведение избегания может быть просто особым случаем оперантного поведения, поддерживаемого его последствиями. С этой точки зрения идея «последствий» расширяется и включает в себя чувствительность к последовательности событий. Таким образом, при избегании последствием реакции является снижение частоты аверсивной стимуляции. Действительно, экспериментальные данные показывают, что «пропущенный шок» воспринимается как стимул и может действовать как подкрепление. Когнитивные теории избегания развивают эту идею еще дальше. Например, крыса начинает «ожидать» шока, если ей не удается нажать на рычаг, и «не ожидать шока», если она нажимает на него, и поведение избегания усиливается, если эти ожидания подтверждаются. [23]
Оперантное накопительство относится к наблюдению, что крысы, усиленные определенным образом, могут позволять пищевым гранулам накапливаться в лотке с едой вместо того, чтобы извлекать эти гранулы. В этой процедуре извлечение гранул всегда включало одноминутный период угасания , в течение которого дополнительных пищевых гранул не было, но те, которые были накоплены ранее, могли быть употреблены. Это открытие, по-видимому, противоречит обычному выводу о том, что крысы ведут себя импульсивно в ситуациях, когда есть выбор между меньшим пищевым объектом сразу и более крупным пищевым объектом после некоторой задержки. См. графики армирования . [24]
Первые научные исследования, идентифицирующие нейроны , которые реагировали таким образом, что предполагалось, что они кодируют условные стимулы, были проведены в работах Махлона ДеЛонга [25] [26] и Р.Т. Ричардсона. [26] Они показали, что нейроны базального ядра , которые выделяют ацетилхолин по всей коре головного мозга , активируются вскоре после условного стимула или после первичного вознаграждения, если условного стимула не существует. Эти нейроны одинаково активны в отношении положительных и отрицательных подкреплений, и было показано, что они связаны с нейропластичностью во многих областях коры . [27] Также существуют доказательства того, что дофамин активируется в аналогичное время. Имеются убедительные доказательства того, что дофамин участвует как в подкрепляющем, так и в аверсивном обучении. [28] Дофаминовые пути гораздо плотнее проецируются в области лобной коры . Холинергические проекции, напротив, плотны даже в задних областях коры, таких как первичная зрительная кора . Исследование пациентов с болезнью Паркинсона , состоянием, которое объясняется недостаточным действием дофамина, еще раз иллюстрирует роль дофамина в положительном подкреплении. [29] Оно показало, что пациенты, не принимавшие лекарства, легче обучались с неприятными последствиями, чем с положительным подкреплением. Пациенты, принимавшие лекарства, показали обратное: положительное подкрепление оказалось более эффективной формой обучения при высокой активности дофамина.
Предполагается, что в основе подкрепления лежит нейрохимический процесс с участием дофамина. Когда организм испытывает усиливающий стимул, активируются дофаминовые пути в мозге. Эта сеть путей «выпускает короткий импульс дофамина во многие дендриты , передавая таким образом глобальный сигнал подкрепления постсинаптическим нейронам ». [30] Это позволяет недавно активированным синапсам повысить свою чувствительность к эфферентным (проводящим наружу) сигналам, тем самым увеличивая вероятность возникновения недавних ответов, которые предшествовали подкреплению. По статистике, эти реакции с наибольшей вероятностью были поведением, ответственным за успешное достижение подкрепления. Но когда применение подкрепления менее немедленное или менее случайное (менее последовательное), способность дофамина воздействовать на соответствующие синапсы снижается.
Ряд наблюдений, кажется, показывает, что оперантное поведение может быть установлено без подкрепления в смысле, определенном выше. Чаще всего упоминается феномен автоформирования ( иногда называемый «отслеживанием знаков»), при котором за стимулом неоднократно следует подкрепление, и, как следствие, животное начинает реагировать на стимул. Например, загорается клавиша ответа, а затем подается еда. Когда это повторяется несколько раз, голубь начинает клевать ключ, хотя еда приходит независимо от того, клюет птица или нет. Аналогичным образом крысы начинают брать в руки небольшие предметы, например, рычаг, когда рядом находится еда. [31] [32] Поразительно, но голуби и крысы продолжают вести себя так, даже когда клевание ключа или нажатие рычага приводит к меньшему количеству еды (тренировка бездействия). [33] [34] Еще одним очевидным оперантным поведением, которое проявляется без подкрепления, является контрнагрузка .
Эти и другие наблюдения, по-видимому, противоречат закону эффекта и побудили некоторых исследователей предложить новые концепции оперантного подкрепления (например, [35] [36] [37] ). Более общая точка зрения состоит в том, что автоформирование является примером классического обусловливания . ; процедура автоформирования фактически стала одним из наиболее распространенных способов измерения классической обусловленности. С этой точки зрения, на многие виды поведения могут влиять как классические непредвиденные обстоятельства (стимул-реакция), так и оперантные непредвиденные обстоятельства (реакция-подкрепление), и задача экспериментатора состоит в том, чтобы выяснить, как они взаимодействуют. [38]
Подкрепление и наказание повсеместно используются в социальных взаимодействиях людей, и было предложено и реализовано очень много применений оперантных принципов. Ниже приведены некоторые примеры.
Позитивное и негативное подкрепление играют центральную роль в развитии и поддержании зависимости и наркотической зависимости . Наркотик, вызывающий привыкание, по своей сути приносит пользу ; то есть он действует как первичное положительное подкрепление употребления наркотиков. Система вознаграждения мозга придает ему значимость стимула (т. е. он «желателен» или «желателен»), [39] [40] [41] , поэтому по мере развития зависимости лишение наркотика приводит к тяге. Кроме того, стимулы, связанные с употреблением наркотиков – например, вид шприца и место употребления – становятся ассоциированными с интенсивным подкреплением, вызываемым наркотиком. [39] [40] [41] Эти ранее нейтральные стимулы приобретают несколько свойств: их появление может вызвать тягу к еде, и они могут стать условным положительным подкреплением дальнейшего использования. [39] [40] [41] Таким образом, если зависимый человек сталкивается с одним из этих сигналов о наркотике, тяга к соответствующему наркотику может появиться снова. Например, агентства по борьбе с наркотиками ранее использовали плакаты с изображениями принадлежностей для употребления наркотиков , пытаясь показать опасность употребления наркотиков. Однако такие плакаты больше не используются из-за эффекта заметности стимулов, вызывающего рецидив при виде стимулов, изображенных на плакатах.
У лиц с наркотической зависимостью негативное подкрепление происходит, когда препарат принимается самостоятельно с целью облегчить или «избежать» симптомов физической зависимости (например, тремора и потливости) и/или психологической зависимости (например, ангедонии , беспокойства, раздражительности и тревожность), возникающие в состоянии отмены препарата . [39]
Дрессировщики и владельцы домашних животных применяли принципы и методы оперантного обусловливания задолго до того, как эти идеи были названы и изучены, и дрессировка животных до сих пор представляет собой один из самых ярких и убедительных примеров оперантного контроля. Из концепций и процедур, описанных в этой статье, наиболее важными являются следующие: (а) наличие первичного подкрепления (например, пакета вкусняшек для собак); (б) использование вторичного подкрепления (например, воспроизведение кликера сразу после желаемой реакции, а затем предоставление вкусняшки); (в) непредвиденные обстоятельства, гарантирующие, что подкрепление (например, кликер) следует желаемому поведению, а не чему-то другому; (г) формирование, например, постепенное принуждение собаки прыгать все выше и выше; (д) прерывистое подкрепление, например, постепенное уменьшение частоты подкрепления, чтобы вызвать устойчивое поведение без насыщения; (е) цепочка, когда сложное поведение постепенно строится из более мелких частей. [42]
Пример дрессировки животных из Морского мира, связанной с оперантным обусловливанием [43]
Дрессировка животных влияет на положительное и отрицательное подкрепление. График подкрепления может сыграть большую роль в дрессировке животных. [ нужна цитата ]
Прикладной анализ поведения — это дисциплина, основанная Б. Ф. Скиннером , которая применяет принципы обусловленности к модификации социально значимого человеческого поведения. Он использует основные понятия теории обусловленности, включая условный раздражитель (SC ) , различительный стимул (Sd ) , реакцию (R) и подкрепляющий стимул (S rein или S r для подкреплений, иногда S для аверсивных стимулов). [23]
Практики прикладного поведенческого анализа (ABA) применяют эти процедуры, а также множество их вариаций и разработок для решения различных социально значимых моделей поведения и проблем. Во многих случаях практикующие врачи используют оперантные техники для развития конструктивного, социально приемлемого поведения взамен аномального поведения. Методы ABA эффективно применяются в таких областях, как раннее интенсивное поведенческое вмешательство для детей с расстройствами аутистического спектра (РАС) [44], исследование принципов, влияющих на преступное поведение , профилактика ВИЧ, [45] сохранение природных ресурсов, [ 46] образование, [47] геронтология , [48] здоровье и физические упражнения , [49] промышленная безопасность , [50] освоение языка , [51] мусор, [52] медицинские процедуры , [53] воспитание детей, [54] психотерапия , [ необходима ссылка ] использование ремней безопасности, [55] тяжелые психические расстройства , [56] спорт, [57] злоупотребление психоактивными веществами , фобии , расстройства кормления у детей, а также управление зоопарками и уход за животными . [58] Некоторые из этих приложений входят в число описанных ниже.
Обеспечение положительного подкрепления за соответствующее поведение ребенка является основным направлением обучения родителей управлению. Обычно родители учатся вознаграждать соответствующее поведение с помощью социальных вознаграждений (таких как похвала, улыбки и объятия), а также конкретных наград (например, наклеек или указаний на более крупную награду в рамках системы стимулирования, созданной совместно с ребенком). [59] Кроме того, родители учатся выбирать простое поведение в качестве первоначального фокуса и вознаграждать каждый маленький шаг, который их ребенок делает на пути к достижению более крупной цели (эта концепция называется «последовательными приближениями»). [59] [60]
И психологи, и экономисты заинтересовались применением оперантных концепций и результатов к поведению людей на рынке. Примером может служить анализ потребительского спроса, индексируемого по количеству приобретаемого товара. В экономике степень влияния цены на потребление называется «ценовой эластичностью спроса». Некоторые товары более эластичны, чем другие; например, изменение цен на определенные продукты питания может сильно повлиять на объем покупок, в то время как бензин и другие повседневные расходные материалы могут меньше зависеть от изменений цен. С точки зрения оперантного анализа такие эффекты можно интерпретировать с точки зрения мотивации потребителей и относительной ценности товаров в качестве подкрепления. [61]
Как говорилось ранее в этой статье, график с переменным соотношением дает подкрепление после подачи непредсказуемого количества ответов. Такой график обычно обеспечивает быстрое и настойчивое реагирование. Игровые автоматы окупаются по графику с переменным соотношением, и они вызывают у игроков именно такое постоянное поведение, связанное с использованием рычагов. Переменное соотношение выигрышей от игровых автоматов и других форм азартных игр часто называют фактором, лежащим в основе игровой зависимости. [62]
Люди обладают врожденной устойчивостью к убийству и неохотно действуют напрямую и агрессивно по отношению к представителям своего вида, даже ради спасения жизни. Это сопротивление убийствам привело к тому, что пехота стала крайне неэффективной на протяжении всей истории военных войн. [63]
Это явление не было понято до тех пор, пока Маршалл SLA (бригадный генерал и военный историк) не провел исследование интервью с пехотой Второй мировой войны сразу после боевого боя. В известной и неоднозначной книге Маршалла «Люди против огня» показано, что только 15% солдат стреляли из винтовок с целью убийства в бою. [64] После того, как исследования Маршалла были приняты армией США в 1946 году, Отдел исследований человеческих ресурсов армии США начал внедрять новые протоколы обучения, которые напоминают методы оперантного кондиционирования. Последующее применение таких методов увеличило процент солдат, способных убивать, примерно до 50% в Корее и более 90% во Вьетнаме. [63] Революция в обучении включала замену традиционных выдвижных стрельбищ трехмерными всплывающими мишенями в форме человека, которые разрушались при попадании в них. Это обеспечивало немедленную обратную связь и действовало как положительное подкрепление поведения солдата. [65] Другие усовершенствования в методах военной подготовки включали курс стрельбы на время; более реалистичное обучение; большое количество повторений; похвала от начальства; награды за меткую стрельбу; и групповое признание. Негативное подкрепление включает подотчетность коллег или требование перепройти курсы. Современная военная подготовка обусловливает реакцию среднего мозга на боевое давление путем точного моделирования реального боя, используя в основном классическое обусловливание Павлова и оперантное обусловливание Скиннера (обе формы бихевиоризма ). [63]
Современная тренировка по стрельбе является настолько прекрасным примером бихевиоризма, что она уже много лет используется во вводном курсе психологии, который преподают всем курсантам Военной академии США в Вест-Пойнте, как классический пример оперантного обусловливания. В 1980-х годах во время визита в Вест-Пойнт Б. Ф. Скиннер определил, что современные военные тренировки по стрельбе являются почти идеальным применением оперантного обусловливания. [65]
Подполковник Дэйв Гроссман утверждает об оперантном обусловливании и военной подготовке США следующее:
Вполне возможно, что никто намеренно не сел за использование методов оперантного обусловливания или модификации поведения для обучения солдат в этой области… Но с точки зрения психолога, который также является историком и кадровым военным, для меня становится все более очевидным, что именно это и было достигнуто. [63]
Теория подталкивания (или подталкивания) — это концепция в поведенческой науке , политической теории и экономике , которая утверждает, что косвенные предложения, направленные на достижение ненасильственного подчинения , могут влиять на мотивы, стимулы и принятие решений группами и отдельными людьми, по крайней мере, так же эффективно — если не более эффективно, чем прямое указание, законодательство или правоприменение. [ нужна цитата ]
Концепция похвалы как средства поведенческого подкрепления коренится в модели оперантного обусловливания Б. Ф. Скиннера. С этой точки зрения похвала рассматривается как средство положительного подкрепления, при котором наблюдаемое поведение становится более вероятным за счет условной похвалы такого поведения. [66] Сотни исследований продемонстрировали эффективность похвалы в поощрении позитивного поведения, особенно в изучении того, как учителя и родители используют похвалу в отношении ребенка для улучшения поведения и успеваемости, [67] [68] , а также в изучении производительность труда. [69] Также было продемонстрировано, что похвала усиливает позитивное поведение у нехваленных соседей (например, одноклассника получателя похвалы) посредством косвенного подкрепления. [70] Похвала может быть более или менее эффективной для изменения поведения в зависимости от ее формы, содержания и подачи. Для того чтобы похвала привела к позитивному изменению поведения, она должна быть обусловлена позитивным поведением (т. е. применяться только после того, как было реализовано целевое поведение), должна указывать детали поведения, которое необходимо подкрепить, и должна произноситься искренне и искренне. достоверно. [71]
Признавая эффект похвалы как стратегии положительного подкрепления, многочисленные поведенческие и когнитивно-поведенческие вмешательства включили использование похвалы в свои протоколы. [72] [73] Стратегическое использование похвалы признано научно обоснованной практикой как в управлении классом [72], так и в мероприятиях по обучению родителей, [68] хотя в исследованиях вмешательства похвала часто относится к более широкой категории положительного подкрепления, который включает в себя такие стратегии, как стратегическое внимание и поведенческое вознаграждение.
Было проведено несколько исследований влияния когнитивно-поведенческой терапии и оперантно-поведенческой терапии на различные заболевания. Когда пациенты разработали когнитивные и поведенческие методы, которые изменили их поведение, отношение и эмоции; выраженность боли уменьшилась. Результаты этих исследований показали влияние когнитивных функций на восприятие боли, а представленное влияние объяснило общую эффективность когнитивно-поведенческой терапии (КПТ) и оперантно-поведенческой терапии (ОБТ). [ нужна цитата ]
Большинство [ нужна ссылка ] видеоигр построены на цикле принуждения , добавляя своего рода положительное подкрепление через график переменной скорости , чтобы игрок продолжал играть. Это может привести к патологии зависимости от видеоигр . [74]
В рамках тенденции монетизации видеоигр в 2010-х годах некоторые игры предлагали лутбоксы в качестве награды или предметов, которые можно было купить за реальные деньги. Коробки содержат случайный набор игровых предметов. Эта практика связана с теми же методами, которыми выдают вознаграждения игровые автоматы и другие игровые устройства, поскольку она следует графику переменных ставок. Несмотря на общее мнение, что лутбоксы являются формой азартной игры, эта практика классифицируется как таковая лишь в нескольких странах. Однако методы использования этих предметов в качестве виртуальной валюты для онлайн-азартных игр или торговли на реальные деньги создали рынок скин-гемблинга , который находится на стадии юридической оценки. [75]
Одной из многих причин, объясняющих огромные расходы, связанные со здравоохранением, является практика защитной медицины. Прабху просматривает статью Коула и обсуждает, почему реакции двух групп нейрохирургов представляют собой классическое оперантное поведение. Одна группа практикует в штате с ограничениями на медицинские иски, а другая — без ограничений. Группу нейрохирургов анонимно опросили об их практике. Врачи изменили свою практику в ответ на отрицательный отзыв (страх перед судебным иском) в группе, которая практиковала в штате, где нет ограничений на медицинские иски. [76]
Награды в оперантном обусловливании являются положительным подкреплением.
... Оперантное поведение дает хорошее определение вознаграждения.
Все, что заставляет человека возвращаться и требовать большего, является положительным подкреплением и, следовательно, наградой.
Хотя положительное подкрепление дает хорошее определение, оно является лишь одной из нескольких функций вознаграждения.
... Награды привлекательны.
Они мотивируют и заставляют нас прилагать усилия.
... Награды стимулируют подходящее поведение, также называемое аппетитным или подготовительным поведением, и завершающее поведение.
... Таким образом, любой стимул, объект, событие, деятельность или ситуация, которая потенциально может заставить нас приблизиться и поглотить его, по определению является наградой.
Вещества, которыми злоупотребляют (от алкоголя до психостимуляторов), первоначально употребляются регулярно в соответствии с их положительными подкрепляющими свойствами. Важно отметить, что неоднократное воздействие полезных веществ запускает цепочку вторичных подкрепляющих событий, в результате чего сигналы и контексты, связанные с употреблением наркотиков, сами могут стать подкрепляющими и тем самым способствовать продолжению употребления и возможному злоупотреблению выбранными веществами. ...
Важным аспектом подкрепления, имеющим большое значение для процесса зависимости (и особенно рецидива), является вторичное подкрепление (Stewart, 1992). Вторичные подкрепления (во многих случаях также рассматриваемые как условные подкрепления), вероятно, управляют большинством процессов подкрепления у людей. В конкретном случае наркотической [зависимости] сигналы и контексты, которые тесно и неоднократно связаны с употреблением наркотиков, часто сами по себе становятся подкрепляющими... Фундаментальная часть теории зависимости Робинсона и Берриджа о стимулировании и сенсибилизации утверждает, что стимулирующая ценность или привлекательная Природа таких процессов вторичного подкрепления, помимо самих первичных подкреплений, может сохраняться и даже становиться сенсибилизированной с течением времени в связи с развитием наркозависимости (Robinson and Berridge, 1993). ...
Негативное подкрепление — это особое состояние, связанное с усилением поведенческих реакций, которые прекращают действие некоторого продолжающегося (предположительно аверсивного) стимула. В этом случае мы можем определить негативное подкрепление как мотивационный стимул, который усиливает такую реакцию «побега». Исторически, что касается наркозависимости, это явление постоянно наблюдалось у людей, когда наркотики употреблялись самостоятельно для удовлетворения мотивационной потребности в состоянии абстиненции (Wikler, 1952).
{{cite book}}: |journal=игнорируется ( помощь )Когда Павловскому CS+ приписывается стимулирующая значимость, это не только вызывает «желание» его UCS, но часто сам сигнал становится очень привлекательным – даже до иррациональной степени.
Эта привлекательность сигнала — еще одна характерная черта значимости стимула.
На CS становится трудно не смотреть (Wiers & Stacy, 2006; Hickey et al., 2010a; Piech et al., 2010; Anderson et al., 2011).
CS даже приобретает некоторые стимулирующие свойства, аналогичные UCS.
Привлекательный КС часто вызывает поведенчески мотивированный подход, а иногда человек может даже попытаться «потребить» КС в некотором роде как его UCS (например, есть, пить, курить, заниматься сексом, принимать как наркотик).
«Желание» CS может также превратить ранее нейтральный стимул в инструментальное условное подкрепление, так что человек будет работать над получением сигнала (однако существуют и альтернативные психологические механизмы для условного подкрепления).
Важная цель нейробиологии зависимостей в будущем — понять, как интенсивная мотивация становится узко сфокусированной на конкретной цели.
Предполагается, что зависимость отчасти возникает из-за чрезмерной выраженности стимулов, создаваемых сенсибилизированными или гиперреактивными дофаминовыми системами, которые вызывают сильное «желание» (Robinson and Berridge, 1993).
Но почему одна цель становится более «желанной», чем все остальные, до конца не объяснено.
У наркоманов или пациентов, получающих агонистическую стимуляцию, повторение выраженной стимулирующей стимуляции дофамином объясняется определенными индивидуализированными занятиями, такими как прием препарата, вызывающего привыкание, или определенные навязчивые действия.
В ситуациях с вознаграждением по Павлову некоторые сигналы вознаграждения становятся более «желанными» больше, чем другие, как мощные мотивационные магниты, причем у разных людей эти сигналы различаются (Robinson et al., 2014b; Saunders and Robinson, 2013).
... Однако гедонистический эффект вполне может со временем измениться.
Поскольку препарат принимался неоднократно, у восприимчивых людей могла возникнуть мезолимбическая дофаминергическая сенсибилизация, усиливающая «желание» (Leyton and Vezina, 2013; Lodge and Grace, 2011; Wolf and Ferrario, 2010), даже если опиоидные гедонические механизмы подверглись негативной регуляции. из-за постоянной лекарственной стимуляции, вызывающей «любящую» толерантность.
Стимулирующая сенсибилизация может вызвать зависимость, избирательно усиливая вызванное сигналом «желание» снова принять наркотик, и таким образом мощно вызвать мотивацию, даже если наркотик станет менее приятным (Robinson and Berridge, 1993).
