Внешняя валидность — это валидность применения выводов научного исследования вне контекста этого исследования. [1] Другими словами, это степень, в которой результаты исследования можно обобщить или перенести на другие ситуации, людей, стимулы и времена. [2] [3] Обобщаемость относится к применимости предопределенной выборки к более широкой популяции, тогда как транспортабельность относится к применимости одной выборки к другой целевой популяции. [2] Напротив, внутренняя валидность — это валидность выводов, сделанных в контексте конкретного исследования.
Математический анализ внешней валидности касается определения того, возможно ли обобщение на гетерогенные популяции, а также разработки статистических и вычислительных методов, которые производят валидные обобщения. [4]
При установлении внешней валидности ученые стремятся определить «область» исследования, которая относится к применимости или ограничениям теории или аргумента исследования. [2] Это влечет за собой определение выборки исследования и более широкой совокупности, которую представляет выборка. [2]
«Угроза внешней валидности — это объяснение того, как вы можете ошибаться, делая обобщение на основе результатов конкретного исследования». [5] В большинстве случаев обобщаемость ограничена, когда влияние одного фактора (т. е. независимой переменной ) зависит от других факторов. Поэтому все угрозы внешней валидности можно описать как статистические взаимодействия . [6] Вот некоторые примеры:
Обратите внимание, что внешняя валидность исследования ограничена его внутренней валидностью. Если причинно-следственный вывод, сделанный в рамках исследования, недействителен, то обобщения этого вывода на другие контексты также будут недействительными.
Кук и Кэмпбелл [7] провели принципиальное различие между обобщением на некоторую популяцию и обобщением по субпопуляциям, определяемым различными уровнями некоторого фонового фактора. Линч утверждал, что почти никогда невозможно обобщить на значимые популяции, за исключением моментального снимка истории, но можно проверить степень, в которой эффект некоторой причины на некоторую зависимую переменную обобщается по субпопуляциям, которые различаются по некоторому фоновому фактору. Это требует проверки того, смягчается ли исследуемый эффект лечения взаимодействиями с одним или несколькими фоновыми факторами. [6] [8]
В то время как перечисление угроз валидности может помочь исследователям избежать необоснованных обобщений, многие из этих угроз могут быть обезврежены или нейтрализованы систематическим образом, чтобы сделать возможным валидное обобщение. В частности, экспериментальные результаты из одной популяции могут быть «переработаны» или «перекалиброваны», чтобы обойти различия в популяции и произвести валидные обобщения во второй популяции, где эксперименты не могут быть выполнены. Перл и Барейнбойм [4] классифицировали проблемы генерализации на две категории: (1) те, которые поддаются валидной перекалибровке, и (2) те, где внешняя валидность теоретически невозможна. Используя графовое исчисление причинного вывода , [9] они вывели необходимое и достаточное условие для экземпляра проблемы, чтобы сделать возможным валидное обобщение, и разработали алгоритмы, которые автоматически производят необходимую перекалибровку, когда таковая существует. [10] Это сводит проблему внешней валидности к упражнению в теории графов и привело некоторых философов к выводу, что проблема теперь решена. [11]
Важный вариант проблемы внешней валидности касается смещения отбора , также известного как смещение выборки — то есть смещения, возникающего, когда исследования проводятся на нерепрезентативных выборках предполагаемой популяции. Например, если клиническое испытание проводится на студентах колледжа, исследователь может захотеть узнать, обобщаются ли результаты на всю популяцию, где такие атрибуты, как возраст, образование и доход, существенно отличаются от атрибутов типичного студента. Графический метод Барейнбойма и Перла определяет условия, при которых можно обойти смещение отбора выборки, и, когда эти условия выполняются, метод строит несмещенную оценку среднего причинного эффекта во всей популяции. Основное различие между обобщением из неправильно отобранных исследований и обобщением по разнородным популяциям заключается в том, что различия между популяциями обычно вызваны уже существующими факторами, такими как возраст или этническая принадлежность, тогда как смещение отбора часто вызвано условиями после лечения, например, выбыванием пациентов из исследования или отбором пациентов по тяжести травмы. Когда выбор регулируется факторами после обработки, требуются нетрадиционные методы повторной калибровки для обеспечения оценки без смещения, и эти методы легко получить из графика задачи. [12] [13]
Если возраст считается основным фактором, заставляющим эффект лечения варьироваться от человека к человеку, то возрастные различия между выбранными студентами и общей популяцией приведут к смещенной оценке среднего эффекта лечения в этой популяции. Однако такое смещение можно исправить с помощью простой процедуры повторного взвешивания: мы берем возрастной эффект в студенческой субпопуляции и вычисляем его среднее значение, используя распределение возраста в общей популяции. Это даст нам несмещенную оценку среднего эффекта лечения в популяции. Если, с другой стороны, соответствующий фактор, который отличает исследуемую выборку от общей популяции, сам по себе подвержен влиянию лечения, то необходимо применить другую схему повторного взвешивания. Называя этот фактор Z , мы снова усредняем z -специфический эффект X на Y в экспериментальной выборке, но теперь мы взвешиваем его с помощью «причинного эффекта» X на Z. Другими словами, новый вес — это доля единиц, достигших уровня Z=z, если бы лечение X=x было назначено всей популяции. Эту вероятность вмешательства, часто записываемую с использованием Do-calculus [14] , иногда можно оценить с помощью наблюдательных исследований среди населения в целом.
Типичный пример такого рода возникает, когда Z является посредником между лечением и результатом. Например, лечение может быть препаратом, снижающим уровень холестерина, Z может быть уровнем холестерина, а Y — ожидаемой продолжительностью жизни. Здесь Z одновременно зависит от лечения и является основным фактором, определяющим результат, Y. Предположим, что субъекты, отобранные для экспериментального исследования, как правило, имеют более высокий уровень холестерина, чем типичный для общей популяции. Чтобы оценить средний эффект препарата на выживаемость во всей популяции, мы сначала вычисляем z -специфический эффект лечения в экспериментальном исследовании, а затем усредняем его, используя в качестве весовой функции. Полученная оценка будет без смещений, даже если Z и Y смешаны, то есть когда есть неизмеренный общий фактор, который влияет как на Z , так и на Y. [15 ]
Точные условия, гарантирующие справедливость этой и других схем взвешивания, сформулированы в работах Барейнбойма и Перла, 2016 [15] и Барейнбойма и др., 2014 [13].
Во многих исследованиях и исследовательских проектах может существовать компромисс между внутренней и внешней валидностью: [16] [17] [18] Попытки повысить внутреннюю валидность могут также ограничить обобщаемость результатов, и наоборот. Эта ситуация привела многих исследователей к призыву к «экологически валидным» экспериментам. Под этим они подразумевают, что экспериментальные процедуры должны напоминать условия «реального мира». Они критикуют отсутствие экологической валидности во многих лабораторных исследованиях с акцентом на искусственно контролируемые и ограниченные среды. Некоторые исследователи считают, что внешняя валидность и экологическая валидность тесно связаны в том смысле, что причинные выводы, основанные на экологически валидных исследовательских проектах, часто допускают более высокую степень обобщаемости, чем те, которые получены в искусственно созданной лабораторной среде. Однако это снова относится к различию между обобщением на некоторую популяцию (тесно связанное с опасениями по поводу экологической валидности) и обобщением по субпопуляциям, которые различаются по некоторому фоновому фактору. Некоторые результаты, полученные в экологически обоснованных исследовательских условиях, вряд ли могут быть обобщены, а некоторые результаты, полученные в условиях строгого контроля, могут претендовать на почти универсальную внешнюю валидность. Таким образом, внешняя и экологическая валидность независимы — исследование может обладать внешней валидностью, но не экологической валидностью, и наоборот.
В рамках качественной исследовательской парадигмы внешняя валидность заменяется концепцией переносимости. Переносимость — это способность результатов исследования переноситься на ситуации со схожими параметрами, популяциями и характеристиками. [19]
Исследователи часто утверждают, что эксперименты по своей природе имеют низкую внешнюю валидность. Некоторые утверждают, что при следовании экспериментальному методу может возникнуть множество недостатков. Благодаря получению достаточного контроля над ситуацией, чтобы случайным образом назначать людей в условия и исключать влияние посторонних переменных, ситуация может стать несколько искусственной и далекой от реальной жизни.
Существуют два вида обобщаемости:
Однако оба эти соображения относятся к концепции Кука и Кэмпбелла об обобщении на некоторую целевую группу населения, а не к, возможно, более центральной задаче оценки обобщаемости результатов эксперимента по субпопуляциям, которые отличаются от конкретной изучаемой ситуации, и людям, которые отличаются от изучаемых респондентов каким-либо значимым образом. [7]
Критики экспериментов предполагают, что внешняя валидность может быть улучшена за счет использования полевых условий (или, как минимум, реалистичных лабораторных условий) и использования истинных вероятностных выборок респондентов. Однако, если цель состоит в том, чтобы понять обобщаемость по субпопуляциям, которые различаются по ситуативным или личным фоновым факторам, эти средства не обладают эффективностью в повышении внешней валидности, которая обычно им приписывается. Если существуют фоновые факторы X взаимодействия лечения, о которых исследователь не знает (что кажется вероятным), эти исследовательские практики могут скрыть существенное отсутствие внешней валидности. Дипбой и Фланаган, пишущие о промышленной и организационной психологии, отмечают, что доказательства таковы, что результаты из одной полевой обстановки и из одной лабораторной обстановки в равной степени вряд ли будут обобщены на вторую полевую обстановку. [20] Таким образом, полевые исследования по своей природе не являются высоко валидными по внешней валидности, а лабораторные исследования по своей природе не являются низко валидными по внешней валидности. В обоих случаях это зависит от того, изменится ли конкретный изучаемый эффект лечения при изменении фоновых факторов, которые остаются постоянными в этом исследовании. Если исследование «нереалистично» на уровне некоторого фонового фактора, который не взаимодействует с лечением, то оно не оказывает никакого влияния на внешнюю валидность. Только если эксперимент сохраняет некоторый фоновый фактор постоянным на нереалистичном уровне и если изменение этого фонового фактора выявило бы сильное взаимодействие фактора Лечение x Фон, то внешняя валидность находится под угрозой. [6]
Исследования в области психологических экспериментов, предпринятых в университетах, часто критикуются за то, что они проводятся в искусственных ситуациях и что их нельзя обобщить на реальную жизнь. [21] [22] Чтобы решить эту проблему, социальные психологи пытаются повысить обобщаемость своих результатов, делая свои исследования максимально реалистичными. Как отмечалось выше, это делается в надежде на обобщение для какой-то конкретной группы населения. Реализм сам по себе не помогает делать заявления о том, изменятся ли результаты, если бы обстановка была каким-то образом более реалистичной или если бы участники исследования были помещены в другую реалистичную обстановку. Если тестируется только одна обстановка, невозможно делать заявления об обобщаемости для разных обстановок. [6] [8]
Однако многие авторы смешивают внешнюю валидность и реализм. Существует более одного способа, которым эксперимент может быть реалистичным:
Это относится к степени, в которой эксперимент похож на реальные жизненные ситуации, как к обыденному реализму эксперимента. [21]
Гораздо важнее обеспечить высокий уровень психологического реализма в исследовании — насколько психологические процессы, запускаемые в ходе эксперимента, схожи с психологическими процессами, происходящими в повседневной жизни. [23]
Психологический реализм усиливается, если люди оказываются поглощенными реальным событием. Чтобы добиться этого, исследователи иногда рассказывают участникам прикрытие — ложное описание цели исследования. Однако, если бы экспериментаторы рассказали участникам цель эксперимента, то такая процедура была бы низко в психологическом реализме. В повседневной жизни никто не знает, когда произойдут чрезвычайные ситуации, и у людей нет времени планировать реакцию на них. Это означает, что типы вызванных психологических процессов будут сильно отличаться от тех, которые возникают в реальной чрезвычайной ситуации, что снижает психологический реализм исследования. [3]
Люди не всегда знают, почему они делают то, что делают, или что они делают, пока это не произойдет. Поэтому, если описать участникам экспериментальную ситуацию, а затем попросить их отреагировать нормально, то это вызовет реакции, которые могут не соответствовать поведению людей, которые на самом деле находятся в такой же ситуации. Мы не можем полагаться на предсказания людей о том, что они будут делать в гипотетической ситуации; мы можем узнать, что люди будут делать на самом деле, только когда создадим ситуацию, которая запускает те же психологические процессы, что происходят в реальном мире.
Социальные психологи изучают, каким образом люди в целом восприимчивы к социальному влиянию. Несколько экспериментов задокументировали интересный, неожиданный пример социального влияния, когда простое знание о присутствии других снижало вероятность того, что люди помогут.
Единственный способ убедиться, что результаты эксперимента отражают поведение конкретной популяции, — это убедиться, что участники выбираются из этой популяции случайным образом. Выборки в экспериментах не могут быть выбраны случайным образом, как в опросах, потому что непрактично и дорого выбирать случайные выборки для экспериментов по социальной психологии. Достаточно сложно убедить случайную выборку людей согласиться ответить на несколько вопросов по телефону в рамках политического опроса, и проведение таких опросов может стоить тысячи долларов. Более того, даже если бы кто-то каким-то образом смог набрать действительно случайную выборку, может быть ненаблюдаемая неоднородность в эффектах экспериментального лечения... Лечение может иметь положительный эффект на некоторые подгруппы, но отрицательный эффект на другие. Эффекты, показанные в средних значениях лечения, могут не распространяться на какую-либо подгруппу. [6] [24]
Многие исследователи решают эту проблему, изучая основные психологические процессы, которые делают людей восприимчивыми к социальному влиянию, предполагая, что эти процессы настолько фундаментальны, что являются универсальными. Некоторые процессы социальной психологии различаются в разных культурах, и в таких случаях необходимо изучать различные выборки людей. [25]
Окончательным тестом внешней валидности эксперимента является репликация — повторное проведение исследования, как правило, с другими популяциями субъектов или в других условиях. Исследователи часто используют разные методы, чтобы проверить, получают ли они по-прежнему те же результаты.
Когда проводится много исследований одной проблемы, результаты могут различаться. Несколько исследований могут обнаружить влияние количества наблюдателей на поведение помощи, тогда как несколько — нет. Чтобы разобраться в этом, существует статистический метод, называемый метаанализом , который усредняет результаты двух или более исследований, чтобы увидеть, является ли влияние независимой переменной надежным. Метаанализ по сути говорит нам о вероятности того, что результаты по результатам многих исследований можно отнести к случайности или к независимой переменной. Если обнаружено, что независимая переменная оказывает влияние только в одном из 20 исследований, метаанализ скажет вам, что это одно исследование было исключением и что в среднем независимая переменная не влияет на зависимую переменную. Если независимая переменная оказывает влияние в большинстве исследований, метаанализ, скорее всего, скажет нам, что в среднем она влияет на зависимую переменную.
Могут быть достоверные явления, которые не ограничиваются лабораторией. Например, было обнаружено, что увеличение числа наблюдателей подавляет поведение помощи со многими типами людей, включая детей, студентов университетов и будущих министров; [25] в Израиле; [26] в маленьких и больших городах США; [27] в различных условиях, таких как психологические лаборатории, городские улицы и поезда метро; [28] и с различными типами чрезвычайных ситуаций, такими как припадки, потенциальные пожары, драки и несчастные случаи, [29] а также с менее серьезными событиями, такими как спущенная шина. [30] Многие из этих воспроизведений проводились в реальных условиях, где люди, возможно, не могли знать, что проводится эксперимент.
Некоторые полагают, что при проведении экспериментов в психологии всегда существует компромисс между внутренней и внешней валидностью.
Некоторые исследователи полагают, что хорошим способом повышения внешней валидности является проведение полевых экспериментов . В полевом эксперименте поведение людей изучается вне лаборатории, в его естественной обстановке. Полевой эксперимент по своей конструкции идентичен лабораторному эксперименту, за исключением того, что он проводится в реальной обстановке. Участники полевого эксперимента не знают, что события, которые они переживают, на самом деле являются экспериментом. Некоторые утверждают, что внешняя валидность такого эксперимента высока, поскольку он проводится в реальном мире, с реальными людьми, которые более разнообразны, чем типичная выборка студентов университета. Однако, поскольку реальные условия существенно различаются, результаты, полученные в одной реальной обстановке, могут или не могут быть обобщены на другую реальную обстановку. [20]
Ни внутренняя, ни внешняя валидность не фиксируются в одном эксперименте. Социальные психологи сначала выбирают внутреннюю валидность, проводя лабораторные эксперименты, в которых люди случайным образом распределяются по разным условиям, а все внешние переменные контролируются. Другие социальные психологи предпочитают внешнюю валидность контролю, проводя большую часть своих исследований в полевых исследованиях, и многие делают и то, и другое. Взятые вместе, оба типа исследований отвечают требованиям идеального эксперимента. Благодаря репликации исследователи могут изучать заданный исследовательский вопрос с максимальной внутренней и внешней валидностью. [31]
