Квазиэксперимент — это эмпирическое интервенционное исследование, используемое для оценки причинно-следственного воздействия вмешательства на целевую популяцию без случайного распределения . Квазиэкспериментальное исследование имеет сходство с традиционным экспериментальным дизайном или рандомизированным контролируемым испытанием , но в нем, в частности, отсутствует элемент случайного распределения по лечению или контролю. Вместо этого квазиэкспериментальные дизайны обычно позволяют исследователю контролировать распределение по условиям лечения, но с использованием некоторого критерия, отличного от случайного распределения (например, отметка порогового значения пригодности). [1]
Квазиэксперименты вызывают опасения относительно внутренней валидности , поскольку группы лечения и контроля могут быть несопоставимы на исходном уровне. Другими словами, может оказаться невозможным убедительно продемонстрировать причинно-следственную связь между состоянием лечения и наблюдаемыми результатами. Это особенно верно, если есть смешивающие переменные , которые невозможно контролировать или учитывать. [2]
При случайном распределении участники исследования имеют одинаковые шансы быть распределенными в группу вмешательства или в группу сравнения. В результате различия между группами как по наблюдаемым, так и по ненаблюдаемым характеристикам будут обусловлены случайностью, а не систематическим фактором, связанным с лечением (например, тяжестью заболевания). Сама по себе рандомизация не гарантирует, что группы будут эквивалентны на исходном уровне. Любое изменение характеристик после вмешательства, скорее всего, связано с вмешательством.
Первая часть создания квазиэкспериментального дизайна — это определение переменных. Квазинезависимая переменная — это переменная, которой манипулируют, чтобы повлиять на зависимую переменную. Обычно это группирующая переменная с разными уровнями. Группировка означает две или более группы, например, две группы, получающие альтернативное лечение, или группу лечения и группу без лечения (которой может быть дано плацебо — плацебо чаще используется в медицинских или физиологических экспериментах). Прогнозируемый результат — это зависимая переменная . В анализе временных рядов зависимая переменная наблюдается с течением времени на предмет любых изменений, которые могут иметь место. В анализ обычно включаются один или несколько ковариатов , в идеале переменные, которые предсказывают как группу лечения, так и результат. Это дополнительные переменные, которые часто используются для устранения искажений , например, посредством статистической корректировки или сопоставления. После того, как переменные были идентифицированы и определены, следует внедрить процедуру и изучить групповые различия. [3]
В эксперименте со случайным распределением единицы исследования имеют одинаковые шансы быть назначенными на заданное условие лечения. Таким образом, случайное распределение гарантирует, что и экспериментальная, и контрольная группы эквивалентны. В квазиэкспериментальном дизайне распределение на заданное условие лечения основано на чем-то ином, чем случайное распределение. В зависимости от типа квазиэкспериментального дизайна исследователь может контролировать распределение на условие лечения, но использовать некоторые критерии, отличные от случайного распределения (например, пороговый балл), чтобы определить, какие участники получают лечение, или исследователь может не контролировать распределение на условие лечения, а критерии, используемые для распределения, могут быть неизвестны. Такие факторы, как стоимость, осуществимость, политические соображения или удобство, могут влиять на то, как и если участники назначаются на заданные условия лечения, и, таким образом, квазиэксперименты подвержены проблемам относительно внутренней валидности (т. е. могут ли результаты эксперимента использоваться для вывода о причинно-следственной связи?).
Квазиэксперименты также эффективны, поскольку они используют «пред-пост тестирование». Это означает, что тесты проводятся до сбора любых данных, чтобы увидеть, есть ли какие-либо помехи для людей или есть ли у участников определенные тенденции. Затем проводится фактический эксперимент с записанными результатами после тестирования. Эти данные можно сравнивать как часть исследования, или данные до тестирования могут быть включены в объяснение фактических экспериментальных данных. Квазиэксперименты имеют независимые переменные, которые уже существуют, такие как возраст, пол, цвет глаз. Эти переменные могут быть либо непрерывными (возраст), либо категориальными (пол). Короче говоря, естественные переменные измеряются в рамках квазиэкспериментов. [4]
Существует несколько типов квазиэкспериментальных проектов, каждый из которых имеет свои сильные и слабые стороны и приложения. Эти проекты включают (но не ограничиваются): [5]
Из всех этих дизайнов дизайн с разрывной регрессией ближе всего к экспериментальному дизайну, поскольку экспериментатор сохраняет контроль над назначением лечения, и известно, что он «дает непредвзятую оценку эффектов лечения». [5] : 242 Однако он требует большого количества участников исследования и точного моделирования функциональной формы между назначением и конечной переменной, чтобы обеспечить ту же мощность, что и традиционный экспериментальный дизайн.
Хотя квазиэксперименты иногда избегаются теми, кто считает себя пуристами эксперимента (что привело Дональда Т. Кэмпбелла к созданию термина «эксперименты с тошнотой» для них), [6] они исключительно полезны в областях, где проведение эксперимента или рандомизированного контрольного испытания нецелесообразно или нежелательно. Такие случаи включают оценку влияния изменений в государственной политике, образовательных вмешательств или крупномасштабных вмешательств в здравоохранение. Основным недостатком квазиэкспериментальных дизайнов является то, что они не могут исключить возможность смещений, которые могут помешать способности делать причинно-следственные выводы. Этот недостаток часто используется в качестве оправдания для того, чтобы обесценить квазиэкспериментальные результаты. Однако такие смещения можно контролировать с помощью различных статистических методов, таких как множественная регрессия, если можно определить и измерить смещающую переменную(ые). Такие методы можно использовать для моделирования и частичного исключения эффектов смещающих переменных, тем самым повышая точность результатов, полученных с помощью квазиэкспериментов. Более того, развивающееся использование сопоставления оценок склонности для сопоставления участников по переменным, важным для процесса выбора лечения, также может повысить точность квазиэкспериментальных результатов. Фактически, было показано, что данные, полученные из квазиэкспериментальных анализов, в некоторых случаях близко соответствуют экспериментальным данным, даже когда использовались разные критерии. [7] В целом, квазиэксперименты являются ценным инструментом, особенно для прикладного исследователя. Сами по себе квазиэкспериментальные планы не позволяют делать окончательные причинно-следственные выводы; однако они предоставляют необходимую и ценную информацию, которую нельзя получить только экспериментальными методами. Исследователи, особенно те, кто заинтересован в изучении вопросов прикладных исследований, должны выйти за рамки традиционного экспериментального плана и воспользоваться возможностями, присущими квазиэкспериментальным планам. [5]
Настоящий эксперимент , например, случайным образом распределял бы детей по стипендиям, чтобы контролировать все другие переменные. Квазиэксперименты обычно используются в социальных науках , здравоохранении , образовании и анализе политики , особенно когда непрактично или неразумно рандомизировать участников исследования по условиям лечения.
В качестве примера предположим, что мы разделили домохозяйства на две категории: домохозяйства, в которых родители шлепают своих детей, и домохозяйства, в которых родители не шлепают своих детей. Мы можем запустить линейную регрессию, чтобы определить, есть ли положительная корреляция между шлепками родителей и агрессивным поведением их детей. Однако простая рандомизация родителей в категории шлепающих или не шлепающих может быть непрактичной или этичной, поскольку некоторые родители могут считать, что шлепать своих детей морально неправильно, и отказаться участвовать.
Некоторые авторы различают естественный эксперимент и «квазиэксперимент». [5] Естественный эксперимент может приближаться к случайному назначению или включать реальную рандомизацию не экспериментаторами или для эксперимента. Квазиэксперимент, как правило, не включает фактическую рандомизацию. [1]
Квазиэксперименты имеют показатели результатов, методы лечения и экспериментальные единицы, но не используют случайное назначение . Квазиэксперименты часто являются дизайном, который большинство людей выбирают вместо настоящих экспериментов. Обычно его легче проводить, чем настоящие эксперименты, потому что они привносят особенности как из экспериментальных, так и из неэкспериментальных дизайнов. Могут быть введены измеряемые переменные, а также управляемые переменные. Обычно квазиэксперименты выбираются экспериментаторами, потому что они максимизируют внутреннюю и внешнюю валидность. [8]
Поскольку квазиэкспериментальные планы используются, когда рандомизация непрактична и/или неэтична, их обычно проще организовать, чем настоящие экспериментальные планы, которые требуют [9] случайного назначения субъектов. Кроме того, использование квазиэкспериментальных планов сводит к минимуму угрозы экологической валидности , поскольку естественные среды не страдают от тех же проблем искусственности по сравнению с хорошо контролируемыми лабораторными условиями. [10] Поскольку квазиэксперименты являются естественными экспериментами, результаты одного из них могут быть применены к другим субъектам и условиям, что позволяет сделать некоторые обобщения о популяции . Кроме того, этот метод экспериментирования эффективен в лонгитюдных исследованиях, которые включают более длительные периоды времени, которые можно отслеживать в разных условиях.
Другие преимущества квазиэкспериментов включают идею о наличии любых манипуляций, которые выбирает экспериментатор. В естественных экспериментах исследователи должны позволять манипуляциям происходить самостоятельно и не иметь никакого контроля над ними. Кроме того, использование самоотобранных групп в квазиэкспериментах также исключает вероятность этических, условных и т. д. проблем при проведении исследования. [8]
Квазиэкспериментальные оценки воздействия подвержены загрязнению со стороны вмешивающихся переменных. [1] В приведенном выше примере на изменение реакции детей на шлепки, вероятно, влияют факторы, которые нелегко измерить и контролировать, например, внутренняя дикость ребенка или раздражительность родителя. Отсутствие случайного распределения в методе квазиэкспериментального дизайна может позволить исследованиям быть более осуществимыми, но это также создает много проблем для исследователя с точки зрения внутренней валидности. Этот недостаток рандомизации затрудняет исключение вмешивающихся переменных и вносит новые угрозы внутренней валидности . [11] Поскольку рандомизация отсутствует, некоторые знания о данных могут быть приближены, но выводы о причинно-следственных связях трудно определить из-за множества посторонних и вмешивающихся переменных, которые существуют в социальной среде. Более того, даже если эти угрозы внутренней валидности оценены, причинно-следственная связь все равно не может быть полностью установлена, поскольку экспериментатор не имеет полного контроля над посторонними переменными . [12]
Недостатки также включают в себя то, что группы исследования могут предоставлять более слабые доказательства из-за отсутствия случайности. Случайность приносит много полезной информации в исследование, поскольку она расширяет результаты и, следовательно, дает лучшее представление о популяции в целом. Использование неравных групп также может быть угрозой внутренней валидности. Если группы не равны, что иногда бывает в квазиэкспериментах, то экспериментатор может быть не уверен в определении причин результатов. [4]
Внутренняя валидность — это приблизительная истина относительно выводов относительно причинно-следственных или каузальных связей. Вот почему валидность важна для квазиэкспериментов, потому что они все о причинно-следственных связях. Она возникает, когда экспериментатор пытается контролировать все переменные, которые могут повлиять на результаты эксперимента. Статистическая регрессия, история и участники — все это возможные угрозы внутренней валидности. Вопрос, который вы хотели бы задать, пытаясь сохранить высокую внутреннюю валидность, звучит так: «Есть ли какие-либо другие возможные причины для результата, кроме той, по которой я хочу, чтобы он был?» Если так, то внутренняя валидность может быть не такой сильной. [8]
Внешняя валидность — это степень, в которой результаты, полученные из выборки исследования, могут быть обобщены «на» некоторую четко определенную интересующую популяцию и «на» субпопуляции людей, времен, контекстов и методов исследования. [13] Линч утверждал, что обобщение «на» популяцию почти никогда не возможно, поскольку популяции, на которые мы хотели бы сделать прогноз, являются мерами будущего поведения, которое по определению не может быть отобрано. [14] Поэтому более актуальным является вопрос, обобщаются ли эффекты лечения «на» субпопуляции, которые различаются по фоновым факторам, которые могут быть несущественными для исследователя. Внешняя валидность зависит от того, оказывают ли исследования лечения однородные эффекты на различные подгруппы людей, времен, контекстов и методов исследования или знак и величина любых эффектов лечения изменяются на подгруппах способами, которые могут не осознаваться или не пониматься исследователями. [15] Эйти и Имбенс и Эйти и Вейджер стали пионерами в области методов машинного обучения для индуктивного понимания неоднородных эффектов лечения. [16] [17]
Планы «человек-по-лечению» являются наиболее распространенным типом квазиэкспериментального дизайна. В этом плане экспериментатор измеряет по крайней мере одну независимую переменную. Наряду с измерением одной переменной экспериментатор также будет манипулировать другой независимой переменной. Поскольку существует манипулирование и измерение различных независимых переменных, исследования в основном проводятся в лабораториях. Важным фактором при работе с планами «человек-по-лечению» является то, что необходимо использовать случайное распределение, чтобы убедиться, что экспериментатор имеет полный контроль над манипуляциями, которые производятся в исследовании. [18]
Пример такого типа дизайна был реализован в Университете Нотр-Дам. Исследование проводилось с целью выяснить, приводит ли наставничество к повышению удовлетворенности работой. Результаты показали, что многие люди, у которых был наставник, показали очень высокую удовлетворенность работой. Однако исследование также показало, что у тех, у кого не было наставника, также было большое количество удовлетворенных сотрудников. Зайберт пришел к выводу, что хотя работники, у которых были наставники, были счастливы, он не мог предположить, что причиной этого были сами наставники, поскольку большое количество сотрудников без наставников заявили, что они удовлетворены. Вот почему предварительный отбор очень важен, чтобы вы могли свести к минимуму любые недостатки в исследовании до того, как они будут обнаружены. [19]
«Естественные эксперименты» — это другой тип квазиэкспериментального дизайна, используемый исследователями. Он отличается от дизайна «человек-по-лечению» тем, что нет переменной, которой бы манипулировал экспериментатор. Вместо того, чтобы контролировать по крайней мере одну переменную, как в дизайне «человек-по-лечению», экспериментаторы не используют случайное назначение и оставляют экспериментальный контроль на волю случая. Отсюда и происходит название « естественный » эксперимент. Манипуляции происходят естественным образом, и хотя это может показаться неточным методом, на самом деле он оказался полезным во многих случаях. Это исследования, проведенные с людьми, с которыми что-то внезапно произошло. Это может означать хорошее или плохое, травмирующее или эйфорическое. Примером этого могут быть исследования, проведенные с теми, кто попал в автомобильную аварию, и теми, кто не попал. Автомобильные аварии происходят естественным образом, поэтому было бы неэтично ставить эксперименты, чтобы травмировать субъектов в исследовании. Эти естественно происходящие события оказались полезными для изучения случаев посттравматического стрессового расстройства . [18]