stringtranslate.com

Полевой эксперимент

Полевые эксперименты — это эксперименты, проводимые вне лабораторных условий.

Они случайным образом назначают субъектов (или другие единицы выборки) либо в группы лечения, либо в контрольные группы для проверки утверждений о причинно-следственных связях. Случайное назначение помогает установить сопоставимость группы лечения и контрольной группы, так что любые различия между ними, которые возникают после применения лечения, правдоподобно отражают влияние лечения, а не уже существующие различия между группами. Отличительными характеристиками полевых экспериментов является то, что они проводятся в реальных условиях и часто ненавязчиво и контролируют не только пул субъектов, но и выбор и открытость, как определено такими лидерами, как Джон А. Лист . Это отличается от лабораторных экспериментов, которые усиливают научный контроль путем проверки гипотезы в искусственных и строго контролируемых условиях лаборатории. Полевые эксперименты также имеют некоторые контекстуальные отличия от естественных экспериментов и квазиэкспериментов. [1] В то время как естественные эксперименты полагаются на внешнюю силу (например, правительство, некоммерческая организация и т. д.), контролирующую назначение и реализацию рандомизации лечения, полевые эксперименты требуют от исследователей сохранения контроля над рандомизацией и реализацией. Квазиэксперименты происходят, когда методы лечения применяются как бы случайным образом (например, избирательные округа Конгресса США, где кандидаты побеждают с небольшим отрывом, [2] погодные условия, стихийные бедствия и т. д.).

Полевые эксперименты охватывают широкий спектр экспериментальных проектов, каждый из которых имеет разную степень общности. Некоторые критерии общности (например, подлинность методов лечения, участников, контекстов и показателей результатов) относятся к контекстуальным сходствам между субъектами экспериментальной выборки и остальной частью населения. Они все чаще используются в социальных науках для изучения эффектов политических вмешательств в таких областях, как здравоохранение, образование, преступность, социальное обеспечение и политика.

Характеристики

При случайном назначении результаты полевых экспериментов отражают реальный мир, поскольку субъекты распределяются по группам на основе недетерминированных вероятностей. [3] Два других основных предположения лежат в основе способности исследователя собирать непредвзятые потенциальные результаты: исключаемость и невмешательство. [4] [5] Предположение об исключаемости предполагает, что единственным соответствующим причинным фактором является получение лечения. Асимметрия в назначении, применении или измерении групп лечения и контрольных групп нарушает это предположение. Предположение о невмешательстве или предположение о стабильной единице лечения (SUTVA) указывает на то, что ценность результата зависит только от того, назначено ли субъекту лечение, а не от того, назначены ли другие субъекты лечению. Когда эти три основных предположения выполняются, исследователи с большей вероятностью предоставят непредвзятые оценки с помощью полевых экспериментов.

После разработки полевого эксперимента и сбора данных исследователи могут использовать статистические тесты вывода для определения размера и силы эффекта вмешательства на субъектов. Полевые эксперименты позволяют исследователям собирать различные объемы и типы данных. Например, исследователь может разработать эксперимент, который использует информацию до и после испытания в соответствующем методе статистического вывода, чтобы увидеть, влияет ли вмешательство на изменения результатов на уровне субъекта.

Практическое использование

Полевые эксперименты предлагают исследователям способ проверки теорий и ответов на вопросы с более высокой внешней валидностью , поскольку они имитируют реальные события. [6] Некоторые исследователи утверждают, что полевые эксперименты являются лучшей защитой от потенциальной предвзятости и предвзятых оценок . Кроме того, полевые эксперименты могут выступать в качестве эталонов для сравнения наблюдательных данных с экспериментальными результатами. Использование полевых экспериментов в качестве эталонов может помочь определить уровни предвзятости в наблюдательных исследованиях, и, поскольку исследователи часто разрабатывают гипотезу из априорного суждения, эталоны могут помочь повысить достоверность исследования. [7] Хотя некоторые утверждают, что ковариационная корректировка или планы сопоставления могут работать так же хорошо для устранения предвзятости, полевые эксперименты могут повысить определенность [8], вытесняя опущенную переменную предвзятость, поскольку они лучше распределяют наблюдаемые и ненаблюдаемые факторы. [9]

Исследователи могут использовать методы машинного обучения для моделирования, переоценки и обобщения экспериментальных данных. [10] Это увеличивает скорость и эффективность сбора экспериментальных результатов и снижает затраты на реализацию эксперимента. Другой передовой метод в полевых экспериментах — использование дизайна многорукого бандита , [11] включая аналогичные адаптивные дизайны для экспериментов с переменными результатами и переменными обработками с течением времени. [12]

Ограничения

Существуют ограничения и аргументы против использования полевых экспериментов вместо других исследовательских проектов (например, лабораторных экспериментов, экспериментов по обследованию, наблюдательных исследований и т. д.). Учитывая, что полевые эксперименты обязательно проводятся в определенных географических и политических условиях, возникает обеспокоенность по поводу экстраполяции результатов для формулирования общей теории относительно интересующей популяции. Однако исследователи начали находить стратегии для эффективного обобщения причинных эффектов за пределами выборки путем сравнения среды, в которой находилась обработанная популяция, и внешней популяции, получения доступа к информации из выборки большего размера, а также учета и моделирования неоднородности эффектов лечения в пределах выборки. [13] Другие использовали методы блокирования ковариатов для обобщения популяций полевых экспериментов на внешние популяции. [14]

Проблемы несоответствия, влияющие на полевые эксперименты (как одностороннее, так и двустороннее несоответствие) [15] [16], могут возникнуть, когда субъекты, назначенные в определенную группу, никогда не получают назначенного им вмешательства. Другие проблемы сбора данных включают истощение (когда субъекты, которые проходят лечение, не предоставляют данные о результатах), что при определенных условиях будет искажать собранные данные. Эти проблемы могут привести к неточному анализу данных; однако исследователи, которые используют полевые эксперименты, могут использовать статистические методы для расчета полезной информации, даже когда возникают эти трудности. [16]

Использование полевых экспериментов также может привести к проблемам интерференции [17] между субъектами. Когда субъект или группа, подвергавшаяся лечению, влияет на результаты необработанной группы (через такие условия, как перемещение, общение, заражение и т. д.), необработанные группы могут не иметь результата, который является истинным результатом необработанной группы. Подмножество интерференции — это эффект перелива, который происходит, когда лечение обработанных групп влияет на соседние необработанные группы.

Полевые эксперименты могут быть дорогими, отнимающими много времени на проведение, сложными для воспроизведения и полными этических ловушек. Субъекты или группы населения могут подорвать процесс внедрения, если есть ощущение несправедливости в выборе лечения (например, в экспериментах с « отрицательным подоходным налогом » сообщества могут лоббировать получение сообществом денежного перевода, чтобы назначение не было чисто случайным). Существуют ограничения на сбор форм согласия от всех субъектов. Товарищи, управляющие вмешательствами или собирающие данные, могут загрязнить схему рандомизации. Таким образом, полученные данные могут быть более разнообразными: большее стандартное отклонение , меньшая точность и правильность и т. д. Это приводит к использованию больших размеров выборки для полевых испытаний. Однако другие утверждают, что, даже если воспроизводимость затруднена, если результаты эксперимента важны, то существует большая вероятность того, что эксперимент будет воспроизведен. Кроме того, полевые эксперименты могут использовать дизайн « ступенчатого клина », который в конечном итоге предоставит всей выборке доступ к вмешательству в различные временные графики. [18] Исследователи также могут разработать слепой полевой эксперимент, чтобы исключить возможность манипуляции.

Примеры

История экспериментов в лаборатории и на местах оставила долгосрочные следы в физических, естественных и биологических науках. Современное использование полевых экспериментов уходит корнями в 1700-е годы, когда Джеймс Линд использовал контролируемый полевой эксперимент для определения лечения цинги . [19]

Другие категориальные примеры наук, использующих полевые эксперименты, включают:

Смотрите также

Ссылки

  1. ^ Мейер, Б. Д. (1995). «Естественные и квазиэксперименты в экономике» (PDF) . Журнал деловой и экономической статистики . 13 (2): 151–161. doi :10.2307/1392369. JSTOR  1392369.
  2. ^ Ли, Д.С.; Моретти, Э.; Батлер, М.Дж. (2004). «Избиратели влияют на политику или выбирают ее? Данные Палаты представителей США». The Quarterly Journal of Economics . 119 (3): 807–859. doi :10.1162/0033553041502153. JSTOR  25098703.
  3. ^ Рубин, Дональд Б. (2005). «Причинно-следственный вывод с использованием потенциальных результатов». Журнал Американской статистической ассоциации . 100 (469): 322–331. doi :10.1198/016214504000001880. S2CID  842793.
  4. ^ Нюман, Пэр (2017). «Агитация от двери к двери на европейских выборах: данные шведского полевого эксперимента». Электоральные исследования . 45 : 110–118. doi :10.1016/j.electstud.2016.12.002.
  5. ^ Брукман, Дэвид Э.; Калла, Джошуа Л.; Секхон, Джасджит С. (2017). «Дизайн полевых экспериментов с результатами опросов: структура для выбора более эффективных, надежных и этичных дизайнов». Политический анализ . 25 (4): 435–464. doi :10.1017/pan.2017.27. S2CID  233321039.
  6. ^ Дюфло, Эстер (2006). Полевые эксперименты в экономике развития (отчет). Массачусетский технологический институт.
  7. ^ Харрисон, GW; Лист, JA (2004). «Полевые эксперименты». Журнал экономической литературы . 42 (4): 1009–1055. doi :10.1257/0022051043004577. JSTOR  3594915.
  8. ^ Лалонд, Р. Дж. (1986). «Оценка эконометрических оценок программ обучения с экспериментальными данными». The American Economic Review . 76 (4): 604–620. JSTOR  1806062.
  9. ^ Гордон, Бретт Р.; Цеттельмейер, Флориан; Бхаргава, Неха; Чапский, Дэн (2017). «Сравнение подходов к измерению рекламы: данные крупных полевых экспериментов в Facebook». Marketing Science . doi :10.2139/ssrn.3033144. S2CID  197733986.
  10. ^ Athey, Susan ; Imbens, Guido (2016). «Рекурсивное разбиение для гетерогенных причинных эффектов: Таблица 1». Труды Национальной академии наук . 113 (27): 7353–7360. doi : 10.1073/pnas.1510489113 . PMC 4941430 . PMID  27382149. 
  11. ^ Скотт, Стивен Л. (2010). «Современный байесовский взгляд на многорукого бандита». Прикладные стохастические модели в бизнесе и промышленности . 26 (6): 639–658. doi :10.1002/asmb.874.
  12. ^ Радж, В.; Каляни, С. (2017). «Укрощение нестационарных бандитов: байесовский подход». arXiv : 1707.09727 [stat.ML].
  13. ^ Дехеджиа, Р.; Поп-Элечес, К.; Самии, К. (2015). От локального к глобальному: внешняя валидность в естественном эксперименте по фертильности (PDF) (Отчет). Национальное бюро экономических исследований. w21459.
  14. ^ Эгами, Наоки; Хартман, Эрин (19 июля 2018 г.). «Выбор ковариатов для обобщения экспериментальных результатов» (PDF) . Princeton.edu . Архивировано из оригинала (PDF) 10 июля 2020 г. . Получено 31 декабря 2018 г. .
  15. ^ Блэквелл, Мэтью (2017). «Методы инструментальных переменных для условных эффектов и причинно-следственного взаимодействия в экспериментах по мобилизации избирателей». Журнал Американской статистической ассоциации . 112 (518): 590–599. doi :10.1080/01621459.2016.1246363. S2CID  55878137.
  16. ^ ab Аронов, Питер М.; Карнеги, Эллисон (2013). «За пределами LATE: Оценка среднего эффекта лечения с помощью инструментальной переменной». Политический анализ . 21 (4): 492–506. doi :10.1093/pan/mpt013.
  17. ^ Аронов, П. М.; Самии, К. (2017). «Оценка средних причинных эффектов при общем вмешательстве с применением к эксперименту с социальными сетями». Анналы прикладной статистики . 11 (4): 1912–1947. arXiv : 1305.6156 . doi : 10.1214/16-AOAS1005. S2CID  26963450.
  18. ^ Woertman, W.; de Hoop, E.; Moerbeek, M.; Zuidema, SU; Gerritsen, DL; Teerenstra, S. (2013). «Ступенчатые клиновидные конструкции могут уменьшить требуемый размер выборки в кластерных рандомизированных исследованиях». Journal of Clinical Epidemiology . 66 (7): 752–758. doi : 10.1016/j.jclinepi.2013.01.009 . hdl : 2066/117688 . PMID  23523551.
  19. ^ Tröhler, U. (2005). «Линд и цинга: 1747–1795». Журнал Королевского медицинского общества . 98 (11): 519–522. doi :10.1177/014107680509801120. PMC 1276007. PMID  16260808 . 
  20. ^ Бертран, Марианна; Муллайнатан, Сендхил (2004). «Являются ли Эмили и Грег более трудоустраиваемыми, чем Лакиша и Джамал? Полевой эксперимент по дискриминации на рынке труда» (PDF) . American Economic Review . 94 (4): 991–1013. doi :10.1257/0002828042002561.
  21. ^ Gneezy, Uri; List, John A (2006). «Использование поведенческой экономики в работе: тестирование обмена подарками на рынках труда с использованием полевых экспериментов» (PDF) . Econometrica . 74 (5): 1365–1384. doi :10.1111/j.1468-0262.2006.00707.x.
  22. ^ Ахмед, Али М; Хаммарштедт, Матс (2008). «Дискриминация на рынке арендного жилья: полевой эксперимент в Интернете». Журнал городской экономики . 64 (2): 362–372. doi :10.1016/j.jue.2008.02.004.
  23. ^ Эдельман, Бенджамин; Лука, Майкл; Свирски, Дэн (2017). «Расовая дискриминация в экономике совместного потребления: данные полевого эксперимента». American Economic Journal: Applied Economics . 9 (2): 1–22. doi : 10.1257/app.20160213 .
  24. ^ Пейджер, Девах; Шеперд, Хана (2008). «Социология дискриминации: расовая дискриминация на рынках труда, жилья, кредитования и потребительских рынках». Annual Review of Sociology . 34 : 181–209. doi :10.1146/annurev.soc.33.040406.131740. PMC 2915460. PMID  20689680 . 
  25. ^ Несселер, Корнель; Карлос, Гомес-Гонсалес; Дитль, Хельмут (2019). «Что кроется в имени? Измерение доступа к социальной деятельности с помощью полевого эксперимента». Palgrave Communications . 5 : 1–7. doi : 10.1057/s41599-019-0372-0 . hdl : 11250/2635691 .
  26. ^ Ашраф, Нава; Берри, Джеймс; Шапиро, Джесси М. (2010). «Могут ли более высокие цены стимулировать использование продукта? Данные полевого эксперимента в Замбии» (PDF) . American Economic Review . 100 (5): 2383–2413. doi :10.1257/aer.100.5.2383. S2CID  6392533.
  27. ^ Карлан, Дин; Лист, Джон А. (2007). «Имеет ли значение цена в благотворительности? Данные крупномасштабного естественного полевого эксперимента» (PDF) . American Economic Review . 97 (5): 1774–1793. doi :10.1257/aer.97.5.1774. S2CID  10041821.
  28. ^ Фрайер-младший, Роланд Г. (2014). «Внедрение лучших практик чартерных школ в традиционные государственные школы: данные полевых экспериментов». The Quarterly Journal of Economics . 129 (3): 1355–1407. doi :10.1093/qje/qju011.
  29. ^ Филд, Эрика; Панде, Рохини (2008). «Частота погашения и дефолт в микрофинансировании: данные из Индии». Журнал Европейской экономической ассоциации . 6 (2–3): 501–509. doi :10.1162/JEEA.2008.6.2-3.501.
  30. ^ Фишер, РА (1937). Планирование экспериментов (PDF) . Oliver and Boyd Ltd.
  31. ^ Госнелл, Гарольд Ф. (1926). «Эксперимент по стимулированию голосования». American Political Science Review . 20 (4): 869–874. doi : 10.1017/S0003055400110524 .
  32. ^ Гродволь, Жан-Батист; Порто, Франко; Эль-Хани, Шарбель Н. (2018-07-31). «Нестабильность полевых экспериментов: создание экспериментальной исследовательской традиции на скалистых морских берегах (1950–1985)». История и философия наук о жизни . 40 (3): 45. doi :10.1007/s40656-018-0209-y. ISSN  1742-6316. PMID  30066110. S2CID  51889466.