stringtranslate.com

эффект Хоторна

Эффект Хоторна — это тип поведенческой реактивности человека , при котором индивидуумы изменяют аспект своего поведения в ответ на осознание того, что за ними наблюдают. [1] [2] Эффект был обнаружен в контексте исследований, проведенных на заводе Hawthorne Western Electric ; однако некоторые ученые считают, что описания являются вымышленными. [3]

Первоначальное исследование включало рабочих, которые производили электрические реле на заводе Hawthorne Works , заводе Western Electric в Цицеро , штат Иллинойс . Между 1924 и 1927 годами было проведено исследование освещения, в ходе которого рабочие испытали ряд изменений освещения, которые, как утверждалось, повышали производительность . Этот вывод оказался ложным. [3] В исследовании Элтона Мэйо , которое проводилось с 1927 по 1928 год, был реализован ряд изменений в структуре работы (например, изменения периодов отдыха) в группе из шести женщин. Однако это было методологически слабое, неконтролируемое исследование, из которого нельзя было сделать никаких однозначных выводов. [4] Позднее Элтон Мэйо провел два дополнительных эксперимента для изучения этого явления: эксперимент с массовым интервьюированием (1928-1930) и эксперимент по наблюдению за банковской проводкой (1931-32).

Одна из более поздних интерпретаций Генри Ландсбергера, профессора социологии в Университете Северной Каролины в Чапел-Хилле , [5] предположила, что новизна того, что люди являются объектами исследований, и повышенное внимание со стороны таковых могут привести к временному повышению производительности труда работников. [6] Эта интерпретация была названа «эффектом Хоторна».

История

Вид с воздуха на завод Хоуторн ,  1925 г.

Термин «эффект Хоторна» был придуман в 1953 году Джоном Р. П. Френчем [7] после того, как исследования Хоторна были проведены между 1924 и 1932 годами на заводе Хоторна ( завод Western Electric в Цицеро, недалеко от Чикаго). Хоторнский завод заказал исследование, чтобы определить, станут ли его рабочие более производительными при более ярком или более тусклом освещении. Производительность рабочих, казалось, повышалась, когда вносились изменения, но возвращалась к исходному уровню, когда исследование заканчивалось. Альтернативно предполагалось, что производительность рабочих повышалась, потому что они были мотивированы проявленным к ним интересом. [8]

Этот эффект наблюдался при незначительном увеличении освещенности . В этих исследованиях освещения интенсивность света изменялась, чтобы изучить результирующее влияние на производительность труда. При обсуждении эффекта Хоторна большинство учебников по промышленной и организационной психологии ссылаются почти исключительно на исследования освещенности, в отличие от других типов исследований, которые были проведены. [9]

Хотя ранние исследования были сосредоточены на изменении освещения на рабочем месте, другие изменения, такие как поддержание чистоты рабочих мест, очистка полов от препятствий и перемещение рабочих мест, также, как было обнаружено, приводят к повышению производительности на короткие периоды времени. Таким образом, эффект Хоторна может применяться к причине или причинам, отличным от изменения освещения. [6] [10] [11]

Эксперимент с освещением

Эксперимент с освещением проводился с 1924 по 1927 год. Целью было определить влияние изменений освещенности на производительность труда рабочих. Эксперимент проводился в двух комнатах: экспериментальной, в которой рабочие выполняли свой рабочий день при разных уровнях освещенности; и контрольной, в которой рабочие выполняли свои задачи в обычных условиях. Гипотеза заключалась в том, что по мере увеличения уровня освещенности в экспериментальной комнате производительность труда будет расти.

Однако, когда интенсивность света в экспериментальной комнате была увеличена, исследователи обнаружили, что производительность улучшилась в обеих комнатах. Затем уровень освещенности в экспериментальной комнате был уменьшен, и результаты были такими же: возросшая производительность в обеих комнатах. Производительность начала снижаться только в экспериментальной комнате, когда уровень освещенности был уменьшен примерно до уровня лунного света, что затрудняло видимость.

В конечном итоге был сделан вывод, что освещение не оказывало никакого влияния на производительность и что, должно быть, была какая-то другая переменная, вызывающая наблюдаемое увеличение производительности в обеих комнатах. Для точного определения причины потребовалась еще одна фаза экспериментов.

Эксперименты по сборке реле

В 1927 году исследователи провели эксперимент, в ходе которого они выбрали двух женщин-работниц в качестве испытуемых и попросили их выбрать еще четырех женщин для присоединения к тестовой группе. До 1928 года группа женщин работала в отдельной комнате, собирая телефонные реле .

Выпуск измерялся механически, путем подсчета количества готовых реле, сброшенных каждым рабочим в желоб. Чтобы установить базовый уровень производительности, измерение начиналось тайно за две недели до перевода женщин в экспериментальную комнату, а затем продолжалось на протяжении всего исследования. В экспериментальной комнате руководитель обсуждал изменения в их производительности.

Некоторые из переменных:

Изменение переменной обычно повышало производительность, даже если переменная была просто изменением обратно к исходному состоянию. Говорят, что это отражает естественную адаптацию к среде без знания цели эксперимента. Исследователи пришли к выводу, что рабочие работали усерднее, потому что думали, что за ними наблюдают индивидуально.

Исследователи выдвинули гипотезу, что выбор собственных коллег, работа в группе, особое отношение (о чем свидетельствует работа в отдельной комнате) и наличие отзывчивого руководителя были реальными причинами повышения производительности. Одна из интерпретаций, в основном из исследований Элтона Мэйо [12] , заключалась в том, что «шесть человек стали командой, и команда отдалась целиком и спонтанно сотрудничеству в эксперименте». Кроме того, было проведено второе исследование в тестовой комнате сборки реле, результаты которого были не столь значимыми, как в первом эксперименте.

Программа массового интервьюирования

Программа проводилась с 1928 по 1930 год и включала 20 000 интервью. Первоначально в интервью использовались прямые вопросы, касающиеся надзора и политики компании. Недостатком прямых вопросов было то, что ответы были только «да» или «нет», что было бесполезно для поиска корня проблем. Поэтому исследователи перешли к косвенным вопросам, в которых интервьюер слушал. Это дало ценную информацию о поведении работников, в частности о том, что поведение работника (или отдельного человека) формируется групповым поведением.

Эксперименты с банковской проводкой

Целью следующего исследования было выяснить, как стимулы к оплате и малые группы повлияют на производительность. Удивительным результатом стало то, что производительность на самом деле снизилась. Рабочие, по-видимому, заподозрили, что их производительность могла быть повышена, чтобы оправдать увольнение некоторых рабочих в дальнейшем. [13] Исследование было проведено Элтоном Мэйо и У. Ллойдом Уорнером в период с 1931 по 1932 год на группе из четырнадцати мужчин, которые собирали телефонное коммутационное оборудование. Исследователи обнаружили, что хотя рабочие получали оплату в соответствии с индивидуальной производительностью, производительность снижалась, потому что мужчины боялись, что компания снизит базовую ставку. Подробное наблюдение за мужчинами выявило существование неформальных групп или «клик» внутри формальных групп. Эти клики разрабатывали неформальные правила поведения, а также механизмы для их обеспечения. Клики служили для контроля членов группы и управления боссами; когда боссы задавали вопросы, члены клики давали те же ответы, даже если они были ложными. Эти результаты показывают, что рабочие были более восприимчивы к социальной силе своих сверстников , чем к контролю и стимулам руководства.

Интерпретация и критика

Ричард Нисбетт описал эффект Хоторна как «прославленный анекдот», заявив, что «как только у вас есть анекдот, вы можете выбросить данные». [14] Другие исследователи пытались объяснить эффекты с помощью различных интерпретаций. Дж. Г. Адэр предупреждал о грубой фактической неточности в большинстве вторичных публикаций об эффекте Хоторна и о том, что многие исследования не смогли его обнаружить. [15] Он утверждал, что его следует рассматривать как вариант экспериментального эффекта спроса Орна (1973) . Для Адэра эффект Хоторна зависел от интерпретации ситуации участниками. Подразумевается, что проверки манипуляции важны в экспериментах по социальным наукам. Он выдвинул точку зрения, что осознание того, что за вами наблюдают, не было источником эффекта, но интерпретация ситуации участниками имеет решающее значение. Как интерпретация ситуации участниками взаимодействовала с целями участников?

Возможные объяснения эффекта Хоторна включают влияние обратной связи и мотивации по отношению к экспериментатору. Получение обратной связи по результатам своей работы может улучшить их навыки, когда эксперимент обеспечивает такую ​​обратную связь впервые. [16] Исследования эффекта спроса также предполагают, что люди могут быть мотивированы, чтобы угодить экспериментатору, по крайней мере, если это не противоречит никаким другим мотивам. [17] Они также могут с подозрением относиться к цели экспериментатора. [16] Следовательно, эффект Хоторна может возникнуть только при наличии полезной обратной связи или изменении мотивации.

Парсонс определил эффект Хоторна как «запутывание, которое происходит, если экспериментаторы не понимают, как последствия производительности субъектов влияют на то, что делают субъекты» [т. е. эффекты обучения, как постоянное улучшение навыков, так и корректировки с обратной связью для соответствия текущим целям]. Его ключевым аргументом было то, что в исследованиях, где рабочие сбрасывали готовые изделия в желоба, участники имели доступ к счетчикам своей производительности. [16]

Мэйо утверждал, что эффект был обусловлен реакцией рабочих на симпатию и интерес наблюдателей. Он обсуждал исследование как демонстрацию эффекта экспериментатора как эффекта управления: как руководство может заставить рабочих работать по-другому, потому что они чувствуют себя по-другому. Он предположил, что большая часть эффекта Хоторна касалась рабочих, которые чувствовали себя свободными и контролирующими как группа, а не как находящиеся под надзором. Экспериментальные манипуляции были важны для убеждения рабочих в том, что условия в специальной рабочей группе из пяти человек на самом деле отличаются от условий в цехе. Исследование было повторено с аналогичными эффектами на рабочих, занимающихся расщеплением слюды . [12]

Кларк и Сагрю в обзоре образовательных исследований сообщили, что неконтролируемые эффекты новизны вызывают в среднем 30% роста стандартного отклонения (SD) (т. е. 50–63% роста баллов), причем рост спадает до гораздо меньшего эффекта после 8 недель. Более подробно: 50% SD в течение до 4 недель; 30% SD в течение 5–8 недель; и 20% SD в течение > 8 недель (что составляет < 1% дисперсии). [18] : 333 

Гарри Брейверман указал, что тесты Хоуторна были основаны на промышленной психологии, и исследователи, принимавшие участие в исследовании, изучали, можно ли предсказать производительность работников с помощью предварительного тестирования. Исследование Хоуторна показало, что «производительность работников мало связана с их способностями и на самом деле часто имела обратную связь с результатами тестов...». [19] Брейверман утверждал, что исследования действительно показали, что рабочее место не является «системой бюрократической формальной организации по модели Вебера , ни системой неформальных групповых отношений, как в интерпретации Мэйо и его последователей, а скорее системой власти, классовых антагонизмов». Это открытие стало ударом для тех, кто надеялся применить поведенческие науки для манипулирования работниками в интересах управления. [19]

Экономисты Стивен Левитт и Джон А. Лист долго и безуспешно пытались найти базовые данные об оригинальных экспериментах с освещением (они не были настоящими экспериментами , но некоторые авторы называли их экспериментами), прежде чем в 2011 году нашли их в микрофильме в Университете Висконсина в Милуоки. [20] Повторно проанализировав его, они обнаружили небольшое доказательство эффекта Хоторна в долгосрочной перспективе, но никоим образом не столь радикальное, как предполагалось изначально. [21] Это открытие подтвердило анализ статьи С. Р. Г. Джонса 1992 года, в которой рассматривались эксперименты с реле. [22] [23] Несмотря на отсутствие доказательств эффекта Хоторна в оригинальном исследовании, Лист заявил, что он по-прежнему уверен в подлинности эффекта. [24]

Густав Викстрём и Том Бендикс (2000) утверждают, что предполагаемый «эффект Хоторна» на самом деле неоднозначен и спорен, и вместо этого рекомендуют, чтобы для оценки эффективности вмешательства исследователи вводили конкретные психологические и социальные переменные, которые могли повлиять на результат. [25]

Также возможно, что эксперименты с освещением можно объяснить эффектом продольного обучения. Парсонс отказался анализировать эксперименты с освещением на том основании, что они не были должным образом опубликованы, и поэтому он не может получить подробности, в то время как у него было обширное личное общение с Ротлисбергером и Диксоном. [16]

Оценка эффекта Хоторна продолжается и в настоящее время. [26] [27] [28] [29] Однако, несмотря на критику, это явление часто принимается во внимание при планировании исследований и их выводов. [30] Некоторые также разработали способы его избежания. Например, есть случай проведения наблюдения при проведении полевого исследования на расстоянии, из-за барьера, такого как двухстороннее зеркало, или с использованием ненавязчивой меры. [31]

Гринвуд, Болтон и Гринвуд (1983) опросили некоторых участников экспериментов и обнаружили, что им платили значительно лучше. [32]

Пробный эффект

Различные ученые-медики изучали возможный эффект испытания (эффект клинического испытания) в клинических испытаниях . [33] [34] [35] Некоторые постулируют, что, помимо внимания и наблюдения, могут быть задействованы и другие факторы, такие как немного лучший уход; немного лучшее соблюдение/приверженность ; и смещение отбора . Последнее может иметь несколько механизмов: (1) Врачи могут иметь тенденцию набирать пациентов, которые, как кажется, имеют лучший потенциал приверженности и меньшую вероятность будущей потери для последующего наблюдения . (2) Критерии включения/исключения испытаний часто исключают по крайней мере некоторые сопутствующие заболевания ; хотя это часто необходимо для предотвращения смешения , это также означает, что испытания могут иметь тенденцию работать с более здоровыми субпопуляциями пациентов.

Эффект вторичного наблюдателя

Несмотря на то, что эффект наблюдателя, популяризированный в экспериментах Хоторна, возможно, был ложно идентифицирован (см. обсуждение выше), популярность и правдоподобность эффекта наблюдателя в теории привели исследователей к постулированию того, что этот эффект может иметь место на втором уровне. Таким образом, было высказано предположение, что существует вторичный эффект наблюдателя, когда исследователи, работающие с вторичными данными, такими как данные опроса или различные индикаторы, могут повлиять на результаты их научного исследования. Вместо того, чтобы оказывать влияние на субъектов (как в случае с первичным эффектом наблюдателя), исследователи, вероятно, имеют свои собственные особенности, которые влияют на то, как они обрабатывают данные, и даже на то, какие данные они получают из вторичных источников. Во-первых, исследователи могут выбирать, казалось бы, безобидные шаги в своих статистических анализах, которые в конечном итоге приводят к существенно разным результатам с использованием тех же данных; например, стратегии взвешивания, методы факторного анализа или выбор оценки. Кроме того, исследователи могут использовать программные пакеты с разными настройками по умолчанию, что приводит к небольшим, но значительным колебаниям. Наконец, данные, которые используют исследователи, могут быть не идентичными, даже если это так кажется. Например, ОЭСР собирает и распространяет различные социально-экономические данные; Однако эти данные со временем меняются, так что исследователь, который загружает данные по ВВП Австралии за 2000 год, может иметь немного иные значения, чем исследователь, который загружает те же данные по ВВП Австралии за 2000 год несколько лет спустя. Идея эффекта вторичного наблюдателя была высказана Нейтом Брезнау в пока что относительно малоизвестной статье. [36]

Хотя этому явлению уделялось мало внимания, его научные последствия очень велики. [37] Доказательства этого эффекта можно увидеть в недавних исследованиях, в которых конкретная проблема назначается нескольким исследователям или исследовательским группам, которые затем работают независимо, используя те же данные, чтобы попытаться найти решение. Это процесс, называемый краудсорсинговым анализом данных, который использовался в новаторском исследовании Зильберзана, Рафаэля, Эрика Ульмана, Дэна Мартина и Брайана Носека и др. (2015) о красных карточках и расе игроков в футболе (т. е. соккере). [38] [39]

Смотрите также

Ссылки

  1. ^ Маккарни Р., Уорнер Дж., Илиффе С., ван Хаселен Р., Гриффин М., Фишер П. (2007). «Эффект Хоторна: рандомизированное контролируемое исследование». BMC Med Res Methodol . 7 : 30. doi : 10.1186/1471-2288-7-30 . PMC  1936999. PMID  17608932 .
  2. ^ Fox NS, Brennan JS, Chasen ST (2008). «Клиническая оценка веса плода и эффекта Хоторна». Eur. J. Obstet. Gynecol. Reprod. Biol . 141 (2): 111–114. doi :10.1016/j.ejogrb.2008.07.023. PMID  18771841.
  3. ^ ab Levitt SD , List JA (2011). «Был ли на заводе в Хоторне действительно эффект Хоторна? Анализ первоначальных экспериментов по освещению» (PDF) . American Economic Journal: Applied Economics . 3 : 224–238. doi :10.1257/app.3.1.224.
  4. ^ Шонфельд И.С., Чанг Ч.Х. (2017). Психология профессионального здоровья: работа, стресс и здоровье . Нью-Йорк: Springer. ISBN 978-0-8261-9967-6.
  5. ^ Singletary R (21 марта 2017 г.). "Генри Ландсбергер 1926-2017". Кафедра социологии . Университет Северной Каролины в Чапел-Хилл. Архивировано из оригинала 30 марта 2017 г.
  6. ^ ab Landsberger HA (1958). Возвращение в Хоторн . Итака: Корнельский университет. OCLC  61637839.
  7. ^ Utts JM, Heckard RF (2021). Mind on Statistics . Cengage Learning. стр. 222. ISBN 978-1-337-79488-6.
  8. ^ Кокс Э. (2000). Психология для уровня AS . Оксфорд: Oxford University Press. стр. 158. ISBN 0198328249.
  9. ^ Olson, R., Verley, J., Santos, L., Salas, C. (2004). «Чему мы учим студентов о Хоторнских исследованиях: обзор содержания в выборке вводных учебников IO и OB» (PDF) . The Industrial-Organizational Psychologist . 41 : 23–39. Архивировано из оригинала (PDF) 3 ноября 2011 г.
  10. ↑ Элтон Мэйо, Хоторн и Western Electric Company , Социальные проблемы индустриальной цивилизации , Routledge, 1949.
  11. ^ Боуи ДА. "Мотивация на работе: ключевой вопрос в оплате труда". Архивировано из оригинала 1 июля 2007 г. Получено 22 ноября 2011 г.{{cite web}}: CS1 maint: bot: original URL status unknown (link)
  12. ^ ab Mayo, Elton (1945) Социальные проблемы индустриальной цивилизации. Бостон: Отдел исследований, Высшая школа делового администрирования, Гарвардский университет, стр. 72
  13. ^ Хенслин Дж. М. (2008). Социология: приземленный подход (9-е изд.). Pearson Education . стр. 140. ISBN 978-0-205-57023-2.
  14. ↑ Колата Г. (6 декабря 1998 г.). «Научные мифы, которые слишком хороши, чтобы умереть». New York Times .
  15. ^ Adair J (1984). "The Hawthorne Effect: A reconsideration of the methodological artifact" (PDF) . Journal of Applied Psychology . 69 (2): 334–345. doi :10.1037/0021-9010.69.2.334. S2CID  145083600. Архивировано из оригинала (PDF) 15 декабря 2013 г. . Получено 12 декабря 2013 г. .
  16. ^ abcd Parsons HM (1974). «Что произошло в Хоторне?: Новые данные свидетельствуют о том, что эффект Хоторна возник в результате непредвиденных обстоятельств оперантного подкрепления». Science . 183 (4128): 922–932. doi :10.1126/science.183.4128.922. PMID  17756742. S2CID  38816592.
  17. ^ Стил-Джонсон Д., Борегард Р.С., Хувер П.Б., Шмидт А.М. (2000). «Влияние ориентации на цель и требования к задаче на мотивацию, аффект и производительность». Журнал прикладной психологии . 85 (5): 724–738. doi :10.1037/0021-9010.85.5.724. PMID  11055145.
  18. ^ Clark RE, Sugrue BM (1991). "30. Исследования в области учебных средств массовой информации, 1978–1988". В GJAnglin (ред.). Учебные технологии: прошлое, настоящее и будущее . Энглвуд, Колорадо: Libraries Unlimited. стр. 327–343.
  19. ^ ab Braverman H (1974). Труд и монополистический капитал . Нью-Йорк: Monthly Review Press. С. 144–145. ISBN 978-0853453406.
  20. ↑ Программа BBC Radio 4 More Or Less , «Эффект Хоторна», транслировалась 12 октября 2013 г., представлена ​​Тимом Харфордом при участии Джона Листа.
  21. ^ Левитт SD, Лист JA (2011). «Был ли действительно эффект Хоторна на заводе в Хоторне? Анализ первоначальных экспериментов по освещению» (PDF) . American Economic Journal: Applied Economics . 3 (1): 224–238. doi :10.1257/app.3.1.224. S2CID  16678444.
  22. ^ "Легкая работа". The Economist . 6 июня 2009 г., стр. 80.
  23. ^ Джонс SR (1992). «Был ли эффект Хоторна?» (PDF) . Американский журнал социологии . 98 (3): 451–468. doi :10.1086/230046. JSTOR  2781455. S2CID  145357472.
  24. ↑ Подкаст, More or Less 12 октября 2013 г., с 6 мин 15 сек.
  25. ^ Wickström G, Bendix T (2000). «Эффект Хоторна» — что на самом деле показали оригинальные исследования Хоторна?». Scandinavian Journal of Work, Environment & Health . 26 (4). Scandinavian Journal of Work, Environment and Health: 363–367. doi : 10.5271/sjweh.555 .
  26. ^ Kohli E, Ptak J, Smith R, Taylor E, Talbot EA, Kirkland KB (2009). «Изменчивость эффекта Хоторна в отношении эффективности гигиены рук в высоко- и низкоэффективных стационарных отделениях». Infect Control Hosp Epidemiol . 30 (3): 222–225. doi :10.1086/595692. PMID  19199530. S2CID  19058173.
  27. ^ Cocco G (2009). «Эректильная дисфункция после терапии метопрололом: эффект боярышника». Кардиология . 112 (3): 174–177. doi :10.1159/000147951. PMID  18654082. S2CID  41426273.
  28. ^ Леонард К. Л. (2008). «Чувствительна ли удовлетворенность пациентов к изменениям в качестве медицинской помощи? Эксплуатация эффекта Хоторна». J Health Econ . 27 (2): 444–459. doi :10.1016/j.jhealeco.2007.07.004. PMID  18192043.
  29. ^ "Что такое эффект Хоторна?". MBA Learner . 22 февраля 2018 г. Архивировано из оригинала 26 февраля 2018 г. Получено 25 февраля 2018 г.
  30. ^ Salkind N (2010). Энциклопедия дизайна исследований, том 2. Thousand Oaks, CA: Sage Publications, Inc. стр. 561. ISBN 978-1412961271.
  31. ^ Кирби М., Кидд В., Кубель Ф., Бартер Дж., Хоуп Т., Киртон А., Мадри Н., Мэннинг П., Триггс К. (2000). Социология в перспективе . Оксфорд: Heinemann. С. G-359. ISBN 978-0435331603.
  32. ^ Гринвуд РГ, Болтон АА, Гринвуд РА (1983). «Хоторн полвека спустя: участники релейной сборки вспоминают». Журнал управления . 9 (2): 217–231. doi :10.1177/014920638300900213. S2CID  145767422.
  33. ^ Menezes P, Miller WC, Wohl DA, Adimora AA, Leone PA, Eron JJ (2011). «Переходит ли эффективность HAART в результативность? Доказательства эффекта испытания». PLoS ONE . 6 (7): e21824. Bibcode : 2011PLoSO...621824M. doi : 10.1371/journal.pone.0021824 . PMC 3135599. PMID  21765918 . {{citation}}: CS1 maint: postscript (link)
  34. ^ Braunholtz DA, Edwards SJ, Lilford RJ (2001). «Являются ли рандомизированные клинические испытания полезными для нас (в краткосрочной перспективе)? Доказательства «эффекта испытания»". J Clin Epidemiol . 54 (3): 217–224. doi :10.1016/s0895-4356(00)00305-x. PMID  11223318.{{citation}}: CS1 maint: postscript (link)
  35. ^ Маккарни Р., Уорнер Дж., Илиффе С., ван Хаселен Р., Гриффин М., Фишер П. (2007). «Эффект Хоторна: рандомизированное контролируемое исследование». Методология медицинских исследований BMC . 7 : 30. doi : 10.1186/1471-2288-7-30 . PMC 1936999. PMID  17608932 . {{citation}}: CS1 maint: postscript (link)
  36. ^ Breznau N (3 мая 2016 г.). «Эффекты вторичного наблюдателя: идиосинкразические ошибки в анализе вторичных данных с малым N». International Journal of Social Research Methodology . 19 (3): 301–318. doi : 10.1080/13645579.2014.1001221. ISSN  1364-5579. S2CID  145402768.
  37. ^ Shi Y, Sorenson O, Waguespack D (30 января 2017 г.). «Временные проблемы репликации: стабильность преимуществ, основанных на центральности». Социологическая наука . 4 : 107–122. doi : 10.15195/v4.a5 . ISSN  2330-6696.
  38. ^ Silberzahn R, Uhlmann EL, Martin DP, Nosek BA и др. (2015). «Много аналитиков, один набор данных: делаем прозрачным, как влияют различия в аналитическом выборе». OSF.io . Получено 7 декабря 2016 г.
  39. ^ «Краудсорсинг данных для улучшения макро-сравнительных исследований». Журнал политики и политики . 26 марта 2015 г. Получено 7 декабря 2016 г.

Внешние ссылки