Почему большинство опубликованных результатов исследований являются ложными
Эссе 2005 года, написанное Джоном Иоаннидисом
PDF-файл статьи
« Почему большинство опубликованных результатов исследований являются ложными » — это эссе, написанное в 2005 году Джоном Иоаннидисом , профессором Стэнфордской школы медицины , и опубликованное в журнале PLOS Medicine . [1] Это считается основополагающим в области метанауки .
В статье Иоаннидис утверждает, что большое количество, если не большинство, опубликованных медицинских исследовательских работ содержат результаты, которые невозможно воспроизвести . Проще говоря, в эссе говорится, что ученые используют проверку гипотез , чтобы определить, значимы ли научные открытия. Статистическая значимость формализуется с точки зрения вероятности, а ее показатель p- значения упоминается в научной литературе как механизм отбора. Иоаннидис выдвинул предположения о том, как люди проводят эти тесты и сообщают о них; затем он построил статистическую модель, которая показывает, что большинство опубликованных результатов, скорее всего, являются ложноположительными результатами .
Аргумент
Предположим, что в данной научной области существует известная базовая вероятность того, что результат верен, обозначаемый . При проведении исследования вероятность получения положительного результата равна . Учитывая эти два фактора, мы хотим вычислить условную вероятность , известную как положительная прогностическая ценность (PPV). Теорема Байеса позволяет нам вычислить PPV как:
Однако простая формула PPV, полученная на основе теоремы Байеса, не учитывает предвзятость в дизайне исследования или отчетности. Некоторые опубликованные результаты не были бы представлены как результаты исследований, если бы не предвзятость исследователей. Пусть будет вероятность того, что анализ был опубликован только из-за предвзятости исследователя. Тогда PPV определяется более общим выражением:
[2] [3] [4]
Учитывая реальность предвзятости, низкую статистическую мощность и небольшое количество истинных гипотез, Иоаннидис заключает, что большинство исследований в различных научных областях, скорее всего, сообщат о ложных результатах.
Следствия
В дополнение к основному результату Иоаннидис перечисляет шесть следствий факторов, которые могут повлиять на надежность опубликованных исследований.
Результаты исследований в научной области с меньшей вероятностью будут правдивыми,
чем горячее научное поле (с участием большего количества научных групп).
Иоаннидис внес свой вклад в эту работу, внося свой вклад в метаэпидемиологическое исследование, которое показало, что только 1 из 20 вмешательств, протестированных в Кокрейновских обзорах, имеет преимущества, подтвержденные доказательствами высокого качества. [5] Он также внес свой вклад в исследование, предполагая, что качество этих доказательств, похоже, не улучшается с течением времени. [6]
Прием
Несмотря на скептицизм по поводу крайних заявлений, сделанных в статье, более широкие аргументы и предупреждения Иоаннидиса были приняты большим количеством исследователей. [7] Рост метанауки и признание кризиса научной репликации укрепили авторитет статьи и привели к призывам к методологическим реформам в научных исследованиях. [8] [9]
В комментариях и технических ответах статистики Гудман и Гренландия выявили несколько слабых мест в модели Иоаннидиса. [10] [11] Использование Иоаннидисом драматических и преувеличенных формулировок о том, что он «доказал», что утверждения большинства результатов исследований ложны и что «большинство результатов исследований ложны для большинства исследовательских проектов и для большинства областей » [курсив добавлен] было отклонено, и все же они согласились с выводами и рекомендациями его статьи.
Специалисты по биостатистике Джагер и Лик раскритиковали модель как основанную на обоснованных, но произвольных предположениях, а не на эмпирических данных, и провели собственное исследование, в ходе которого подсчитали, что уровень ложноположительных результатов в биомедицинских исследованиях оценивается примерно в 14%, а не более 50%, поскольку — заявил Иоаннидис. [12] Их статья была опубликована в специальном выпуске журнала Biostatistics за 2014 год вместе с расширенной критикой со стороны других статистиков. Лик резюмировал ключевые моменты соглашения следующим образом: когда речь идет о частоте ложных открытий с научной точки зрения, необходимо приводить данные; существуют разные подходы для оценки уровня ложных открытий с научной точки зрения; и «весьма маловероятно, что большинство опубликованных исследований являются ложными», но это, вероятно, зависит от определения «большинства» и «ложности». [13]
Статистик Ульрих Шиммак подчеркнул важность эмпирической основы для моделей, отметив, что сообщаемый уровень ложных открытий в некоторых научных областях не является фактическим уровнем открытий, поскольку о незначительных результатах сообщается редко. Теоретическая модель Иоаннидиса этого не учитывает, но когда статистический метод («z-кривая») для оценки количества неопубликованных несущественных результатов применяется к двум примерам, уровень ложноположительных результатов составляет от 8% до 17%, а не более 50%. [14]
Причины высокого уровня ложноположительных результатов
Несмотря на эти слабости, тем не менее, существует общее согласие с проблемой и рекомендациями, которые обсуждает Иоаннидис, однако его тон был описан как «драматичный» и «тревожно вводящий в заблуждение», что рискует заставить людей излишне скептически или цинично относиться к науке. [10] [15]
Долгосрочным результатом этой работы стало осознание основных причин высокого уровня ложноположительных результатов в клинической медицине и биомедицинских исследованиях, а также усилия журналов и ученых по их смягчению. В 2016 году Иоаннидис переформулировал эти движущие силы следующим образом: [16]
Индивидуальный, разрозненный исследователь, ограниченный небольшим размером выборки
^ Иоаннидис, Джон П.А. (2005). «Почему большинство опубликованных результатов исследований ложны». ПЛОС Медицина . 2 (8): е124. дои : 10.1371/journal.pmed.0020124 . ISSN 1549-1277. ПМЦ 1182327 . ПМИД 16060722.
^ Баттон, Кэтрин С.; Иоаннидис, Джон П.А.; Мокрыш, Клэр; Носек, Брайан А.; Флинт, Джонатан; Робинсон, Эмма С.Дж.; Мунафо, Маркус Р. (2013). «Сбой в электроснабжении: почему небольшой размер выборки подрывает надежность нейробиологии». Обзоры природы Неврология . 14 (5): 365–376. дои : 10.1038/nrn3475 . ISSN 1471-0048. ПМИД 23571845.
^ Шуч, Денес; Иоаннидис, Джон Пенсильвания (2 марта 2017 г.). «Эмпирическая оценка опубликованных размеров и силы эффекта в последней литературе по когнитивной нейробиологии и психологии». ПЛОС Биология . 15 (3): e2000797. дои : 10.1371/journal.pbio.2000797 . ISSN 1545-7885. ПМК 5333800 . ПМИД 28253258.
^ Иоаннидис, Джон Пенсильвания; Стэнли, Т.Д.; Дукульягос, Христос (2017). «Сила предвзятости в экономических исследованиях». Экономический журнал . 127 (605): Ф236–Ф265. дои : 10.1111/ecoj.12461 . ISSN 1468-0297. S2CID 158829482.
^ Хоуик, Джереми; Колеци, Деспина; Иоаннидис, Джон П.А.; Мэдиган, Клэр; Пандис, Николаос; Лоф, Мартин; Валах, Харальд; Зауэр, Себастьян; Клейнен, Йос; Сира, Джадбиндер; Джонсон, Тесс; Шмидт, Стефан (1 августа 2022 г.). «Большинство медицинских вмешательств, протестированных в Кокрейновских обзорах, не эффективны согласно доказательствам высокого качества: систематический обзор и метаанализ». Журнал клинической эпидемиологии . 148 : 160–169. doi :10.1016/j.jclinepi.2022.04.017. PMID 35447356. S2CID 248250137 – через www.jclinepi.com.
^ Хоуик, Джереми; Колеци, Деспина; Пандис, Николаос; Флеминг, Падрейг С.; Лоф, Мартин; Валах, Харальд; Шмидт, Стефан; Иоаннидис, Джон П.А. (1 октября 2020 г.). «Качество доказательств медицинского вмешательства не улучшается и не ухудшается: метаэпидемиологическое исследование Кокрейновских обзоров». Журнал клинической эпидемиологии . 126 : 154–159. doi :10.1016/j.jclinepi.2020.08.005. PMID 32890636. S2CID 221512241 – через www.jclinepi.com.
^ Беллуз, Юлия (16 февраля 2015 г.). «Джон Иоаннидис посвятил свою жизнь количественной оценке разрушения науки». Вокс . Проверено 28 марта 2020 г.
^ «Малая мощность и кризис репликации: чему мы научились с 2004 года (или 1984, или 1964 года)? «Статистическое моделирование, причинный вывод и социальные науки». statmodeling.stat.columbia.edu . Проверено 28 марта 2020 г.
^ Вассерштейн, Рональд Л.; Лазар, Николь А. (2 апреля 2016 г.). «Заявление ASA о p-значениях: контекст, процесс и цель». Американский статистик . 70 (2): 129–133. дои : 10.1080/00031305.2016.1154108 . ISSN 0003-1305.
^ аб Гудман, Стивен; Гренландия, Сандер (24 апреля 2007 г.). «Почему большинство опубликованных результатов исследований ложны: проблемы анализа». ПЛОС Медицина . 4 (4): е168. doi : 10.1371/journal.pmed.0040168 . ПМК 1855693 . ПМИД 17456002.
^ Гудман, Стивен; Гренландия, Сандер. «ОЦЕНКА НЕНАДЕЖНОСТИ МЕДИЦИНСКОЙ ЛИТЕРАТУРЫ: ОТВЕТ НА «ПОЧЕМУ БОЛЬШИНСТВО ПУБЛИКУЕМЫХ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЙ ЛОЖНЫ»». Коллекция архива биостатистических исследований . Рабочий документ 135: Рабочие документы кафедры биостатистики Университета Джонса Хопкинса. Архивировано из оригинала 2 ноября 2018 года.{{cite web}}: CS1 maint: location (link)
^ Джагер, Лия Р.; Лик, Джеффри Т. (1 января 2014 г.). «Оценка количества ложных открытий с научной точки зрения и их применение в ведущей медицинской литературе». Биостатистика . Оксфордский академический. 15 (1): 1–12. doi : 10.1093/biostatistics/kxt007 . PMID 24068246. Архивировано из оригинала 11 июня 2020 года.
^ Лик, Джефф. «Большая часть науки ложна? Титаны вносят свой вклад». Сайт juststatistics.org . Архивировано из оригинала 31 января 2017 года.
↑ Шиммак, Ульрих (16 января 2019 г.). «Иоаннидис (2005) ошибался: большинство опубликованных результатов исследований не являются ложными». Индекс воспроизводимости . Архивировано из оригинала 19 сентября 2020 года.
↑ Ингрэм, Пол (15 сентября 2016 г.). «Иоаннидис: выставляет науку в плохом свете с 2005 года». www.PainScience.com . Архивировано из оригинала 21 июня 2020 года.
↑ Миникель, Эрик В. (17 марта 2016 г.). «Джон Иоаннидис: Состояние исследований в области исследований». www.cureffi.org . Архивировано из оригинала 17 января 2020 года.
дальнейшее чтение
Университет Карнеги-Меллона, Клуб статистических журналов: Краткое изложение и обсуждение: «Почему большинство опубликованных результатов исследований являются ложными»
Приложения к экономике: Де Лонг, Дж. Брэдфорд; Лэнг, Кевин. «Все ли экономические гипотезы ложны?» Журнал политической экономии. 100 (6): 1257–1272, 1992 г.
Приложения к общественным наукам: Хардвик, Том Э.; Уоллах, Джошуа Д.; Кидвелл, Мэллори К.; Бендиксен, Тайсс; Крювелл София и Иоаннидис, Джон П.А. «Эмпирическая оценка исследовательских практик, связанных с прозрачностью и воспроизводимостью, в социальных науках (2014–2017)». Королевское общество открытой науки. 7: 190806, 2020.
Внешние ссылки
Видео на YouTube, посвященное Инициативе Беркли по прозрачности в социальных науках , 2016 г., «Почему большинство опубликованных результатов исследований являются ложными» (Часть I, Часть II, Часть III)
Видео Джона Иоаннидиса на YouTube на выступлениях в Google , 2014 г. «Воспроизводимые исследования: правда или ложь?»