В опубликованных академических исследованиях предвзятость публикации возникает , когда результаты эксперимента или исследования влияют на решение о их публикации или ином распространении. Публикация только тех результатов, которые демонстрируют существенные результаты, нарушает баланс результатов в пользу положительных результатов. [1] Изучение предвзятости публикаций является важной темой в метанауке .
Несмотря на одинаковое качество исполнения и дизайна , [2] статьи со статистически значимыми результатами имеют в три раза больше шансов быть опубликованными, чем статьи с нулевыми результатами . [3] Это неоправданно мотивирует исследователей манипулировать своей практикой для обеспечения статистически значимых результатов, например, путем сбора данных . [4]
Многие факторы способствуют предвзятости публикаций. [5] [6] Например, как только научное открытие будет хорошо установлено, может стать заслуживающим внимания публикация надежных статей, которые не могут отвергнуть нулевую гипотезу . [7] Чаще всего исследователи просто отказываются предоставлять результаты, что приводит к систематической ошибке отсутствия ответов . Исследователи также могут предположить, что они допустили ошибку, обнаружить, что нулевой результат не подтверждает известный вывод, потерять интерес к теме или ожидать, что нулевые результаты не заинтересуют других. [2] Природа этих проблем и вытекающие из них проблемы образуют пять болезней, которые угрожают науке: « сигнификоз , чрезмерная сосредоточенность на статистически значимых результатах; неофилия , чрезмерная признательность за новизну; теорея , мания новой теории; аригорий , недостаток строгости в теоретической и эмпирической работе и, наконец, дизъюнктивит , склонность создавать множество повторяющихся, тривиальных и бессвязных работ». [8]
Попытки найти неопубликованные исследования часто оказываются трудными или неудовлетворительными. [5] В целях борьбы с этой проблемой некоторые журналы требуют, чтобы исследования, представленные для предварительной регистрации публикации (до сбора и анализа данных) в таких организациях, как Центр открытой науки .
Другие предлагаемые стратегии выявления и контроля предвзятости публикаций [5] включают анализ p-кривой [9] и неприятие небольших и нерандомизированных исследований из-за высокой восприимчивости к ошибкам и предвзятости. [2]
Предвзятость публикации возникает, когда публикация результатов исследования зависит не только от качества исследования, но и от проверенной гипотезы, а также от значимости и направления обнаруженных эффектов. [10] Впервые эта тема была обсуждена в 1959 году статистиком Теодором Стерлингом, имея в виду области, в которых с большей вероятностью будут опубликованы «успешные» исследования. В результате «литература в этой области состоит в значительной части ложных выводов, возникающих в результате ошибок первого рода в статистических критериях значимости». [11] В худшем случае ложные выводы могут быть канонизированы как истинные, если уровень публикации отрицательных результатов слишком низок. [12]
Предвзятость публикации иногда называют эффектом ящика с файлами или проблемой ящика с файлами . Этот термин предполагает, что результаты, не подтверждающие гипотезы исследователей, часто не выходят за пределы ящиков с файлами исследователей, что приводит к предвзятости в опубликованных исследованиях. [13] Термин «проблема с папками» был придуман психологом Робертом Розенталем в 1979 году. [14]
Предвзятость положительных результатов, разновидность предвзятости публикации, возникает, когда авторы с большей вероятностью представят или редакторы с большей вероятностью примут положительные результаты, чем отрицательные или неубедительные результаты. [15] Ошибка в отчетности о результатах возникает, когда измеряются и анализируются несколько результатов, но отчетность об этих результатах зависит от силы и направления результатов. Общий термин, придуманный для описания такого постфактумного выбора, — это HARKing («Выдвижение гипотез после того, как стали известны результаты»). [16]
Существует обширное мета-исследование предвзятости публикаций в области биомедицины. Исследователи, следившие за клиническими испытаниями с момента подачи их протоколов в комитеты по этике (или регулирующие органы) до публикации их результатов, заметили, что те протоколы с положительными результатами, скорее всего, будут опубликованы. [18] [19] [20] Кроме того, исследования часто не сообщают об отрицательных результатах при публикации, о чем свидетельствуют исследования, сравнивающие протоколы исследований с опубликованными статьями. [21] [22]
Наличие предвзятости публикаций исследовалось в метаанализе . Самый крупный такой анализ исследовал наличие предвзятости публикаций в систематических обзорах методов лечения из Кокрановской библиотеки . [23] Исследование показало, что статистически положительные значимые результаты на 27% чаще включаются в метаанализ эффективности, чем другие результаты. Результаты, показывающие отсутствие доказательств побочных эффектов, имеют на 78% большую вероятность включения в исследования безопасности, чем статистически значимые результаты, показывающие побочные эффекты. Доказательства предвзятости публикаций были обнаружены в метаанализах, опубликованных в известных медицинских журналах. [24]
Проведены метаанализы (обзоры) в области экологии и биологии окружающей среды. В исследовании 100 метаанализов по экологии только 49% из них были проверены на предвзятость публикаций. [25] Хотя для выявления предвзятости публикаций было разработано множество тестов, большинство из них плохо работают в области экологии из-за высокого уровня неоднородности данных и того, что наблюдения часто не являются полностью независимыми. [26]
По состоянию на 1998 год [обновлять]«ни одно исследование, опубликованное в Китае или России/СССР, не выявило неэффективности тестового лечения». [27]
Там, где присутствует предвзятость публикации, опубликованные исследования больше не являются репрезентативной выборкой имеющихся доказательств. Эта предвзятость искажает результаты метаанализов и систематических обзоров . Например, доказательная медицина все больше полагается на метаанализ для оценки доказательств.
Мета-анализы и систематические обзоры могут объяснить предвзятость публикаций, включив данные из неопубликованных исследований и серой литературы. Наличие предвзятости публикации также можно выявить, построив воронкообразную диаграмму , на которой оценка заявленного размера эффекта отображается в зависимости от меры точности или размера выборки. Идея состоит в том, что разброс точек должен отражать форму воронки, что указывает на то, что сообщение о размерах эффекта не связано с их статистической значимостью. [29] Однако, когда небольшие исследования проводятся преимущественно в одном направлении (обычно в направлении большего эффекта), возникает асимметрия, и это может указывать на предвзятость публикации. [30]
Поскольку при интерпретации воронкообразных диаграмм существует неизбежная степень субъективности, было предложено несколько тестов для обнаружения асимметрии воронкообразных диаграмм. [29] [31] [32] Они часто основаны на линейной регрессии, включая популярный регрессионный тест Эггерса , [33] и могут использовать параметр мультипликативной или аддитивной дисперсии для корректировки наличия неоднородности между исследованиями. Некоторые подходы могут даже попытаться компенсировать (потенциальное) присутствие предвзятости публикаций, [23] [34] [35] , что особенно полезно для изучения потенциального влияния на результаты метаанализа. [36] [37] [38]
Исследование в области экологии и биологии окружающей среды показало, что предвзятость публикаций влияет на размер эффекта, статистическую мощность и величину. Распространенность предвзятости публикаций искажала уверенность в метааналитических результатах: 66% изначально статистически значимых метааналитических средних стали незначимыми после поправки на предвзятость публикации. [39] Экологические и эволюционные исследования неизменно имели низкую статистическую мощность (15%) с четырехкратным преувеличением эффектов в среднем (коэффициент ошибок типа M = 4,4).
Наличие систематической ошибки публикации можно обнаружить с помощью тестов на временную задержку, при которой систематическая ошибка возникает, когда более крупные или статистически значимые эффекты публикуются быстрее, чем меньшие или статистически значимые эффекты. Это может проявляться в уменьшении величины общего эффекта с течением времени. Ключевой особенностью тестов на погрешность с временной задержкой является то, что по мере накопления большего количества исследований ожидается, что средний размер эффекта будет приближаться к своему истинному значению. [26]
Два метаанализа эффективности ребоксетина как антидепрессанта продемонстрировали попытки обнаружить предвзятость публикаций в клинических исследованиях. На основании положительных данных испытаний ребоксетин первоначально был одобрен для лечения депрессии во многих странах Европы и Великобритании в 2001 году (хотя на практике он редко используется по этому показанию). Метаанализ 2010 года пришел к выводу, что ребоксетин неэффективен и что преобладание исследований с положительными результатами отражает предвзятость публикаций, в основном из-за исследований, опубликованных производителем лекарств Pfizer . Последующий метаанализ, опубликованный в 2011 году и основанный на исходных данных, обнаружил недостатки в анализе 2010 года и предположил, что данные указывают на то, что ребоксетин эффективен при тяжелой депрессии (см. « Ребоксетин § Эффективность »). Примеры предвзятости публикаций приведены Беном Голдакром [40] и Питером Уилмшерстом . [41]
В социальных науках исследование опубликованных статей, исследующих взаимосвязь между корпоративными социальными и финансовыми показателями, показало, что «в журналах по экономике, финансам и бухгалтерскому учету средние корреляции были лишь примерно вдвое меньше результатов, опубликованных в журналах Social Issues Management, Business». Журналы «Этика, или Бизнес и общество». [42]
Одним из примеров, приведенных в качестве примера предвзятости публикации, является отказ журнала «Журнал личности и социальной психологии » (первоначальный издатель статьи Бема) публиковать попытки воспроизведения работы Бема, в которой утверждались доказательства предвидения . [43]
Анализ [44] , сравнивающий исследования ассоциаций генов и заболеваний, происходящих в Китае, с исследованиями, происходящими за пределами Китая, показал, что исследования, проведенные внутри страны, показали более сильную связь и более статистически значимый результат. [45]
Джон Иоаннидис утверждает, что «заявленные результаты исследований часто могут быть просто точными показателями преобладающей предвзятости». [46] Он перечисляет следующие факторы, которые повышают вероятность попадания статьи с положительным результатом в литературу и подавляют статьи с отрицательным результатом:
Другие факторы включают предвзятость экспериментатора и предвзятость белой шляпы .
Предвзятость публикаций можно сдержать за счет более мощных исследований, повышения стандартов исследований и тщательного рассмотрения истинных и ложных взаимосвязей. [46] Более мощные исследования относятся к крупным исследованиям, которые дают окончательные результаты или проверяют основные концепции и приводят к метаанализу с низкой предвзятостью. Другими методами являются расширенные стандарты исследований, такие как предварительная регистрация протоколов, регистрация сбора данных и соблюдение установленных протоколов. Чтобы избежать ложноположительных результатов, экспериментатор должен учитывать вероятность того, что он проверяет истинную или ложную зависимость. Этого можно добиться путем надлежащей оценки вероятности ложноположительного отчета на основе статистической мощности теста [47] и повторного подтверждения (в тех случаях, когда это приемлемо с этической точки зрения) установленных результатов предыдущих исследований, которые, как известно, имеют минимальную систематическую ошибку.
В сентябре 2004 года редакторы известных медицинских журналов (включая New England Journal of Medicine , The Lancet , Annals of Internal Medicine и JAMA ) объявили, что они больше не будут публиковать результаты исследований лекарств, спонсируемых фармацевтическими компаниями, если эти исследования не будут зарегистрированы. с самого начала в публичной базе данных реестра клинических испытаний . [48] Кроме того, некоторые журналы (например, Trials ) поощряют публикацию протоколов исследований в своих журналах. [49]
Всемирная организация здравоохранения (ВОЗ) согласилась с тем, что основная информация обо всех клинических испытаниях должна быть зарегистрирована в начале исследования и что эта информация должна быть общедоступной через Международную платформу регистрации клинических испытаний ВОЗ . Кроме того, для исследований становится все более распространенным явлением публичная доступность полных протоколов исследований, а также отчетов об испытаниях. [50]
В рамках мегаисследования одновременно тестируется большое количество методов лечения. Учитывая включение в исследование различных вмешательств, вероятность публикации мегаисследования меньше зависит от статистически значимого эффекта любого конкретного лечения, поэтому было высказано предположение, что мегаисследование может быть менее подвержено предвзятости публикации. [51] Например, вмешательство, признанное неэффективным, было бы легче опубликовать в рамках мегаисследования как всего лишь одно из многих изученных вмешательств, тогда как о нем могло бы остаться незамеченным из-за проблемы с ящиком для документов, если бы оно было единственным объектом внимания задуманная бумага. По той же причине дизайн мегаисследования может побудить исследователей изучать не только те вмешательства, которые они считают более эффективными, но и те вмешательства, в отношении которых исследователи менее уверены и которые они не выбрали бы в качестве единственного фокуса исследования из-за воспринимаемый высокий риск нулевого эффекта.
{{cite journal}}
: CS1 maint: несколько имен: список авторов ( ссылка )