В опубликованных академических исследованиях предвзятость публикации возникает, когда результат эксперимента или исследования влияет на решение опубликовать или иным образом распространить его. Публикация только результатов, которые показывают значимый вывод, нарушает баланс выводов в пользу положительных результатов. [1] Изучение предвзятости публикации является важной темой в метанауке .
Несмотря на одинаковое качество исполнения и дизайна , [2] статьи со статистически значимыми результатами имеют в три раза больше шансов быть опубликованными, чем статьи с нулевыми результатами . [3] Это неоправданно мотивирует исследователей манипулировать своей практикой, чтобы обеспечить статистически значимые результаты, например, путем выуживания данных . [4]
Многие факторы способствуют предвзятости публикации. [5] [6] Например, как только научное открытие хорошо обосновано, может стать интересным публиковать надежные статьи, которые не опровергают нулевую гипотезу . [7] Чаще всего исследователи просто отказываются представлять результаты, что приводит к предвзятости из-за отсутствия ответа . Исследователи также могут предположить, что они совершили ошибку, обнаружить, что нулевой результат не подтверждает известный вывод, потерять интерес к теме или ожидать, что другие не будут заинтересованы в нулевых результатах. [2] Природа этих вопросов и возникающие проблемы образуют пять болезней, которые угрожают науке: « significosis , чрезмерная сосредоточенность на статистически значимых результатах; neophilia , чрезмерная оценка новизны; theorrrhea , мания новой теории; arigorium , недостаток строгости в теоретической и эмпирической работе; и, наконец, disjunctivitis , склонность производить много избыточных, тривиальных и бессвязных работ». [8]
Попытки найти неопубликованные исследования часто оказываются трудными или неудовлетворительными. [5] В попытке бороться с этой проблемой некоторые журналы требуют, чтобы исследования, представленные для публикации, предварительно регистрировались (до сбора и анализа данных) в таких организациях, как Центр открытой науки .
Другие предлагаемые стратегии обнаружения и контроля систематической ошибки публикации [5] включают анализ p-кривой [9] и невыгодное использование небольших и нерандомизированных исследований из-за высокой подверженности ошибкам и смещению. [2]
Ошибка публикации возникает, когда публикация результатов исследования зависит не только от качества исследования, но и от проверенной гипотезы, а также значимости и направления обнаруженных эффектов. [10] Впервые этот вопрос обсуждался в 1959 году статистиком Теодором Стерлингом для обозначения областей, в которых «успешные» исследования с большей вероятностью будут опубликованы. В результате «литература такой области в значительной степени состоит из ложных выводов, являющихся результатом ошибок первого рода в статистических тестах значимости». [11] В худшем случае ложные выводы могут канонизироваться как истинные, если уровень публикации отрицательных результатов слишком низок. [12]
Один из эффектов предвзятости публикации иногда называют эффектом ящика для файлов или проблемой ящика для файлов . Этот термин предполагает, что отрицательные результаты, те, которые не поддерживают первоначальные гипотезы исследователей, часто «откладываются» и не идут дальше ящиков для файлов исследователей, что приводит к предвзятости в опубликованных исследованиях. [13] Термин «проблема ящика для файлов» был придуман психологом Робертом Розенталем в 1979 году. [14]
Смещение положительных результатов, тип смещения публикации, происходит, когда авторы с большей вероятностью представят, или редакторы с большей вероятностью примут положительные результаты, чем отрицательные или неубедительные результаты. [15] Смещение сообщения о результатах происходит, когда измеряются и анализируются множественные результаты, но сообщение этих результатов зависит от силы и направления их результатов. Общий термин, придуманный для описания этих постфактум выборов, — HARKing («Выдвижение гипотез после того, как известны результаты»). [16]
Существует обширное мета-исследование по предвзятости публикаций в области биомедицины. Исследователи, следившие за клиническими испытаниями с момента подачи их протоколов в этические комитеты (или регулирующие органы) до публикации их результатов, заметили, что те, у кого были положительные результаты, с большей вероятностью будут опубликованы. [18] [19] [20] Кроме того, исследования часто не сообщают об отрицательных результатах при публикации, как показали исследования, сравнивающие протоколы исследований с опубликованными статьями. [21] [22]
Наличие публикационной предвзятости было исследовано в метаанализах . Самый большой такой анализ исследовал наличие публикационной предвзятости в систематических обзорах медицинских методов лечения из библиотеки Кокрейна . [23] Исследование показало, что статистически положительные значимые результаты на 27% чаще включаются в метаанализы эффективности, чем другие результаты. Результаты, не показывающие доказательств побочных эффектов, имеют на 78% большую вероятность включения в исследования безопасности, чем статистически значимые результаты, показывающие побочные эффекты. Доказательства публикационной предвзятости были обнаружены в метаанализах, опубликованных в известных медицинских журналах. [24]
Метаанализы (обзоры) были проведены в области экологии и экологической биологии. В исследовании 100 метаанализов в области экологии только 49% были проверены на предмет публикационной предвзятости. [25] Хотя существует множество тестов, разработанных для выявления публикационной предвзятости, большинство из них плохо работают в области экологии из-за высокого уровня гетерогенности данных и того, что часто наблюдения не являются полностью независимыми. [26]
По состоянию на 1998 год [обновлять]«ни одно исследование, опубликованное в Китае или России/СССР, не показало, что тестовое лечение неэффективно». [27]
При наличии предвзятости публикации опубликованные исследования больше не являются репрезентативной выборкой имеющихся доказательств. Эта предвзятость искажает результаты метаанализов и систематических обзоров . Например, доказательная медицина все больше полагается на метаанализ для оценки доказательств.
Метаанализы и систематические обзоры могут учитывать публикационную ошибку, включая доказательства из неопубликованных исследований и серой литературы. Наличие публикационной ошибки также можно исследовать, построив воронкообразный график , на котором оценка сообщаемого размера эффекта наносится на график в зависимости от меры точности или размера выборки. Предпосылка заключается в том, что разброс точек должен отражать форму воронки, указывая на то, что сообщение о размерах эффекта не связано с их статистической значимостью. [29] Однако, когда небольшие исследования преимущественно направлены в одном направлении (обычно в направлении больших размеров эффекта), возникнет асимметрия, и это может указывать на публикационную ошибку. [30]
Поскольку в интерпретации воронкообразных диаграмм существует неизбежная степень субъективности, было предложено несколько тестов для обнаружения асимметрии воронкообразных диаграмм. [29] [31] [32] Они часто основаны на линейной регрессии, включая популярный тест регрессии Эггерса , [33] и могут использовать мультипликативный или аддитивный параметр дисперсии для корректировки наличия гетерогенности между исследованиями. Некоторые подходы могут даже пытаться компенсировать (потенциальное) наличие публикационной ошибки, [23] [34] [35] , что особенно полезно для изучения потенциального влияния на результаты метаанализа. [36] [37] [38]
В экологии и биологии окружающей среды исследование показало, что публикационная предвзятость влияет на размер эффекта, статистическую мощность и величину. Распространенность публикационной предвзятости искажает уверенность в метааналитических результатах, при этом 66% изначально статистически значимых метааналитических средних значений становятся незначимыми после коррекции публикационной предвзятости. [39] Экологические и эволюционные исследования постоянно имеют низкую статистическую мощность (15%) с 4-кратным преувеличением эффектов в среднем (коэффициенты ошибок типа M = 4,4).
Наличие смещения публикации может быть обнаружено с помощью тестов смещения с задержкой по времени, где смещение с задержкой по времени происходит, когда более крупные или статистически значимые эффекты публикуются быстрее, чем более мелкие или статистически незначимые эффекты. Это может проявляться в снижении величины общего эффекта с течением времени. Ключевой особенностью тестов смещения с задержкой по времени является то, что по мере накопления большего количества исследований ожидается, что средний размер эффекта будет приближаться к своему истинному значению. [26]
Два метаанализа эффективности ребоксетина как антидепрессанта продемонстрировали попытки обнаружить публикационную ошибку в клинических испытаниях. На основании положительных данных испытаний ребоксетин был первоначально принят в качестве средства для лечения депрессии во многих странах Европы и Великобритании в 2001 году (хотя на практике он редко используется по этому показанию). Метаанализ 2010 года пришел к выводу, что ребоксетин был неэффективен и что преобладание испытаний с положительным результатом отражало публикационную ошибку, в основном из-за испытаний, опубликованных производителем препарата Pfizer . Последующий метаанализ, опубликованный в 2011 году, на основе исходных данных, обнаружил недостатки в анализах 2010 года и предположил, что данные указывали на эффективность ребоксетина при тяжелой депрессии (см. Reboxetine § Efficacy ). Примеры публикационной ошибки приведены Беном Голдакром [40] и Питером Уилмсхерстом [41] .
В социальных науках исследование опубликованных статей, посвященных взаимосвязи между корпоративной социальной и финансовой эффективностью, показало, что «в журналах по экономике, финансам и бухгалтерскому учету средние корреляции составляли лишь около половины величины результатов, опубликованных в журналах Social Issues Management, Business Ethics или Business and Society». [42]
Одним из примеров, приводимых в качестве примера предвзятости публикации, является отказ опубликовать попытки воспроизведения работы Бема, в которой утверждалось, что существуют доказательства предвидения, в журнале «The Journal of Personality and Social Psychology» (первоначальном издателе статьи Бема) [43] .
Анализ [44], сравнивающий исследования ассоциаций генов и заболеваний, проведенные в Китае, с исследованиями, проведенными за пределами Китая, показал, что исследования, проведенные в стране, показали более сильную связь и более статистически значимый результат. [45]
Джон Иоаннидис утверждает, что «заявленные результаты исследований часто могут быть просто точными показателями преобладающей предвзятости». [46] Он перечисляет следующие факторы, которые повышают вероятность попадания статьи с положительным результатом в литературу и подавляют статьи с отрицательным результатом:
К другим факторам относятся предвзятость экспериментатора и предвзятость «белой шляпы» .
Смещение публикации может быть ограничено за счет более мощных исследований, расширенных стандартов исследования и тщательного рассмотрения истинных и ложных связей. [46] Более мощные исследования относятся к крупным исследованиям, которые предоставляют окончательные результаты или проверяют основные концепции и приводят к метаанализу с низким смещением. Расширенные стандарты исследования, такие как предварительная регистрация протоколов, регистрация сбора данных и соблюдение установленных протоколов, являются другими методами. Чтобы избежать ложноположительных результатов, экспериментатор должен учитывать вероятность того, что он проверяет истинную или ложную связь. Это можно осуществить путем надлежащей оценки вероятности ложноположительного отчета на основе статистической мощности теста [47] и повторного подтверждения (когда это этически приемлемо) установленных результатов предыдущих исследований, которые, как известно, имеют минимальную смещение.
В сентябре 2004 года редакторы известных медицинских журналов (включая New England Journal of Medicine , The Lancet , Annals of Internal Medicine и JAMA ) объявили, что они больше не будут публиковать результаты исследований лекарственных препаратов, спонсируемых фармацевтическими компаниями, если только эти исследования не будут зарегистрированы в базе данных реестра публичных клинических испытаний с самого начала. [48] Кроме того, некоторые журналы (например, Trials ) поощряют публикацию протоколов исследований в своих журналах. [49]
Всемирная организация здравоохранения (ВОЗ) согласилась с тем, что основная информация обо всех клинических испытаниях должна быть зарегистрирована в начале исследования и что эта информация должна быть общедоступной через Международную платформу регистрации клинических испытаний ВОЗ . Кроме того, общедоступность полных протоколов исследований, наряду с отчетами об испытаниях, становится все более распространенной для исследований. [50]
В мегаисследовании одновременно тестируется большое количество методов лечения. Учитывая включение в исследование различных вмешательств, вероятность публикации мегаисследования в меньшей степени зависит от статистически значимого эффекта какого-либо конкретного метода лечения, поэтому было высказано предположение, что мегаисследования могут быть менее склонны к предвзятости публикации. [51] Например, вмешательство, признанное неэффективным, было бы проще опубликовать как часть мегаисследования как одно из многих изученных вмешательств. Напротив, оно могло бы остаться незамеченным из-за проблемы ящика для картотеки, если бы оно было единственным фокусом предполагаемой статьи. По той же причине дизайн исследования мегаисследования может побуждать исследователей изучать не только вмешательства, которые они считают более эффективными, но и те вмешательства, в которых исследователи менее уверены и которые они не выбрали бы в качестве единственного фокуса исследования из-за предполагаемого высокого риска нулевого эффекта.
{{cite journal}}
: CS1 maint: DOI неактивен по состоянию на июнь 2024 г. ( ссылка )