stringtranslate.com

Предвзятость в отчетности

В эпидемиологии предвзятость отчетности определяется как «избирательное раскрытие или сокрытие информации» субъектами (например, о прошлой истории болезни, курении, сексуальном опыте). [ 1] В исследованиях искусственного интеллекта термин «предвзятость отчетности» используется для обозначения тенденции людей занижать всю доступную информацию. [2]

В эмпирических исследованиях авторы могут занижать неожиданные или нежелательные экспериментальные результаты, приписывая результаты ошибке выборки или измерения, при этом больше доверяя ожидаемым или желаемым результатам, хотя они могут быть подвержены тем же источникам ошибок. В этом контексте предвзятость отчетности может в конечном итоге привести к статус-кво, когда несколько исследователей обнаруживают и отбрасывают одни и те же результаты, а последующие экспериментаторы оправдывают свою собственную предвзятость отчетности, наблюдая, что предыдущие экспериментаторы сообщали о других результатах. Таким образом, каждый случай предвзятости отчетности может сделать будущие инциденты более вероятными. [3]

Сообщение о предвзятости в исследованиях

Исследование может вносить вклад в знания только в том случае, если оно передается от исследователей сообществу. Общепринятым основным средством коммуникации является «полная» публикация методов и результатов исследования в статье, опубликованной в научном журнале. Иногда исследователи также предпочитают представлять свои выводы на научном собрании, либо посредством устной, либо постерной презентации. Эти презентации включаются в научный отчет в качестве кратких «рефератов», которые могут быть или не быть записаны в общедоступных документах, обычно находящихся в библиотеках или во Всемирной паутине. [ необходима цитата ]

Иногда исследователи не публикуют результаты целых исследований. Хельсинкская декларация и другие консенсусные документы изложили этическое обязательство сделать результаты клинических исследований общедоступными. [4]

Ошибка в отчетности возникает, когда распространение результатов исследования зависит от характера и направления результатов, например, в систематических обзорах . [5] Положительные результаты — это широко используемый термин для описания результатов исследования, показывающих, что одно вмешательство лучше другого. [ необходима ссылка ]

Были предприняты различные попытки преодолеть последствия предвзятости отчетности, включая статистические корректировки результатов опубликованных исследований. [6] Однако ни один из этих подходов не оказался удовлетворительным, и все большее признание получает тот факт, что предвзятость отчетности должна быть устранена путем создания регистров контролируемых испытаний и продвижения надлежащей практики публикации. Пока эти проблемы не будут решены, оценки эффектов лечения, основанные на опубликованных доказательствах, могут быть предвзятыми. [ необходима цитата ]

Исследование случая

Судебный процесс, начатый потребителями и медицинскими страховщиками против Pfizer за мошеннические методы продаж при маркетинге препарата габапентин в 2004 году, выявил комплексную стратегию публикации, которая использовала элементы предвзятости отчетности. [7] Spin использовался для акцентирования благоприятных результатов, которые благоприятствовали габапентину, а также для объяснения неблагоприятных результатов в отношении препарата. В этом случае благоприятные вторичные результаты стали центром внимания по сравнению с исходным первичным результатом, который был неблагоприятным. Другие изменения, обнаруженные в отчетности результатов, включают введение нового первичного результата, неспособность различать первичные и вторичные результаты и неспособность сообщить об одном или нескольких первичных результатах, определенных протоколом. [8]

Решение опубликовать определенные результаты в определенных журналах является еще одной стратегией. [7] Исследования со статистически значимыми результатами обычно публиковались в академических журналах с большим тиражом чаще, чем исследования с незначимыми результатами. Сроки публикации результатов исследований были затронуты, поскольку компания пыталась оптимизировать сроки между выпуском двух исследований. Было обнаружено, что исследования с незначимыми результатами публиковались в шахматном порядке, чтобы не было двух последовательных исследований, опубликованных без существенных результатов. Призрачное авторство также было проблемой, когда профессиональные медицинские авторы, которые составляли опубликованные отчеты, не были должным образом признаны.

Последствия этого дела все еще урегулируются компанией Pfizer в 2014 году, спустя 10 лет после первоначального судебного разбирательства. [9]

Типы предвзятости в отчетности

Предвзятость публикации

Публикация или непубликация результатов исследования в зависимости от характера и направления результатов. Хотя медицинские авторы признали проблему предвзятости в отчетности более века, [10] только во второй половине 20-го века исследователи начали изучать источники и масштаб проблемы предвзятости в отчетности. [11]

За последние два десятилетия накопились доказательства того, что непубликация научных исследований, включая клинические испытания, проверяющие эффективность вмешательства, является широко распространенной. [11] Почти все непубликации происходят из-за того, что исследователь не подает заявку; [12] лишь небольшая часть исследований не публикуется из-за отклонения журналами. [13]

Наиболее прямое доказательство предвзятости публикаций в области медицины получено из последующих исследований исследовательских проектов, определенных во время финансирования или этического одобрения. [14] Эти исследования показали, что «положительные результаты» являются основным фактором, связанным с последующей публикацией: исследователи говорят, что причина, по которой они не пишут и не представляют отчеты о своих исследованиях для публикации, обычно заключается в том, что они «не заинтересованы» в результатах (редакционное отклонение журналами является редкой причиной отказа в публикации).

Даже те исследователи, которые изначально опубликовали свои результаты в виде тезисов конференций, с меньшей вероятностью опубликуют свои выводы полностью, если только результаты не являются «значительными». [15] Это проблема, поскольку данные, представленные в тезисах, часто являются предварительными или промежуточными результатами и, таким образом, не могут быть надежными представлениями того, что было обнаружено после того, как все данные были собраны и проанализированы. [16] Кроме того, тезисы часто недоступны для общественности через журналы, MEDLINE или легкодоступные базы данных. Многие из них публикуются в программах конференций, трудах конференций или на CD-ROM и предоставляются только зарегистрированным участникам встреч.

Основным фактором, связанным с непубликацией, являются отрицательные или нулевые результаты. [17] Контролируемые испытания, которые в конечном итоге сообщаются в полном объеме, публикуются быстрее, если их результаты положительны. [16] Смещение публикаций приводит к переоценке эффекта лечения в метаанализах, что, в свою очередь, может привести к тому, что врачи и лица, принимающие решения, будут считать лечение более полезным, чем оно есть на самом деле.

В настоящее время общепризнанно, что предвзятость публикаций с более благоприятными результатами эффективности связана с источником финансирования исследований, которые в противном случае нельзя было бы объяснить с помощью обычных оценок риска предвзятости. [18]

Ошибка временного лага

Быстрая или отсроченная публикация результатов исследования в зависимости от характера и направления результатов. В систематическом обзоре литературы Хоупвелл и ее коллеги обнаружили, что в целом испытания с «положительными результатами» (статистически значимыми в пользу экспериментальной группы) были опубликованы примерно на год раньше, чем испытания с «нулевыми или отрицательными результатами» (статистически не значимыми или статистически значимыми в пользу контрольной группы). [16]

Многократная (дублирующая) ошибка публикации

Множественная или единичная публикация результатов исследования в зависимости от характера и направления результатов. Исследователи также могут публиковать одни и те же результаты несколько раз, используя различные модели «дублированной» публикации. [19] Многие дубликаты публикуются в журнальных приложениях, что потенциально затрудняет доступ к литературе. Положительные результаты, по-видимому, чаще публикуются в двух экземплярах, что может привести к переоценке эффекта лечения.

Предвзятость местоположения

Публикация результатов исследований в журналах с различной простотой доступа или уровнями индексации в стандартных базах данных в зависимости от характера и направления результатов. Также имеются данные о том, что по сравнению с отрицательными или нулевыми результатами статистически значимые результаты в среднем публикуются в журналах с более высоким импакт-фактором, [20] и что публикация в основной (не серой) литературе связана с общим более высоким эффектом лечения по сравнению с серой литературой. [21]

Смещение цитирования

Цитирование или нецитирование результатов исследований в зависимости от характера и направления результатов. Авторы склонны ссылаться на положительные результаты вместо отрицательных или нулевых, и это было установлено в широком срезе тем. [22] [23] [24] [25] Дифференциальное цитирование может привести к восприятию в сообществе того, что вмешательство эффективно, когда это не так, и это может привести к чрезмерному представлению положительных результатов в систематических обзорах, если те, которые остались непроцитированными, трудно найти.

Выборочное объединение результатов в метаанализе — это форма предвзятости цитирования, которая особенно коварна в своем потенциале влиять на знания. Чтобы минимизировать предвзятость, объединение результатов из похожих, но отдельных исследований требует исчерпывающего поиска всех соответствующих исследований. То есть метаанализ (или объединение данных из нескольких исследований) всегда должен возникать из систематического обзора (а не выборочного обзора литературы), даже если систематический обзор не всегда имеет связанный метаанализ.

Языковая предвзятость

Публикация результатов исследования на определенном языке в зависимости от характера и направления результатов. Существует давний вопрос о том, существует ли языковая предвзятость, из-за которой исследователи предпочитают публиковать свои отрицательные результаты в журналах на других языках, кроме английского, и оставляют свои положительные результаты для журналов на английском языке. Некоторые исследования показали, что языковые ограничения в систематических обзорах могут изменить результаты обзора [26] , а в других случаях авторы не обнаружили, что такая предвзятость существует. [27]

Предвзятость в предоставлении знаний

Частота, с которой люди пишут о действиях, результатах или свойствах, не является отражением реальных частот или степени, в которой свойство характерно для класса индивидуумов. Люди пишут только о некоторых частях мира вокруг них; большая часть информации остается невысказанной. [2] [28]

Предвзятость в отчетности о результатах

Предвзятость – также известная как спин-офф в отчетах об исследованиях интервенционных медицинских исследований – может возникнуть из-за вводящей в заблуждение отчетности, вводящей в заблуждение интерпретации и неадекватной экстраполяции результатов или выводов. [29] [30] [31] Предвзятость в отчетах об исследованиях может принимать различные формы. Вводящая в заблуждение отчетность может быть связана с неспособностью сообщить о неблагоприятных эффектах определенного медицинского или хирургического вмешательства, выборочным сообщением результатов или ненадлежащим использованием языка в выводах, таких как завышенные выводы или неоправданные обобщения, которые не подтверждаются результатами исследования. [29] [30] Вводящая в заблуждение интерпретация результатов исследования может быть связана с неправильной интерпретацией как статистически значимых, так и статистически незначимых и т. д. [29] [31] Неадекватная экстраполяция результатов исследования может быть вызвана расширением положительных результатов исследования для включения более широкой или другой популяции пациентов, которая изначально не была исследована. [29] [30]

Выборочное сообщение о некоторых результатах, но не о других, в зависимости от характера и направления результатов. [32] Исследование может быть опубликовано полностью, но заранее определенные результаты могут быть опущены или представлены неверно. [8] [33] Результаты эффективности, которые являются статистически значимыми, имеют более высокий шанс быть полностью опубликованными по сравнению с теми, которые статистически не значимы.

Выборочное сообщение о предполагаемых или подтвержденных побочных эффектах лечения является областью, вызывающей особую озабоченность из-за потенциального вреда для пациента. В исследовании побочных эффектов лекарств, представленном в скандинавские органы лицензирования лекарственных средств, отчеты об опубликованных исследованиях с меньшей вероятностью, чем неопубликованные исследования, регистрировали побочные эффекты (например, 56 против 77% соответственно для финских испытаний с участием психотропных препаратов). [34] Недавнее внимание в непрофессиональных и научных СМИ к неточному сообщению побочных эффектов лекарств (например, селективных ингибиторов захвата серотонина, розиглитазона, рофекоксиба) привело к появлению дополнительных публикаций, слишком многочисленных для обзора, что указывает на существенную выборочную отчетность о результатах (в основном подавление) известных или предполагаемых побочных эффектов.

Смотрите также

Ссылки

  1. ^ Porta M, ред. (5 июня 2008 г.). Словарь эпидемиологии. Oxford University Press. стр. 275. ISBN 978-0-19-157844-1. Получено 27 марта 2013 г.
  2. ^ ab Gordon J, Van Durme B (2013). "Предвзятость отчетности и приобретение знаний". Труды семинара 2013 года по автоматизированному построению базы знаний - AKBC '13 . стр. 25–30. doi :10.1145/2509558.2509563. hdl :1802/28266. ISBN 978-1-4503-2411-3. S2CID  16567195.
  3. ^ МакГоран Н., Визелер Б., Крайс Дж., Шулер Ю.Б., Кёльш Х., Кайзер Т. (апрель 2010 г.). «Предвзятость отчетности в медицинских исследованиях - описательный обзор». Испытания . 11 (1): 37. дои : 10.1186/1745-6215-11-37 . ПМЦ 2867979 . ПМИД  20388211. 
  4. ^ "WMA - Всемирная медицинская ассоциация-WMA Декларация Хельсинки - Этические принципы медицинских исследований с участием людей". 22 октября 2024 г. Получено 2024-11-02 .
  5. ^ JP, Green S, ред. (24 ноября 2008 г.). Cochrane Handbook for Systematic Reviews of Interventions . Wiley. ISBN 978-0-470-69951-5.[ нужна страница ]
  6. ^ Розенталь Р. (1979). «Проблема картотечного ящика и толерантность к нулевым результатам». Психологический вестник . 86 (3): 638–641. doi :10.1037/0033-2909.86.3.638.
  7. ^ ab Vedula SS, Goldman PS, Rona IJ, Greene TM, Dickersin K (август 2012 г.). «Реализация стратегии публикации в контексте предвзятости отчетности. Исследование случая на основе новых документов из судебного разбирательства по делу Neurontin». Испытания . 13 (136): 136. doi : 10.1186/1745-6215-13-136 . PMC 3439687. PMID  22888801 . 
  8. ^ ab Vedula SS, Bero L, Scherer RW, Dickersin K (ноябрь 2009 г.). «Отчетность о результатах спонсируемых промышленностью испытаний габапентина для использования не по назначению». The New England Journal of Medicine . 361 (20): 1963–71. doi : 10.1056/NEJMsa0906126 . PMID  19907043.
  9. ^ Stempel J (2 июня 2014 г.). «Pfizer выплатит 325 миллионов долларов в качестве компенсации за Neurontin». Reuters . Получено 24 августа 2014 г.
  10. ^ «Сообщение о неудачных случаях — Дезинфекция рук в амбулаторных клиниках — Обучение родителей уходу за детьми — Медицинские заметки». The Boston Medical and Surgical Journal . 161 (8): 263–266. 19 августа 1909 г. doi :10.1056/nejm190908191610809.
  11. ^ ab Dickersin K (2006). «Ошибка публикации: распознавание проблемы, понимание ее истоков и масштабов, предотвращение вреда». Ошибка публикации в метаанализе . Wiley. стр. 9–33. doi :10.1002/0470870168.ch2. ISBN 978-0-470-87016-7.
  12. ^ Годли Ф., Дикерсин К. (2003). «Предвзятость, субъективность, случайность и конфликт интересов в редакционных решениях». В Годли Ф., Джефферсон Т. (ред.). Экспертная оценка в области медицинских наук (2-е изд.). Лондон: BMJ Books. стр. 91–117. hdl :10822/1004354. ISBN 978-0-7279-1685-3.
  13. ^ Olson CM, Rennie D, Cook D, Dickersin K, Flanagin A, Hogan JW и др. (июнь 2002 г.). «Ошибочность публикации при принятии редакционных решений». JAMA . 287 (21): 2825–8. doi :10.1001/jama.287.21.2825. PMID  12038924.
  14. ^ Song F, Parekh S, Hooper L, Loke YK, Ryder J, Sutton AJ и др. (февраль 2010 г.). «Распространение и публикация результатов исследований: обновленный обзор связанных с ними предубеждений». Оценка медицинских технологий . 14 (8): iii, ix–xi, 1–193. doi : 10.3310/hta14080 . PMID  20181324.
  15. ^ Scherer RW, Langenberg P, von Elm E (апрель 2007 г.). «Полная публикация результатов, первоначально представленных в аннотациях». База данных систематических обзоров Cochrane (2): MR000005. doi :10.1002/14651858.MR000005.pub3. PMID  17443628.
  16. ^ abc Hopewell S, Clarke M, Stewart L, Tierney J (апрель 2007 г.). «Время публикации результатов клинических испытаний». База данных систематических обзоров Cochrane . 2010 (2): MR000011. doi : 10.1002 /14651858.MR000011.pub2. PMC 7437393. PMID  17443632. 
  17. ^ Hopewell S, Loudon K, Clarke MJ, Oxman AD, Dickersin K (январь 2009 г.). «Ошибки публикации в клинических испытаниях из-за статистической значимости или направления результатов испытаний». База данных систематических обзоров Cochrane . 2010 (1): MR000006. doi :10.1002/14651858.MR000006.pub3. hdl : 1893/22314 . PMC 8276556. PMID  19160345 . 
  18. ^ Lundh A, Lexchin J, Mintzes B, Schroll JB, Bero L (февраль 2017 г.). "Спонсорство промышленности и результаты исследований" (PDF) . База данных систематических обзоров Cochrane . 2017 (2): MR000033. doi :10.1002/14651858.MR000033.pub3. PMC 8132492. PMID  28207928 . 
  19. ^ von Elm E, Poglia G, Walder B, Tramèr MR (февраль 2004 г.). «Различные модели дублирующей публикации: анализ статей, используемых в систематических обзорах». JAMA . 291 (8): 974–80. doi :10.1001/jama.291.8.974. PMID  14982913.
  20. ^ Easterbrook PJ, Berlin JA, Gopalan R, Matthews DR (апрель 1991 г.). «Ошибка публикации в клинических исследованиях». Lancet . 337 (8746): 867–72. doi : 10.1016/0140-6736(91)90201-y . PMID  1672966. S2CID  36570135.
  21. ^ Hopewell S, McDonald S, Clarke M, Egger M (апрель 2007 г.). «Серая литература в метаанализах рандомизированных испытаний вмешательств в здравоохранение». База данных систематических обзоров Cochrane . 2010 (2): MR000010. doi :10.1002/14651858.MR000010.pub3. PMC 8973936. PMID  17443631 . 
  22. ^ Gøtzsche PC (сентябрь 1987 г.). «Смещение ссылок в отчетах об испытаниях лекарств». British Medical Journal . 295 (6599): 654–6. doi :10.1136/bmj.295.6599.654. ​​PMC 1257776. PMID  3117277 . 
  23. ^ Kjaergard LL, Gluud C (апрель 2002 г.). «Смещение цитирования гепатобилиарных рандомизированных клинических испытаний». Журнал клинической эпидемиологии . 55 (4): 407–10. doi :10.1016/s0895-4356(01)00513-3. PMID  11927210.
  24. ^ Schmidt LM, Gotzsche PC (апрель 2005 г.). «О клещах и людях: смещение ссылок в повествовательных обзорных статьях: систематический обзор». Журнал семейной практики . 54 (4): 334–8. PMID  15833223. Gale  A131501020.
  25. ^ Nieminen P, Rucker G , Miettunen J, Carpenter J, Schumacher M (сентябрь 2007 г.). «Статистически значимые статьи по психиатрии цитировались чаще, чем другие». Journal of Clinical Epidemiology . 60 (9): 939–46. doi :10.1016/j.jclinepi.2006.11.014. PMID  17689810.
  26. ^ Pham B, Klassen TP, Lawson ML, Moher D (август 2005 г.). «Язык ограничений публикации в систематических обзорах дал разные результаты в зависимости от того, было ли вмешательство обычным или дополнительным». Journal of Clinical Epidemiology . 58 (8): 769–76. doi :10.1016/j.jclinepi.2004.08.021. PMID  16086467.
  27. ^ Jüni P, Holenstein F, Sterne J, Bartlett C, Egger M (февраль 2002 г.). «Направление и влияние языковой предвзятости в метаанализах контролируемых испытаний: эмпирическое исследование» (PDF) . International Journal of Epidemiology . 31 (1): 115–23. doi : 10.1093/ije/31.1.115 . PMID  11914306.
  28. ^ Мисра И, Лоуренс Зитник С, Митчелл М, Гиршик Р (2016). «Взгляд сквозь предвзятость человеческой отчетности: визуальные классификаторы от шумных меток, ориентированных на человека». Конференция IEEE 2016 года по компьютерному зрению и распознаванию образов (CVPR) . стр. 2930–2939. arXiv : 1512.06974 . doi :10.1109/CVPR.2016.320. ISBN 978-1-4673-8851-1. S2CID  3039286.
  29. ^ abcd Lazarus, C; Haneef, R; Ravaud, P; Boutron, I (13 октября 2015 г.). «Классификация и распространенность спина в аннотациях нерандомизированных исследований, оценивающих вмешательство». BMC Medical Research Methodology . 15 : 85. doi : 10.1186/s12874-015-0079-x . PMC 4604617. PMID  26462565 . 
  30. ^ abc Ким, Патрик Дж.; Юань, Морган; Ву, Джереми; Галло, Лукас; Ульман, Кэтрин; Войнескос, Софокл Х.; О'Нил, Энн; Хофер, Стефан ОП (июнь 2023 г.). ""Спин" в наблюдательных исследованиях реконструкции груди глубоким нижним эпигастральным перфорантным лоскутом: систематический обзор". Пластическая и реконструктивная хирургия - Global Open . 11 (6): e5095. doi :10.1097/GOX.00000000000005095. PMC 10284325. PMID  37351115 . 
  31. ^ ab Guo, Feiyang; Ye, Wengwanyue; Qin, Danchen; Fang, Xiaolin; Hua, Fang; He, Hong (10 ноября 2023 г.). «Аннотации рандомизированных контролируемых испытаний в детской стоматологии: качество отчетности и спин». BMC Medical Research Methodology . 23 (1): 263. doi : 10.1186/s12874-023-02085-2 . PMC 10636842. PMID  37950213 . 
  32. ^ Sterne JA, Egger M, Moher D (2008). «Устранение предвзятости в отчетности». Cochrane Handbook for Systematic Reviews of Interventions . Wiley. стр. 297–333. doi :10.1002/9780470712184.ch10. ISBN 978-0-470-71218-4.
  33. ^ Чан AW, Крлеза-Йерич К, Шмид I, Альтман ДГ (сентябрь 2004 г.). «Ошибки в отчетности о результатах рандомизированных исследований, финансируемых Канадскими институтами исследований в области здравоохранения». CMAJ . 171 (7): 735–40. doi :10.1503/cmaj.1041086. PMC 517858 . PMID  15451835. 
  34. ^ Hemminki E (март 1980 г.). «Изучение информации, представленной фармацевтическими компаниями в лицензирующие органы». British Medical Journal . 280 (6217): 833–6. doi :10.1136/bmj.280.6217.833. PMC 1601011. PMID 7370687  .