stringtranslate.com

Открытое рецензирование

Открытое рецензирование — это различные возможные модификации традиционного процесса научного рецензирования . Три наиболее распространённых модификации, к которым применяется этот термин: [1]

  1. Открытые личности: авторы и рецензенты знают личности друг друга. [2] [3]
  2. Открытые отчеты: отчеты об обзорах публикуются вместе с соответствующей статьей (а не хранятся в тайне).
  3. Открытое участие: более широкое сообщество (а не только приглашенные рецензенты) может внести свой вклад в процесс рецензирования.

Предполагается, что эти изменения устранят различные предполагаемые недостатки традиционного процесса научного рецензирования, в частности, его недостаточную прозрачность, отсутствие стимулов, расточительность, [1] запугивание и притеснение. [4]

Определения

Открытые идентичности
Открытое рецензирование можно определить как «любой механизм научного рецензирования, обеспечивающий раскрытие личности автора и рецензента друг другу в любой момент в ходе рецензирования или процесса публикации». [5] Затем личность рецензента может быть раскрыта или не раскрыта общественности. Это отличается от традиционного процесса рецензирования, где рецензенты остаются анонимными для всех, кроме редакторов журнала. Имена авторов раскрываются в ходе процесса в односторонней слепой организации рецензий. В двойном слепом процессе имена авторов и имена рецензентов остаются анонимными, за исключением редактора.
Открытые отчеты
Открытое рецензирование можно определить как обнародование отчетов рецензентов, а не только их раскрытие авторам статьи. Это может включать публикацию остальной части истории рецензирования, то есть ответов авторов и рекомендаций редакторов. Чаще всего это касается только статей, принятых к публикации, а не тех, которые были отклонены.
Открытое участие
Открытое рецензирование можно определить как разрешение рецензентам, выбранным самостоятельно, комментировать статью, вместо (или в дополнение к) рецензентам, выбранным редакторами. Это предполагает, что текст статьи находится в открытом доступе. Рецензенты, выбранные самостоятельно, могут быть проверены или не проверены на предмет их основных полномочий, и они могут вносить либо краткие комментарии, либо полные обзоры. [1]

История

В 1999 году был запущен журнал открытого доступа Journal of Medical Internet Research [6] , который с самого начала решил публиковать имена рецензентов в конце каждой опубликованной статьи. Также в 1999 году British Medical Journal перешел на открытую систему рецензирования, раскрывая личности рецензентов авторам, но не читателям, [7] а в 2000 году медицинские журналы в серии открытого доступа BMC [8], издаваемые BioMed Central , начали использовать открытое рецензирование. Как и в BMJ , имена рецензентов включаются в отчеты рецензирования. Кроме того, если статья опубликована, отчеты становятся доступными в Интернете как часть «предыстории публикации». [ необходима цитата ]

Несколько других журналов, издаваемых BMJ Group, допускают необязательное открытое рецензирование, [7] как и PLoS Medicine , издаваемый Публичной научной библиотекой . [9] Rapid Responses BMJ допускает постоянные дебаты и критику после публикации. [10]

В июне 2006 года журнал Nature запустил эксперимент параллельно с открытым рецензированием: некоторые статьи, которые были отправлены на обычный анонимный процесс, также были доступны онлайн для открытого публичного комментария. Результаты оказались менее обнадеживающими — только 5% авторов согласились принять участие в эксперименте, и только 54% ​​этих статей получили комментарии. [11] [12] Редакторы предположили, что исследователи, возможно, были слишком заняты, чтобы принять участие, и не хотели публиковать свои имена. Знание того, что статьи одновременно подвергались анонимному рецензированию, также могло повлиять на восприятие.

В феврале 2006 года журнал Biology Direct был запущен BioMed Central , добавив еще одну альтернативу традиционной модели рецензирования. Если авторы смогут найти трех членов редколлегии, каждый из которых вернет отчет или самостоятельно запросит внешнюю рецензию, статья будет опубликована. Как и в случае с Philica , рецензенты не могут запретить публикацию, но в отличие от Philica , ни одна рецензия не является анонимной, и ни одна статья не публикуется без рецензирования. Авторы имеют возможность отозвать свою статью, пересмотреть ее в ответ на рецензии или опубликовать ее без рецензирования. Если авторы продолжат публикацию своей статьи, несмотря на критические комментарии, читатели смогут четко увидеть любые негативные комментарии вместе с именами рецензентов. [13] [ необходим сторонний источник ] В социальных науках проводились эксперименты с подписанными рецензиями в стиле вики , например, в выпуске Shakespeare Quarterly . [14]

В 2010 году BMJ начал публиковать подписанные отчеты рецензентов вместе с принятыми статьями, определив, что информирование рецензентов о том, что их подписанные обзоры могут быть опубликованы публично, не оказывает существенного влияния на качество обзоров. [15]

В 2011 году Peerage of Science , независимая служба рецензирования, была запущена с несколькими нетрадиционными подходами к академическому рецензированию. Наиболее заметными из них являются оценка и подсчет точности и обоснованности рецензий, а также одновременное использование одного раунда рецензирования несколькими участвующими журналами. [ необходима ссылка ] Peerage of Science прекратила свою деятельность всего через несколько лет после своего основания, поскольку не смогла привлечь ни достаточное количество издателей, ни достаточное количество рецензентов.

Начиная с 2013 года с запуском F1000Research некоторые издатели объединили открытое рецензирование с рецензированием после публикации, используя систему версионных статей. В F1000Research статьи публикуются до рецензирования, а приглашенные отчеты рецензирования (и имена рецензентов) публикуются вместе со статьей по мере ее поступления. [16] Затем авторские версии статьи связываются с оригиналом. Подобная система рецензирования после публикации с версионными статьями используется Science Open, запущенной в 2014 году. [17]

Также в 2013 году исследователи из Колледжа информации и компьютерных наук Массачусетского университета в Амхерсте основали веб-сайт OpenReview [18] для размещения анонимных обзорных отчетов вместе со статьями, который по состоянию на 2023 год пользуется популярностью среди компьютерных специалистов.

В 2014 году журнал Life внедрил открытую систему рецензирования [19] , в рамках которой отчеты рецензентов и ответы авторов публикуются как неотъемлемая часть окончательной версии каждой статьи.

С 2016 года Синлетт экспериментирует с закрытым рецензированием. Рецензируемая статья отправляется в группу из более чем 80 экспертов-рецензентов, которые затем совместно комментируют рукопись. [20]

В попытке решить проблемы с воспроизводимостью результатов исследований некоторые ученые просят авторов согласиться поделиться своими необработанными данными в рамках процесса рецензирования. [21] Например, еще в 1962 году ряд психологов пытались получить необработанные наборы данных от других исследователей, с неоднозначными результатами, чтобы повторно проанализировать их. Недавняя попытка привела только к семи наборам данных из пятидесяти запросов. Идея получения, не говоря уже о требовании, открытых данных как условия рецензирования остается спорной. [22] В 2020 году отсутствие доступа к необработанным данным для рецензирования привело к отзыву статей в престижных The New England Journal of Medicine и The Lancet . Многие журналы теперь требуют доступа к необработанным данным для включения в рецензирование. [23]

Принятие

Принятие издателями

Эти издательства и журналы используют различные типы открытого рецензирования:

Рецензирование в The BMJ , [30] BioMed Central , [31] EMBO, [32] eLife , [33] ReScience C , [28] и журнале Semantic Web [34] подразумевает размещение в Интернете всей предпубликационной истории статьи, включая не только подписанные рецензии на статью, но и ее предыдущие версии, а в некоторых случаях имена редакторов и ответы авторов рецензентам. Кроме того, журнал Semantic Web публикует рецензии всех представленных статей, включая отклоненные, на своем веб-сайте, в то время как eLife планирует публиковать рецензии не только на опубликованные статьи, но и на отклоненные статьи. [35]

Европейский союз геонаук организует публичные обсуждения, в ходе которых проводится открытое рецензирование перед тем, как подходящие статьи принимаются для публикации в журнале. [36]

Sci , журнал открытого доступа, охватывающий все области исследований, внедрил систему публичного рецензирования после публикации (P4R), в которой он обещает авторам немедленную видимость их рукописей на онлайн-платформе журнала после краткой и ограниченной проверки научной обоснованности и надлежащего изложения, а также на предмет плагиата и оскорбительных материалов; рукопись становится открытой для публичного рецензирования всем сообществом. [37] [38] [39] [40]

В 2021 году авторы почти половины статей, опубликованных Nature, решили также опубликовать отчеты рецензентов. Журнал рассматривает это как обнадеживающий эксперимент прозрачного рецензирования. [41]

Открытое рецензирование препринтов

Некоторые платформы, включая некоторые серверы препринтов, способствуют открытому рецензированию препринтов.

Преимущества и недостатки

Аргументированный

Утверждается, что открытая идентификация побуждает рецензентов быть «более тактичными и конструктивными», чем если бы они могли оставаться анонимными, в то же время позволяя авторам наживать врагов, которые пытаются помешать публикации их статей или успеху их заявок на гранты. [46]

Открытое рецензирование во всех его формах, как утверждается, способствует более честному рецензированию и не позволяет рецензентам следовать своим индивидуальным интересам. [47]

В статье Лонни Безансона и др. также утверждается, что открытое рецензирование помогает оценить легитимность рукописей, содержащих редакционный конфликт интересов; авторы утверждают, что пандемия COVID-19 побудила многих издателей открыть процесс рецензирования, увеличив прозрачность этого процесса. [48]

Наблюдаемый

В эксперименте с 56 научными статьями, принятыми Medical Journal of Australia в 1996–1997 годах, статьи были опубликованы в Интернете вместе с комментариями рецензентов; читатели могли отправлять свои комментарии по электронной почте, а авторы могли вносить дополнительные поправки в свои статьи перед публикацией в печати. ​​[49] Исследователи пришли к выводу, что этот процесс имел скромные преимущества для авторов, редакторов и читателей.

Некоторые исследования показали, что открытая идентификация приводит к повышению качества обзоров, в то время как другие исследования не обнаружили существенного эффекта. [50]

Открытое рецензирование в журналах BMJ оказалось подходящим для рандомизированных испытаний для изучения открытых рецензий на идентичность и открытые отчеты. Эти исследования не обнаружили, что открытые идентичности и открытые отчеты существенно повлияли на качество рецензирования или скорость принятия статей к публикации, и был зарегистрирован только один случай конфликта между авторами и рецензентами («неблагоприятное событие»). Единственным значительным отрицательным эффектом открытого рецензирования было «повышение вероятности того, что рецензенты откажутся от рецензирования». [3] [51]

В некоторых случаях открытость личности помогла обнаружить конфликты интересов рецензентов. [52]

Открытое участие критиковалось как форма конкурса популярности, в котором известные авторы с большей вероятностью получат рецензии на свои рукописи, чем другие. [53] Однако даже при такой реализации открытых рецензий и авторы, и рецензенты признали, что открытые рецензии могут привести к более высокому качеству рецензий, способствовать сотрудничеству и уменьшить эффект «цитируй меня».

Согласно редакционной статье журнала Nature за 2020 год , [25] опыт Nature Communications опровергает опасения, что открытые отчеты будут менее критичными или потребуют от рецензентов чрезмерного объема работы.

Благодаря опубликованным комментариям рецензентов можно проводить количественные исследования процесса рецензирования. Например, исследование 2021 года показало, что пристальное внимание большего числа рецензентов в основном не коррелирует с более влиятельными статьями. [54]

Смотрите также

Ссылки

  1. ^ abc Росс-Хеллауэр, Тони (2017-08-31). "Что такое открытая экспертная оценка? Систематический обзор". F1000Research . 6. F1000 Research Ltd: 588. doi : 10.12688/f1000research.11369.2 . ISSN  2046-1402. PMC 5437951.  PMID 28580134  .
  2. ^ Уолш Э., Руни М., Эпплби Л., Уилкинсон Г. (январь 2000 г.). «Открытая экспертная оценка: рандомизированное контролируемое исследование». Британский журнал психиатрии . 176 (1): 47–51. doi : 10.1192/bjp.176.1.47 . PMID  10789326.
  3. ^ ab van Rooyen S, Godlee F, Evans S, Black N, Smith R (январь 1999 г.). «Влияние открытого рецензирования на качество рецензий и рекомендации рецензентов: рандомизированное исследование». BMJ . 318 (7175): 23–7. doi :10.1136/bmj.318.7175.23. PMC 27670 . PMID  9872878. 
  4. ^ Сандерс, Джереми К. М. (январь 2020 г.). «Редакционная статья 2020 г.: Изменение издательской и академической культуры». Royal Society Open Science . 7 (1): 192197. Bibcode :2020RSOS....792197S. doi :10.1098/rsos.192197. ISSN  2054-5703. PMC 7029889 . PMID  32218987. 
  5. ^ Ford E (2015-07-20). «Открытое рецензирование в четырех журналах STEM: обзор наблюдений». F1000Research . 4 : 6. doi : 10.12688/f1000research.6005.2 . PMC 4350441. PMID  25767695 . 
  6. ^ "JMIR Home". JMIR.org . Получено 4 января 2012 г. .
  7. ^ ab Smith, R. (январь 1999 г.). «Открытие рецензирования BMJ». BMJ . 318 (7175): 4–5. doi :10.1136/bmj.318.7175.4. PMC 1114535 . PMID  9872861. 
  8. ^ "BMC series". Biomedcentral.com . Получено 4 января 2012 г. .
  9. ^ Mathers, Colin D; Loncar, Dejan (27 марта 2009 г.). "PLoS Medicine: A Peer-Reviewed, Open-Access Journal". PLOS Medicine . 3 (11): e442. doi : 10.1371/journal.pmed.0030442 . PMC 1664601 . PMID  17132052 . Получено 4 января 2012 г. 
  10. ^ Деламот, Т.; Смит, Р. (май 2002 г.). «Двадцать тысяч разговоров». BMJ . 324 (7347): 1171–2. doi :10.1136/bmj.324.7347.1171. PMC 1123149 . PMID  12016170. 
  11. ^ "Обзор: рецензируемое исследование Nature". Nature . Декабрь 2006. doi :10.1038/nature05535.
  12. ^ «Рецензирование и мошенничество». Nature . 444 (7122): 971–972. 2006. Bibcode : 2006Natur.444R.971.. doi : 10.1038/444971b . PMID  17183274. S2CID  27163842.
  13. ^ "Цели и область применения". Biology Direct .
  14. ^ Коэн, Патрисия (23 августа 2010 г.). «Для ученых Интернет меняет священный обряд рецензирования». The New York Times .
  15. ^ van Rooyen, S.; Delamothe, T.; Evans, SJ (ноябрь 2010 г.). «Влияние на рецензирование сообщения рецензентам о том, что их подписанные рецензии могут быть опубликованы в Интернете: рандомизированное контролируемое исследование». BMJ . 341 : c5729. doi :10.1136/bmj.c5729. PMC 2982798 . PMID  21081600. 
  16. ↑ Джеффри Марлоу (23 июля 2013 г.). «Сначала публикуйте, потом задавайте вопросы». Wired . Получено 13 января 2015 г.
  17. ^ Элизабет Аллен (29 сентября 2017 г.) [8 декабря 2014 г.]. «Рецепт нашего (не очень) секретного соуса для рецензирования после публикации!». ScienceOpen.com . Получено 13 января 2015 г.
  18. ^ "OpenReview".
  19. ^ Рампелотто, Пабуло (2014). «Редакционная статья». Жизнь . 4 (2): 225–226. Bibcode : 2014Life....4..225R. doi : 10.3390 /life4020225 . PMC 4187159. PMID  25370195. 
  20. ^ "Дело в пользу коллективного рецензирования". Новости химии и машиностроения . 2018-11-26 . Получено 2020-03-10 .
  21. ^ "Инициатива PRO по открытой науке". Инициатива открытости рецензентов . 2014-09-13 . Получено 15 сентября 2018 г.
  22. ^ Витковски, Томаш (2017). «Ученый подталкивает психологические журналы к открытым данным». Skeptical Inquirer . 41 (4): 6–7. Архивировано из оригинала 2018-09-15.
  23. ^ Исследования COVID-19, основанные на некорректных данных Surgisphere, заставляют медицинские журналы пересматривать процессы The Guardian, 2020
  24. ^ "MDPI | Редакционный процесс". www.mdpi.com . Получено 2022-03-16 .
  25. ^ ab "Nature опубликует отчеты о рецензировании в качестве исследования". Nature . 578 (7793): 8. 2020. Bibcode :2020Natur.578....8.. doi : 10.1038/d41586-020-00309-9 . PMID  32025024.
  26. ^ «Увеличение разнообразия и глубины пула рецензий путем принятия идентичности». OUPblog . 2021-09-21 . Получено 2022-01-27 .
  27. ^ "Open Peer Review". PLOS . 2020. Архивировано из оригинала 2021-09-02 . Получено 2021-09-02 .
  28. ^ ab Perkel, Jeffrey M. (2020-08-24). «Вызов ученым: ваш десятилетний код все еще работает?». Nature . 584 (7822): 656–658. Bibcode : 2020Natur.584..656P. doi : 10.1038/d41586-020-02462-7 . PMID  32839567.
  29. ^ "Процедура рецензирования". SciPost . Получено 22 августа 2021 г.
  30. ^ Groves T, Loder E (сентябрь 2014 г.). «Предпубликационные истории и открытое рецензирование в BMJ». BMJ . 349 (sep03 13): g5394. doi : 10.1136/bmj.g5394 . PMID  25186622.
  31. ^ «Что такое «открытое рецензирование», как оно используется в медицинских журналах серии BMC?». BioMed Central . Получено 31 июля 2015 г.
  32. ^ Pulverer B (ноябрь 2010 г.). «Прозрачность демонстрирует силу рецензирования». Nature . 468 (7320): 29–31. Bibcode :2010Natur.468...29P. doi : 10.1038/468029a . PMID  21048742.
  33. ^ "Рецензирование". eLife . Получено 30 декабря 2019 .
  34. ^ Янович, Кшиштоф; Хитцлер, Паскаль (январь 2012 г.). «Открыто и прозрачно: процесс рецензирования журнала Semantic Web». Learned Publishing . 25 (1): 48–55. doi : 10.1087/20120107 .
  35. ^ Квон, Диана (15.12.2020). «Журнал открытого доступа eLife объявляет о модели публикации «сначала препринт». Nature . Springer Science and Business Media LLC. doi : 10.1038/d41586-020-03541-5. ISSN  0028-0836. PMID  33319829. S2CID  229172479.
  36. ^ "Online + Open Access Publishing". Европейский союз геонаук . Получено 30 декабря 2019 г.
  37. ^ Риттман, Мартин; Васкес, Франк (июнь 2019 г.). «Sci — журнал открытого доступа с рецензированием после публикации». Sci . 1 (1): 1. doi : 10.3390/sci1010001 .
  38. ^ Якоб, Клаус; Риттман, Мартин; Васкес, Франк; Абдин, Ахмад Яман (июнь 2019 г.). «Эволюция рецензирования научных статей, проводимого сообществом после их публикации». Sci . 1 (1): 16. doi : 10.3390/sci1010016.v1 .
  39. ^ Васкес, Франк; Лин, Шу-Кун; Джейкоб, Клаус (декабрь 2020 г.). «Изменение Sci с рецензирования после публикации на одностороннее слепое рецензирование». Sci . 2 (4): 82. doi : 10.3390/sci2040082 .
  40. ^ Абдин, Ахмад Яман; Насим, Мухаммад Джавад; Ней, Янник; Джейкоб, Клаус (март 2021 г.). «Новаторская роль науки в публичном рецензировании публикаций (P4R)». Публикации . 9 (1): 13. doi : 10.3390/publications9010013 .
  41. ^ «Nature испытывает прозрачную экспертную оценку — первые результаты обнадеживают». Nature . 603 (7899): 8. 2022-03-01. Bibcode :2022Natur.603....8.. doi : 10.1038/d41586-022-00493-w . ISSN  0028-0836. PMID  35233099. S2CID  247189806.
  42. ^ Soergel, David; Saunders, Adam; McCallum, Andrew (2013-05-14). «Открытая стипендия и рецензирование: время экспериментов». OpenReview . Получено 2023-12-05 .
  43. ^ Брэйнард, Джеффри (10.10.2019). «В целях повышения прозрачности bioRxiv начинает публиковать рецензии рядом с препринтами». Наука . Американская ассоциация содействия развитию науки (AAAS). doi :10.1126/science.aaz8160. ISSN  0036-8075. S2CID  211766434.
  44. ^ Кой, Питер (28.01.2022). «Мнение | Как быстро распространять науку». The New York Times . ISSN  0362-4331 . Получено 04.10.2022 .
  45. ^ Йоханссон, Майкл А.; Садери, Даниэла (2020). «Открытая платформа рецензирования препринтов COVID-19». Nature . 579 (7797). Springer Science and Business Media LLC: 29. Bibcode :2020Natur.579...29J. doi : 10.1038/d41586-020-00613-4 . ISSN  0028-0836. PMID  32127711.
  46. ^ Decoursey, Thomas (март 1999). «За и против открытого рецензирования». Nature Neuroscience . 2 (3): 197–8. doi :10.1038/nature04991. PMID  10195206.
  47. ^ "Что такое рецензирование?". Elsevier . Получено 31 июля 2015 г.
  48. ^ Безансон, Лонни; Пайффер-Смаджа, Натан; Сегалас, Корентен; Цзян, Хайтинг; Масуццо, Паола; Смаут, Купер; Билли, Эрик; Дефоре, Максим; Лейра, Клеманс (2020). «Открытая наука спасает жизни: уроки пандемии COVID-19». Методология медицинских исследований BMC . 21 (1): 117. дои : 10.1186/s12874-021-01304-y . ПМК 8179078 . ПМИД  34090351. 
  49. ^ Бингем, Крейг М.; Хиггинс, Гейл; Коулман, Росс; Ван дер Вейден, Мартин Б. (1998). «Исследование рецензирования в Интернете в Медицинском журнале Австралии». The Lancet . 352 (9126): 441–445. doi :10.1016/S0140-6736(97)11510-0. PMID  9708752. S2CID  34493476.
  50. ^ Lee CJ, Sugimoto CR, Zhang G, Cronin B (январь 2013 г.). «Предвзятость в рецензировании». Журнал Американского общества информационной науки и технологий . 64 (1): 2–17. doi :10.1002/asi.22784.
  51. ^ van Rooyen S, Delamothe T, Evans SJ (ноябрь 2010 г.). «Влияние на рецензирование сообщения рецензентам о том, что их подписанные рецензии могут быть опубликованы в Интернете: рандомизированное контролируемое исследование». BMJ . 341 : c5729. doi :10.1136/bmj.c5729. PMC 2982798 . PMID  21081600. 
  52. ^ Benos DJ, Bashari E, Chaves JM, Gaggar A, Kapoor N, LaFrance M, Mans R, Mayhew D, McGowan S, Polter A, Qadri Y, Sarfare S, Schultz K, Splittgerber R, Stephenson J, Tower C, Walton RG, Zotov A (июнь 2007 г.). «Взлеты и падения рецензирования». Advances in Physiology Education . 31 (2): 145–52. doi :10.1152/advan.00104.2006. PMID  17562902.
  53. ^ Безансон, Лонни; Рённберг, Никлас; Лёвгрен, Йонас; Теннант, Джонатан П.; Купер, Мэтью (2020). «Открытость: обзор открытого и неанонимного рецензирования». Целостность исследований и рецензирование . 5 (1): 8. doi : 10.1186/s41073-020-00094-z . ISSN  2058-8615. PMC 7318523. PMID  32607252 . 
  54. ^ Вольфрам, Дитмар; Ван, Пейлинг; Абузахра, Фуад (13.03.2021). «Исследование комментариев рецензентов, опубликованных в открытых рецензируемых журналах: характеристики языка рецензий и связь между проверкой рецензий и цитированиями». Оценка исследований . 30 (3). Oxford University Press (OUP): 314–322. doi :10.1093/reseval/rvab005. ISSN  0958-2029.