stringtranslate.com

Открытая экспертная оценка

Открытое рецензирование — это различные возможные модификации традиционного процесса научного рецензирования . Три наиболее распространенные модификации, к которым применяется этот термин: [1]

  1. Открытая идентичность: авторы и рецензенты знают личность друг друга. [2] [3]
  2. Открытые отчеты. Обзорные отчеты публикуются вместе с соответствующей статьей (а не остаются конфиденциальными).
  3. Открытое участие: более широкое сообщество (а не только приглашенные рецензенты) может внести свой вклад в процесс рецензирования.

Эти изменения призваны устранить различные очевидные недостатки традиционного процесса научного рецензирования, в частности, его непрозрачность, отсутствие стимулов, расточительность, [1] издевательства и преследования. [4]

Определения

Открытые личности
Открытое рецензирование можно определить как «любой механизм научного рецензирования, обеспечивающий раскрытие личности автора и рецензента друг другу на любом этапе процесса рецензирования или публикации». [5] Тогда личность рецензента может быть раскрыта или не раскрыта публике. Это контрастирует с традиционным процессом рецензирования, при котором рецензенты остаются анонимными для всех, кроме редакторов журнала, а имена авторов раскрываются с самого начала.
Открыть отчеты
Открытое рецензирование можно определить как обнародование отчетов рецензентов вместо раскрытия их только авторам статьи. Это может включать публикацию остальной части истории рецензирования, т.е. ответов авторов и рекомендаций редакторов. Чаще всего это касается только статей, принятых к публикации, а не тех, которые отклонены.
Открытое участие
Открытое рецензирование можно определить как разрешение рецензентам, выбранным самостоятельно, комментировать статью вместо (или в дополнение к) рецензентов, выбранных редакторами. При этом предполагается, что текст статьи находится в открытом доступе. Рецензенты, выбранные самостоятельно, могут быть проверены или не проверены на предмет их основных полномочий, и они могут вносить либо короткие комментарии, либо полные обзоры. [1]

История

В 1999 г. был запущен журнал открытого доступа Journal of Medical Internet Research [6] , который с момента своего создания решил публиковать имена рецензентов внизу каждой публикуемой статьи. Также в 1999 году Британский медицинский журнал перешел на систему открытого рецензирования, раскрывая личности рецензентов авторам, но не читателям [7] , а в 2000 году медицинские журналы из серии BMC с открытым доступом [8], опубликованные BioMed Central , запущенный с использованием открытого экспертного обзора. Как и в случае с BMJ , имена рецензентов включаются в отчеты о рецензировании. Кроме того, если статья публикуется, отчеты становятся доступными в Интернете как часть «истории до публикации». [ нужна цитата ]

Несколько других журналов, издаваемых BMJ Group , допускают необязательное открытое рецензирование, [7] как и PLoS Medicine , издаваемый Публичной научной библиотекой . [9] Программа Rapid Responses BMJ позволяет вести постоянные дебаты и критику после публикации. [10]

В июне 2006 года журнал Nature запустил эксперимент по параллельному открытому рецензированию: некоторые статьи, отправленные на обычную анонимную процедуру, также были доступны в Интернете для открытого общественного обсуждения. Результаты оказались менее чем обнадеживающими — только 5% авторов согласились участвовать в эксперименте, и только 54% ​​этих статей получили комментарии. [11] [12] Редакторы предположили, что исследователи, возможно, были слишком заняты, чтобы принять участие, и не хотели обнародовать свои имена. Знание о том, что статьи одновременно подвергались анонимному рецензированию, также могло повлиять на их популярность.

В феврале 2006 года BioMed Central запустил журнал Biology Direct , добавив еще одну альтернативу традиционной модели экспертной оценки. Если авторы найдут трех членов редакционной коллегии, каждый из которых вернет отчет или сам потребует внешнюю рецензию, статья будет опубликована. Как и в случае с Philica , рецензенты не могут запретить публикацию, но, в отличие от Philica , ни одна рецензия не является анонимной, и ни одна статья не публикуется без рецензирования. Авторы имеют возможность отозвать свою статью, доработать ее по отзывам или опубликовать без доработки. Если авторы продолжают публикацию своей статьи, несмотря на критические замечания, читатели отчетливо видят негативные комментарии вместе с именами рецензентов. [13] [ необходим сторонний источник ] В социальных науках проводились эксперименты с подписанными рецензиями в стиле вики , например, в выпуске Shakespeare Quarterly . [14]

В 2010 году BMJ начал публиковать подписанные отчеты рецензентов вместе с принятыми статьями, после того как установил, что сообщение рецензентам о том, что их подписанные рецензии могут быть опубликованы публично, не оказывает существенного влияния на качество рецензий. [15]

В 2011 году была запущена независимая служба экспертной оценки Peerage of Science , предлагающая несколько нетрадиционных подходов к академической экспертной оценке. Наиболее заметные из них включают оценку и оценку точности и обоснованности рецензий, а также одновременное использование одного раунда рецензирования несколькими участвующими журналами. [ нужна цитата ] Peerage of Science обанкротилась всего через несколько лет после своего основания, поскольку не могла привлечь ни достаточное количество издателей, ни достаточное количество рецензентов.

Начиная с 2013 года, с запуском F1000Research , некоторые издатели объединили открытое рецензирование с рецензированием после публикации, используя систему версионирования статей. В F1000Research статьи публикуются до рецензирования, а приглашенные рецензенты (и имена рецензентов) публикуются вместе со статьей по мере их поступления. [16] Отредактированные автором версии статьи затем связываются с оригиналом. Похожая система рецензирования после публикации с версионированием статей используется Science Open , запущенной в 2014 году. [17]

Также в 2013 году исследователи из Колледжа информатики и компьютерных наук Массачусетского университета в Амхерсте основали веб-сайт OpenReview [18] для размещения анонимных обзорных отчетов вместе со статьями, который по состоянию на 2023 год популярен среди ученых-компьютерщиков.

В 2014 году Life внедрил открытую систему рецензирования [19] , согласно которой отчеты о рецензировании и ответы авторов публикуются как неотъемлемая часть окончательной версии каждой статьи.

С 2016 года Синлетт экспериментирует с закрытым коллективным рецензированием. Рецензируемая статья отправляется группе из более чем 80 экспертов-рецензентов, которые затем совместно комментируют рукопись. [20]

Стремясь решить проблемы с воспроизводимостью результатов исследований, некоторые ученые просят авторов согласиться поделиться своими необработанными данными в рамках процесса рецензирования. [21] Еще в 1962 году, например, ряд психологов попытались получить необработанные данные от других исследователей с неоднозначными результатами, чтобы повторно проанализировать их. Недавняя попытка привела к получению только семи наборов данных из пятидесяти запросов. Идея получения, а тем более требования, открытых данных в качестве условия экспертной оценки остается спорной. [22] В 2020 году отсутствие доступа к необработанным данным в рецензировании привело к отзыву статей в престижных журналах The New England Journal of Medicine и The Lancet . Многие журналы теперь требуют доступа к необработанным данным для включения в рецензирование. [23]

Принятие

Принятие издателями

Эти издатели и журналы проводят различные типы открытого рецензирования:

Рецензирование в The BMJ , [30] BioMed Central , [31] EMBO, [32] eLife , [33] ReScience C , [28] и журнале Semantic Web [34] предполагает размещение всей истории публикации статьи до публикации. online, включая не только подписанные рецензии на статью, но и ее предыдущие версии, а в некоторых случаях имена ответственных редакторов и ответы авторов рецензентам. Кроме того, журнал Semantic Web публикует на своем сайте рецензии на все статьи, в том числе отклоненные, а eLife планирует публиковать рецензии не только на опубликованные, но и на отклоненные статьи. [35]

Европейский союз геонаук проводит публичные дискуссии, в ходе которых проводится открытое рецензирование перед тем, как подходящие статьи будут приняты к публикации в журнале. [36]

Sci , журнал открытого доступа, охватывающий все области исследований, адаптировал публичное рецензирование после публикации (P4R), в котором он обещал авторам немедленную видимость их рукописей на онлайн-платформе журнала после краткой и ограниченной проверки научной обоснованности и надлежащего отчета. и против плагиата и оскорбительных материалов; рукопись открыта для публичного просмотра всем сообществом. [37] [38] [39] [40]

В 2021 году авторы почти половины статей, опубликованных в журнале Nature, решили опубликовать и рецензентские отчеты. Журнал рассматривает это как обнадеживающую попытку прозрачного рецензирования. [41]

Открытое рецензирование препринтов

Некоторые платформы, в том числе некоторые серверы препринтов, облегчают открытое рецензирование препринтов.

Преимущества и недостатки

Спорил

Утверждалось, что открытая личность побуждает рецензентов быть «более тактичными и конструктивными», чем они были бы, если бы они могли оставаться анонимными, однако позволяет авторам накапливать врагов, которые пытаются помешать публикации их статей или успеху их заявок на гранты. [46]

Утверждается, что открытое рецензирование во всех его формах способствует более честному рецензированию и не позволяет рецензентам следовать своим индивидуальным программам. [47]

Статья Лонни Безансона и др. также утверждал, что открытое рецензирование помогает оценить легитимность рукописей, содержащих редакционный конфликт интересов; авторы утверждают, что пандемия COVID-19 побудила многих издателей открыть процесс рецензирования, повысив его прозрачность. [48]

Наблюдаемый

В эксперименте с 56 исследовательскими статьями, принятыми Медицинским журналом Австралии в 1996–1997 годах, статьи были опубликованы в Интернете вместе с комментариями рецензентов; читатели могли отправлять свои комментарии по электронной почте, а авторы могли вносить дополнительные поправки в свои статьи перед публикацией в печатном виде. [49] Следователи пришли к выводу, что этот процесс принес скромные выгоды авторам, редакторам и читателям.

Некоторые исследования показали, что открытая идентичность приводит к повышению качества отзывов, тогда как другие исследования не обнаруживают существенного эффекта. [50]

Открытое рецензирование в журналах BMJ позволило провести рандомизированные исследования по изучению открытой идентичности и открытых обзоров отчетов. Эти исследования не обнаружили, что открытая личность и открытые отчеты существенно влияют на качество рецензирования или скорость принятия статей к публикации, и был зарегистрирован только один случай конфликта между авторами и рецензентами («неблагоприятное событие»). Единственным существенным негативным эффектом открытого рецензирования было «повышение вероятности того, что рецензенты откажутся от рецензирования». [3] [51]

В некоторых случаях открытая информация о личности помогла выявить конфликты интересов рецензентов. [52]

Открытое участие подвергалось критике как форма конкурса популярности, в котором известные авторы с большей вероятностью получат рецензирование своих рукописей, чем другие. [53] Однако даже при таком внедрении открытых рецензий как авторы, так и рецензенты признали, что открытые рецензии могут привести к более высокому качеству рецензий, способствовать сотрудничеству и уменьшить эффект «цитирования меня».

Согласно редакционной статье журнала Nature за 2020 год , [25] опыт Nature Communications опровергает опасения, что открытые отчеты будут менее критичными или потребуют от рецензентов чрезмерного объема работы.

Благодаря опубликованным комментариям рецензентов появляется возможность проводить количественные исследования процесса рецензирования. Например, исследование 2021 года показало, что пристальное внимание со стороны большего количества рецензентов в большинстве случаев не коррелирует с более влиятельными статьями. [54]

Смотрите также

Рекомендации

  1. ^ abc Росс-Хеллауэр, Тони (31 августа 2017 г.). «Что такое открытая экспертная оценка? Систематический обзор». F1000Исследования . 6 . F1000 Research Ltd: 588. doi : 10.12688/f1000research.11369.2 . ISSN  2046-1402. ПМЦ  5437951 . ПМИД  28580134.
  2. ^ Уолш Э., Руни М., Эпплби Л., Уилкинсон Г. (январь 2000 г.). «Открытое экспертное рассмотрение: рандомизированное контролируемое исследование». Британский журнал психиатрии . 176 (1): 47–51. дои : 10.1192/bjp.176.1.47 . ПМИД  10789326.
  3. ^ Аб ван Ройен С., Годли Ф., Эванс С., Блэк Н., Смит Р. (январь 1999 г.). «Влияние открытого экспертного обзора на качество обзоров и рекомендации рецензентов: рандомизированное исследование». БМЖ . 318 (7175): 23–7. дои : 10.1136/bmj.318.7175.23. ПМК 27670 . ПМИД  9872878. 
  4. ^ Сандерс, Джереми К.М. (январь 2020 г.). «Редакционная статья 2020: Изменение издательской и академической культуры». Королевское общество открытой науки . 7 (1): 192197. Бибкод : 2020RSOS....792197S. дои : 10.1098/rsos.192197. ISSN  2054-5703. ПМК 7029889 . ПМИД  32218987. 
  5. ^ Форд Э (20 июля 2015 г.). «Открытое рецензирование в четырех журналах STEM: наблюдательный обзор». F1000Исследования . 4 :6. doi : 10.12688/f1000research.6005.2 . ПМЦ 4350441 . ПМИД  25767695. 
  6. ^ "Дом JMIR" . JMIR.org . Проверено 4 января 2012 г.
  7. ^ Аб Смит, Р. (январь 1999 г.). «Открытие экспертной оценки BMJ». БМЖ . 318 (7175): 4–5. дои : 10.1136/bmj.318.7175.4. ПМЦ 1114535 . ПМИД  9872861. 
  8. ^ "Серия BMC". Biomedcentral.com . Проверено 4 января 2012 г.
  9. ^ Мазерс, Колин Д; Лончар, Деян (27 марта 2009 г.). «PLoS Medicine: рецензируемый журнал открытого доступа». ПЛОС Медицина . 3 (11): е442. doi : 10.1371/journal.pmed.0030442 . ПМК 1664601 . ПМИД  17132052 . Проверено 4 января 2012 г. 
  10. ^ Деламот, Т.; Смит, Р. (май 2002 г.). «Двадцать тысяч разговоров». БМЖ . 324 (7347): 1171–2. дои : 10.1136/bmj.324.7347.1171. ПМЦ 1123149 . ПМИД  12016170. 
  11. ^ «Обзор: экспертное исследование Nature's» . Природа . Декабрь 2006 г. doi : 10.1038/nature05535.
  12. ^ «Экспертная оценка и мошенничество» . Природа . 444 (7122): 971–972. 2006. Бибкод : 2006Natur.444R.971.. doi : 10.1038/444971b . PMID  17183274. S2CID  27163842.
  13. ^ «Цели и масштабы». Биология Директ .
  14. ↑ Коэн, Патрисия (23 августа 2010 г.). «Для ученых Интернет меняет священный обряд экспертной оценки». Нью-Йорк Таймс .
  15. ^ ван Ройен, С.; Деламот, Т.; Эванс, SJ (ноябрь 2010 г.). «Влияние на рецензирование сообщения рецензентам о том, что их подписанные обзоры могут быть опубликованы в Интернете: рандомизированное контролируемое исследование». БМЖ . 341 : c5729. дои : 10.1136/bmj.c5729. ПМЦ 2982798 . ПМИД  21081600. 
  16. ↑ Джеффри Марлоу (23 июля 2013 г.). «Сначала опубликуйте, потом задавайте вопросы». Проводной . Проверено 13 января 2015 г.
  17. ↑ Элизабет Аллен (29 сентября 2017 г.) [8 декабря 2014 г.]. «Рецепт нашего (не очень) секретного соуса для рецензирования после публикации!». ScienceOpen.com . Проверено 13 января 2015 г.
  18. ^ "Открытое обозрение".
  19. ^ Рампелотто, Пабуло (2014). «Редакция». Жизнь . 4 (2): 225–226. Бибкод : 2014Жизнь....4..225R. дои : 10.3390/life4020225 . ПМЦ 4187159 . ПМИД  25370195. 
  20. ^ «Дело о коллективной экспертной оценке» . Новости химии и техники . 2018-11-26 . Проверено 10 марта 2020 г.
  21. ^ «Инициатива PRO по открытой науке». Инициатива открытости рецензентов . 13 сентября 2014 г. Проверено 15 сентября 2018 г.
  22. ^ Витковский, Томаш (2017). «Ученый подталкивает психологические журналы к открытым данным». Скептический исследователь . 41 (4): 6–7. Архивировано из оригинала 15 сентября 2018 г.
  23. ^ Исследования Covid-19, основанные на ошибочных данных Surgisphere, вынуждают медицинские журналы пересматривать процессы The Guardian, 2020 г.
  24. ^ «MDPI | Редакционный процесс» . www.mdpi.com . Проверено 16 марта 2022 г.
  25. ^ ab «Nature опубликует отчеты о экспертной оценке в качестве испытания». Природа . 578 (7793): 8. 2020. Бибкод : 2020Natur.578....8.. doi : 10.1038/d41586-020-00309-9 . ПМИД  32025024.
  26. ^ «Увеличение разнообразия и глубины пула экспертных оценок за счет принятия идентичности» . ОУПблог . 21 сентября 2021 г. Проверено 27 января 2022 г.
  27. ^ "Открытое экспертное рассмотрение" . ПЛОС . 2020. Архивировано из оригинала 2 сентября 2021 г. Проверено 02 сентября 2021 г.
  28. ^ аб Перкель, Джеффри М. (24 августа 2020 г.). «Вызов ученым: ваш код десятилетней давности все еще работает?». Природа . 584 (7822): 656–658. Бибкод : 2020Natur.584..656P. дои : 10.1038/d41586-020-02462-7 . ПМИД  32839567.
  29. ^ «Процедура судейства». Научный Пост . Проверено 22 августа 2021 г.
  30. ^ Гроувс Т., Лодер Э. (сентябрь 2014 г.). «История предпубликаций и открытое рецензирование в BMJ». БМЖ . 349 (13 сентября): g5394. дои : 10.1136/bmj.g5394 . ПМИД  25186622.
  31. ^ «Что такое «открытое рецензирование», проводимое медицинскими журналами серии BMC?» БиоМед Централ . Проверено 31 июля 2015 г.
  32. ^ Пульверер Б (ноябрь 2010 г.). «Прозрачность демонстрирует силу экспертной оценки». Природа . 468 (7320): 29–31. Бибкод : 2010Natur.468...29P. дои : 10.1038/468029а . ПМИД  21048742.
  33. ^ «Экспертная оценка». электронная жизнь . Проверено 30 декабря 2019 г.
  34. ^ Янович, Кшиштоф; Хитцлер, Паскаль (январь 2012 г.). «Открыто и прозрачно: процесс рецензирования журнала Semantic Web». Изучал издательское дело . 25 (1): 48–55. дои : 10.1087/20120107 .
  35. ^ Квон, Диана (15 декабря 2020 г.). «Журнал открытого доступа eLife объявляет о модели публикации «сначала препринт»» . Природа . ООО «Спрингер Сайенс энд Бизнес Медиа». дои : 10.1038/d41586-020-03541-5. ISSN  0028-0836. PMID  33319829. S2CID  229172479.
  36. ^ «Онлайн + Публикация в открытом доступе» . Европейский союз геонаук . Проверено 30 декабря 2019 г.
  37. ^ Риттман, Мартин; Васкес, Франк (июнь 2019 г.). «Наука — журнал открытого доступа с рецензированием после публикации». Наука . 1 (1): 1. doi : 10.3390/sci1010001 .
  38. ^ Джейкоб, Клаус; Риттман, Мартин; Васкес, Франк; Абдин, Ахмад Яман (июнь 2019 г.). «Эволюция научного рецензирования после публикации, проводимого сообществом». Наука . 1 (1): 16. doi : 10.3390/sci1010016.v1 .
  39. ^ Васкес, Франк; Лин, Шу-Кун; Джейкоб, Клаус (декабрь 2020 г.). «Переход от рецензирования после публикации к простому слепому рецензированию». Наука . 2 (4): 82. дои : 10.3390/sci2040082 .
  40. ^ Абдин, Ахмад Яман; Насим, Мухаммад Джавад; Нэй, Янник; Джейкоб, Клаус (март 2021 г.). «Новаторская роль науки в публичном рецензировании публикаций (P4R)». Публикации . 9 (1): 13. doi : 10.3390/publications9010013 .
  41. ^ «Природа испытывает прозрачную экспертную оценку — первые результаты обнадеживают». Природа . 603 (7899): 8. 01.03.2022. Бибкод : 2022Natur.603....8.. doi : 10.1038/d41586-022-00493-w . ISSN  0028-0836. PMID  35233099. S2CID  247189806.
  42. ^ Зёргель, Дэвид; Сондерс, Адам; МакКаллум, Эндрю (14 мая 2013 г.). «Открытая стипендия и экспертная оценка: время экспериментов». Открытый обзор . Проверено 5 декабря 2023 г.
  43. ^ Брейнард, Джеффри (10 октября 2019 г.). «Стремясь повысить прозрачность, bioRxiv начинает публиковать рецензии рядом с препринтами». Наука . Американская ассоциация содействия развитию науки (AAAS). doi : 10.1126/science.aaz8160. ISSN  0036-8075. S2CID  211766434.
  44. ^ Кой, Питер (28 января 2022 г.). «Мнение | Как быстро распространять науку». Нью-Йорк Таймс . ISSN  0362-4331 . Проверено 4 октября 2022 г.
  45. ^ Йоханссон, Майкл А.; Садери, Даниэла (2020). «Открытая платформа рецензирования препринтов о COVID-19». Природа . 579 (7797). Springer Science and Business Media LLC: 29. Бибкод : 2020Natur.579...29J. дои : 10.1038/d41586-020-00613-4 . ISSN  0028-0836. ПМИД  32127711.
  46. ^ Декурси, Томас (март 1999 г.). «Плюсы и минусы открытого рецензирования». Природная неврология . 2 (3): 197–8. дои : 10.1038/nature04991. ПМИД  10195206.
  47. ^ «Что такое экспертная оценка?». Эльзевир . Проверено 31 июля 2015 г.
  48. ^ Безансон, Лонни; Пайффер-Смаджа, Натан; Сегалас, Корентен; Цзян, Хайтинг; Масуццо, Паола; Смаут, Купер; Билли, Эрик; Дефоре, Максим; Лейра, Клеманс (2020). «Открытая наука спасает жизни: уроки пандемии COVID-19». Методология медицинских исследований BMC . 21 (1): 117. дои : 10.1186/s12874-021-01304-y . ПМК 8179078 . ПМИД  34090351. 
  49. ^ Бингхэм, Крейг М.; Хиггинс, Гейл; Коулман, Росс; Ван дер Вейден, Мартин Б. (1998). «Интернет-рецензируемое исследование Медицинского журнала Австралии». Ланцет . 352 (9126): 441–445. дои : 10.1016/S0140-6736(97)11510-0. PMID  9708752. S2CID  34493476.
  50. ^ Ли CJ, Сугимото CR, Чжан Г, Кронин Б (январь 2013 г.). «Предвзятость в экспертной оценке». Журнал Американского общества информатики и технологий . 64 (1): 2–17. дои : 10.1002/asi.22784.
  51. ^ ван Ройен С., Деламот Т., Эванс С.Дж. (ноябрь 2010 г.). «Влияние на рецензирование сообщения рецензентам о том, что их подписанные обзоры могут быть опубликованы в Интернете: рандомизированное контролируемое исследование». БМЖ . 341 : c5729. дои : 10.1136/bmj.c5729. ПМЦ 2982798 . ПМИД  21081600. 
  52. ^ Бенос DJ, Башари Э, Чавес Дж. М., Гаггар А, Капур Н., ЛаФранс М., Манс Р., Мэйхью Д., Макгоуэн С., Полтер А., Кадри Ю., Сарфэр С., Шульц К., Сплиттгербер Р., Стивенсон Дж., Башня C, Уолтон РГ, Зотов А (июнь 2007). «Взлеты и падения рецензирования». Достижения в области физиологического образования . 31 (2): 145–52. дои : 10.1152/advan.00104.2006. ПМИД  17562902.
  53. ^ Безансон, Лонни; Рённберг, Никлас; Лёвгрен, Йонас; Теннант, Джонатан П.; Купер, Мэтью (2020). «Откройся: опрос по открытому и неанонимному рецензированию». Честность исследований и экспертная оценка . 5 (1): 8. дои : 10.1186/s41073-020-00094-z . ISSN  2058-8615. ПМЦ 7318523 . ПМИД  32607252. 
  54. ^ Вольфрам, Дитмар; Ван, Пейлин; Абузахра, Фуад (13 марта 2021 г.). «Исследование комментариев рецензентов, опубликованных в открытых рецензируемых журналах: характеристики языка рецензий и связь между проверкой рецензий и цитированием». Оценка исследований . 30 (3). Издательство Оксфордского университета (OUP): 314–322. doi : 10.1093/reseval/rvab005. ISSN  0958-2029.