Рейтинг журнала

Метрика академических журналов

Рейтинг журналов широко используется в академических кругах для оценки влияния и качества академических журналов . Рейтинги журналов призваны отражать место журнала в своей области, относительную сложность публикации в этом журнале и связанный с ним престиж. В ряде стран они были представлены в качестве официальных инструментов оценки исследований.

Меры

Традиционно «меры» или оценки рейтинга журналов предоставлялись просто посредством институциональных списков, составляемых академическими лидерами, или путем голосования комитетов. Эти подходы заведомо политизированы и неточно отражают реальный престиж и качество, поскольку они часто отражают предубеждения и личные карьерные цели тех, кто участвует в рейтинговании журналов; также вызывает проблему весьма несопоставимых оценок между учреждениями. ^[1] Следовательно, многим учреждениям необходимы внешние источники оценки качества журнала. Традиционный подход здесь заключался в опросах ведущих ученых в определенной области, но этот подход также имеет потенциал предвзятости, хотя и не такой глубокий, как тот, который наблюдается в списках, составленных учреждениями. ^[2] Следовательно, правительства, учреждения и лидеры наукометрических исследований обратились к перечню наблюдаемых библиометрических показателей на журнальном уровне, которые можно использовать в качестве суррогатов качества и тем самым устранить необходимость в субъективной оценке. ^[1]

Следовательно, было предложено несколько показателей на уровне журнала, большинство из которых основаны на цитировании :

• Импакт-фактор и CiteScore – отражают среднее количество цитирований статей, опубликованных в научных и социальных журналах.
• SCImago Journal Rank – показатель научного влияния научных журналов, который учитывает как количество цитирований, полученных журналом, так и важность или престиж журналов, откуда такие цитирования.
• Индекс Хирша – обычно используется как мера научной продуктивности и научного влияния отдельного ученого, но также может использоваться для ранжирования журналов.
  • Индекс h5 — этот показатель, рассчитанный и опубликованный Google Scholar , основан на индексе Хирша всех статей, опубликованных в данном журнале за последние пять лет. ^[3]
• Экспертный опрос – оценка, отражающая общее качество или вклад журнала, основана на результатах опроса активных исследователей, практиков и студентов (т. е. фактических авторов или читателей журнала), которые оценивают каждый журнал на основе определенных критериев. ^[4]
• Количество цитирований в верхнем квартиле (TQCC) – отражает количество цитирований статьи, которая находится в верхнем квартиле (75-м процентиле) статей журнала при сортировке по количеству цитирований; например, когда журнал опубликовал 100 статей, 25-е место по количеству цитируемых статей занимает TQCC. ^[5]
• Подход к публикации (PPA) – рейтинговая позиция каждого журнала основана на фактическом издательском поведении ведущих ученых в течение длительного периода времени. Таким образом, рейтинг журнала отражает частоту, с которой эти ученые публиковали свои статьи в этом журнале. ^{[6] [7]}
• Altmetrics – рейтинг журналов на основе научных ссылок, добавленных на академические сайты в социальных сетях. ^[8]
• diamScore – показатель научного влияния академических журналов, основанный на рекурсивном взвешивании цитирования и парном сравнении журналов. ^[9]
• Нормализованное влияние источника на статью (SNIP) — коэффициент, опубликованный Elsevier в 2012 году на основе Scopus для оценки воздействия. ^[10] Показатель рассчитывается как SNIP=RIP/(R/M), где RIP=первоначальное влияние на статью, R=потенциал цитирования и M=средний потенциал цитирования базы данных. ^[11]
• PageRank - в 1976 году был предложен рекурсивный импакт-фактор, который придает цитированию из журналов с высоким уровнем влияния больший вес, чем цитированию из журналов с низким уровнем воздействия. ^[12] Такой рекурсивный импакт-фактор напоминает алгоритм Google PageRank , хотя в оригинальной статье используется подход «торгового баланса», при котором журналы получают наивысшие баллы, когда их часто цитируют, но редко цитируют другие журналы; несколько ученых предложили схожие подходы. ^{[13] [14] [15] [16]}
  • Собственный фактор — это еще один показатель влияния журнала наподобие PageRank ^[17] , рейтинги которого доступны в свободном доступе в Интернете. ^[18]

Обсуждение

Негативные последствия рейтингов, как правило, хорошо документированы и связаны с эффективностью использования рейтингов журналов для целей измерения эффективности. ^{[19] [20]} Исследования методологического качества и надежности показали, что «надежность опубликованных исследовательских работ в нескольких областях может снижаться с ростом рейтинга журнала», ^[21] вопреки широко распространенным ожиданиям. ^[22]

Например, Маккиннон (2017) проанализировал, как рейтинг ABS-AJG, который, несмотря на свои методологические недостатки, широко принят в британских бизнес-школах, имел негативные последствия для дисциплин управления транспортом и логистикой. ^[23] В исследовании, опубликованном в 2021 году, сравнивались импакт-фактор, оценка собственного фактора, рейтинг журнала SCImago и страны и нормализованное влияние источника на статью в журналах, посвященных фармации, токсикологии и биохимии. Было обнаружено, что между ними существует «от умеренной до высокой и значительной корреляции». ^[24]

Тысячи университетов и исследовательских организаций опубликовали официальные заявления, осуждающие идею о том, что качество исследований можно измерить на основе одномерной шкалы рейтинга журналов, в первую очередь подписав Сан-Франциско Декларацию по оценке исследований (DORA), в которой содержится призыв «не использовать журнальные показатели... в качестве суррогатной меры качества отдельных исследовательских статей, для оценки вклада отдельного ученого или при принятии решений о найме, продвижении по службе или финансировании». ^[25] Сообщество ответственных исследований в области управления бизнесом (cRRBM) задается вопросом, «даже ли академия обслуживается, когда преподавателей ценят за количество и размещение их статей, а не за пользу, которую их исследования могут принести миру». ^[26] Некоторые академические дисциплины, такие как менеджмент, демонстрируют парадокс журнальных рейтинговых списков: с одной стороны, исследователи осознают многочисленные ограничения рейтинговых списков и их пагубное влияние на научный прогресс; с другой стороны, они обычно считают рейтинговые списки журналов полезными и используют их, в частности, когда использование рейтинговых списков не требуется их учреждениями. ^[27]

Национальные рейтинги

Существует несколько национальных и международных рейтингов журналов, например:

• Журнал ERA Australia представляет рейтинг журналов Австралийского исследовательского совета по всему миру ^[28]
• Рейтинг CORE, опубликованный Австралазийской ассоциацией компьютерных исследований и образования (CORE, Inc.). ^{[29] [30]}
• Бразильские квалификации
• Публиндекс Колумбии
• Дания Министерство высшего образования и науки Дании (2014 г.) ^[31]
• Финский форум публикаций Julkaisufoorumi (JUFO) ^[32]
• Норвежский научный индекс Норвежский регистр научных журналов, серий и издателей – расширенный поиск ^[33]
• Индекс VHB Германии (бизнес)
• Рейтинг Франции CNRS (экономика)
• Итальянский рейтинг ANVUR журналов класса А ANVUR ^[34]
• Путеводитель по академическому журналу Дипломированной ассоциации бизнес-школ ^[35]
• Список журналов, признанных HEC в Пакистане ^[36]
• Оценка научных журналов Индийской национальной академии сельскохозяйственных наук NAAS (вступает в силу с 1 января 2022 г.) ^[37]
• Польский рейтинг журналов ^{[38] [39]}
• Список одобренных DHET южноафриканских журналов

В ряде стран они были представлены в качестве официальных инструментов оценки исследований. ^[40]

Смотрите также

• Научный журнал § Престиж и рейтинг
• Журналистика

Рекомендации

1. Лоури, Пол Бенджамин; Гаскин, Джеймс; Хамферис, Шон Л.; Муди, Грегори Д.; Галлетта, Деннис Ф.; Барлоу, Джордан Б.; Уилсон, Дэвид В. (2013). «Оценка качества журнала и корзины журналов старших ученых Ассоциации информационных систем с помощью библиометрических показателей: повышают ли экспертные оценки журналов ценность?». Информационные системы управления Ежеквартально . 37 (4): 993–1012. дои : 10.25300/MISQ/2013/37.4.01. JSTOR  43825779. SSRN  2186798.Также см. видеоповествование этой статьи на YouTube по адресу: Юкон. 
2. Лоури, Пол Бенджамин; Римляне, Дентон; Кертис, Аарон (2004). «Глобальный престиж журнала и поддерживающие дисциплины: наукометрическое исследование журналов по информационным системам». Журнал Ассоциации информационных систем . 5 (2): 29–77. дои : 10.17705/1jais.00045 . ССНН  666145.
3. Минасны, Будиман; Хартеминк, Альфред Э.; МакБрэтни, Алекс; Чан, Хо-Джун (22 октября 2013 г.). «Цитаты и индекс h исследователей почв и журналов в Web of Science, Scopus и Google Scholar». ПерДж . 1 : е183. дои : 10.7717/peerj.183 . ISSN  2167-8359. ПМЦ 3807595 . ПМИД  24167778. 
4. Серенко, Александр; Дохан, Майкл (2011). «Сравнение методов рейтингования журналов, основанных на экспертном опросе и цитируемости: пример из области искусственного интеллекта» (PDF) . Журнал информаметрики . 5 (4). Эльзевир : 629–648. дои : 10.1016/j.joi.2011.06.002.
5. «О OOIR: данные на уровне журнала» . Проверено 14 марта 2023 г.
6. Холсаппл, Клайд В. (2008). «Подход к определению ведущих журналов по информационным системам». Журнал Ассоциации информационных наук и технологий . 59 (2). Интернет-библиотека Wiley : 166–185. дои : 10.1002/asi.20679.
7. Серенко, Александр; Цзяо, Чанцюань (2012). «Исследование исследований информационных систем в Канаде» (PDF) . Канадский журнал административных наук . 29 . Интернет-библиотека Wiley: 3–24. дои : 10.1002/CJAS.214.
8. Альхури, Хамед; Фурута, Ричард (2013). Могут ли системы управления социальными ссылками предсказать рейтинг научных учреждений? Конспекты лекций по информатике. Том. 8092. Спрингер . стр. 138–143. CiteSeerX 10.1.1.648.3770 . дои : 10.1007/978-3-642-40501-3_14. ISBN  978-3-64240-500-6. {{cite book}}: |work=игнорируется ( помощь )
9. Корнилье, Фабьен; Чарльз, Винсент (2015). «Измерение привлекательности академических журналов: модель агрегирования прямого влияния» (PDF) . Письма об исследованиях операций . 43 (2): 172–176. дои : 10.1016/j.orl.2015.01.007. S2CID  13310055.
10. «Elsevier объявляет о расширении показателей журнала SNIP и SJR, которые теперь доступны в Scopus» (пресс-релиз). Эльзевир . Проверено 27 июля 2014 г.
11. Моед, Хенк (2010). «Измерение контекстного влияния цитирования научных журналов». Журнал информаметрики . 4 (3). Эльзевир: 256–277. arXiv : 0911.2632 . дои : 10.1016/j.joi.2010.01.002. S2CID  10644946.
12. Пински, Габриэль; Нарин, Фрэнсис (1976). «Влияние цитируемости на журнальные совокупности научных публикаций: теория в приложении к физической литературе». Обработка информации и управление . 12 (5): 297–312. дои : 10.1016/0306-4573(76)90048-0.
13. Либовиц, SJ; Палмер, JP (1984). «Оценка относительного влияния экономических журналов» (PDF) . Журнал экономической литературы . 22 (1): 77–88. JSTOR  2725228.
14. Паласиос-Уэрта, Игнасио; Волий, Оскар (2004). «Измерение интеллектуального влияния». Эконометрика . 72 (3): 963–977. CiteSeerX 10.1.1.165.6602 . дои : 10.1111/j.1468-0262.2004.00519.x. 
15. Коджицкий, Иоланда К.; Ю, Пинкан (2006). «Новые подходы к ранжированию экономических журналов». Вклад в экономический анализ и политику . 5 (1). CiteSeerX 10.1.1.178.7834 . дои : 10.2202/1538-0645.1520. 
16. Боллен, Йохан; Родригес, Марко А.; Ван Де Сомпель, Герберт (декабрь 2006 г.). «MESUR: Показатели научного воздействия, основанные на использовании». Материалы 7-й совместной конференции ACM/IEEE-CS по электронным библиотекам . Том. 69. стр. 669–687. arXiv : cs.GL/0601030 . Бибкод : 2006cs........1030B. дои : 10.1145/1255175.1255273. ISBN 978-1-59593-644-8. S2CID  3115544. {{cite book}}: |journal=игнорируется ( помощь )
17. Бергстром, Коннектикут (май 2007 г.). «Собственный фактор: измерение ценности и престижа научных журналов». Новости колледжей и научных библиотек . 68 (5): 314–316. дои : 10.5860/crln.68.5.7804 .
18. Уэст, Джевин Дарвин. «Эйгенфактор.орг». Собственный фактор . Проверено 18 мая 2014 г.
19. Эспеланд, Венди Нельсон; Саудер, Майкл (2007). «Рейтинги и реактивность: как общественные меры воссоздают социальные миры». Американский журнал социологии . 113 : 1–40. дои : 10.1086/517897. hdl : 1885/30995 . S2CID  113406795.
20. Грант, Дэвид Б.; Ковач, Дьёндьи; Спенс, Карен (2018). «Сомнительные исследовательские практики в академических кругах: предшественники и последствия». Европейский бизнес-обзор . 30 (2): 101–127. doi : 10.1108/EBR-12-2016-0155.
21. Брембс, Бьёрн (2018). «Престижные научные журналы изо всех сил пытаются достичь хотя бы средней надежности». Границы человеческой неврологии . 12:37 . дои : 10.3389/fnhum.2018.00037 . ПМК 5826185 . ПМИД  29515380. 
22. Триггл, Крис Р.; Макдональд, Росс; Триггл, Дэвид Дж.; Грирсон, Дональд (3 апреля 2022 г.). «Реквием по импакт-факторам и высоким расходам на публикацию». Ответственность в исследованиях . 29 (3): 133–164. дои : 10.1080/08989621.2021.1909481 . PMID  33787413. S2CID  232430287. Таким образом, можно ожидать, что высокий коэффициент JIF указывает на более высокий стандарт интереса, точности и надежности опубликованных в нем статей. Иногда это так, но, к сожалению, не всегда (Brembs 2018, 2019). Таким образом, Бьорн Брембс (2019) пришел к выводу: «Появляется все больше свидетельств против нашего субъективного представления о более престижных журналах, публикующих «лучшую» науку. На самом деле, самые престижные журналы могут публиковать наименее достоверную науку».
23. Маккиннон, Алан С. (2017). «Звездоглазый II: Возобновление дебатов о рейтинге логистических журналов». Международный журнал физического распределения и управления логистикой . 47 (6): 431–446. doi : 10.1108/IJPDLM-02-2017-0097.
24. Акино-Канчари, Кристиан Ренцо; Оспина-Меза, Ричард Фреди; Гильен-Маседо, Карла (30 июля 2020 г.). «100 отзывов мэра о влиянии на фармакологию, токсикологию и фармацевтику». Кубинский обзор биомедицинских исследований . 39 (3). ISSN  1561-3011.
25. «Дом». ДОРА .
26. Глик, Уильям; Цуй, Энн; Дэвис, Джеральд (2 мая 2018 г.). Катлер, Дэйв (ред.). «Моральная дилемма бизнес-исследований». Журнал БизЭд . Архивировано из оригинала 7 мая 2018 г.
27. Серенко, Александр; Бонтис, Ник (2024). «Танцы с дьяволом: использование и восприятие рейтинговых списков академических журналов в области менеджмента» (PDF) . Журнал документации . в прессе. дои : 10.1108/JD-10-2023-0217. S2CID  266921800.
28. «Рейтинг мировых журналов Австралийского исследовательского совета» . 12 июня 2011 г. Архивировано из оригинала 12 июня 2011 г.
29. Ли, Сяньчэн; Ронг, Венге; Ши, Хаоран; Тан, Цзе; Сюн, Чжан (11 мая 2018 г.). «Влияние систем рейтинга конференций на информатику: сравнительный регрессионный анализ». Наукометрика . 116 (2). ООО «Спрингер Сайенс энд Бизнес Медиа»: 879–907. дои : 10.1007/s11192-018-2763-1. ISSN  0138-9130. S2CID  255013801.
30. "Портал CORE Rankings" . core.edu.au. ​Проверено 27 декабря 2022 г.
31. "Uddannelses- og Forskningsministeriet" .
32. "Джулкайсуфуруми". Декабрь 2023.
33. «Поиск в норвежском списке | Норвежский реестр» .
34. «Рейтинг научных журналов - ANVUR - Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca» .
35. «Дипломированная ассоциация бизнес-школ - Путеводитель по академическому журналу» .
36. «Список признанных журналов HEC» .
37. "Оценка научных журналов NAAS" (PDF) . Национальная академия сельскохозяйственных наук . 01.01.2022. Архивировано (PDF) из оригинала 15 марта 2023 г.
38. «Министерство высшего образования и науки Польши (2019)» . www.bip.nauka.gov.pl . Проверено 12 октября 2019 г.
39. «Министерство высшего образования и науки Польши (2021)» . www.bip.nauka.gov.pl . Проверено 9 февраля 2021 г.
40. Понтиль, Дэвид; Торни, Дидье (2010). «Спорная политика рейтингов журналов: оценка социальных и гуманитарных наук». Оценка исследований . 19 (5): 347–360. дои : 10.3152/095820210X12809191250889. S2CID  53387400.