Рейтинг журнала

Метрика академических журналов

Рейтинг журнала широко используется в академических кругах для оценки влияния и качества академического журнала . Рейтинги журнала призваны отражать место журнала в его области, относительную сложность публикации в этом журнале и престиж, связанный с этим. Они были введены в качестве официальных инструментов оценки исследований в нескольких странах.

Меры

Традиционно, «меры» или оценки рейтинга журналов предоставлялись просто через институциональные списки, созданные академическими лидерами, или через голосование комитета. Эти подходы были печально известны политизированными и неточными отражениями фактического престижа и качества, поскольку они часто отражали предвзятость и личные карьерные цели тех, кто участвовал в ранжировании журналов; также вызывая проблему крайне разрозненных оценок между учреждениями. ^[1] Следовательно, многим учреждениям требовались внешние источники оценки качества журналов. Традиционный подход здесь заключался в опросах ведущих ученых в данной области, но этот подход также имеет потенциал для предвзятости, хотя и не такой глубокий, как тот, который наблюдается в списках, созданных учреждениями. ^[2] Следовательно, правительства, учреждения и лидеры в наукометрических исследованиях обратились к длинному перечню наблюдаемых библиометрических мер на уровне журналов, которые можно использовать в качестве суррогатов качества и, таким образом, устранить необходимость в субъективной оценке. ^[1]

В связи с этим было предложено несколько показателей на уровне журнала, большинство из которых основано на цитировании :

• Импакт-фактор и CiteScore — отражают среднее количество цитирований статей, опубликованных в научных и социальных журналах.
• Рейтинг журнала SCImago — показатель научного влияния научных журналов, который учитывает как количество цитирований, полученных журналом, так и важность или престиж журналов, из которых поступают такие цитирования.
• Индекс Хирша — обычно используется как мера научной продуктивности и научного влияния отдельного ученого, но может также использоваться для ранжирования журналов.
  • h5-индекс – эта метрика, рассчитываемая и публикуемая Google Scholar , основана на h-индексе всех статей, опубликованных в данном журнале за последние пять лет. ^[3]
• Экспертный опрос – оценка, отражающая общее качество или вклад журнала, основана на результатах опроса активных полевых исследователей, практиков и студентов (т.е. фактических авторов или читателей журнала), которые ранжируют каждый журнал на основе определенных критериев. ^[4]
• Верхний квартиль цитирования (TQCC) – отражает количество цитирований, накопленных статьей, которая находится в верхнем квартиле (75-й процентиль) статей журнала при сортировке по количеству цитирований; например, если журнал опубликовал 100 статей, то 25-я по частоте цитирования статья – это TQCC. ^[5]
• Подход к мощности публикаций (PPA) – рейтинговая позиция каждого журнала основана на фактическом поведении ведущих штатных ученых в публикации за длительный период времени. Таким образом, рейтинговая позиция журнала отражает частоту, с которой эти ученые публиковали свои статьи в этом журнале. ^{[6] [7]}
• Altmetrics – оценивает журналы на основе научных ссылок, добавленных на академические сайты социальных сетей. ^[8]
• diamScore – мера научного влияния академических журналов, основанная на рекурсивном взвешивании цитирований и попарных сравнениях между журналами. ^[9]
• Нормализованное влияние источника на статью (SNIP) – фактор, опубликованный в 2012 году компанией Elsevier на основе данных Scopus для оценки влияния. ^[10] Мера рассчитывается как SNIP=RIP/(R/M), где RIP=сырой эффект на статью, R = потенциал цитирования, а M = медианный потенциал цитирования в базе данных. ^[11]
• Уровень журнала – один из немногих показателей, основанных не на цитированиях, а на объективных пользовательских оценках и отзывах. ^[12]
• PageRank – в 1976 году был предложен рекурсивный импакт-фактор, который придает цитатам из журналов с высоким импакт-фактором больший вес, чем цитатам из журналов с низким импакт-фактором. [ ^13] Такой рекурсивный импакт-фактор напоминает алгоритм PageRank Google , хотя в оригинальной статье используется подход «торгового баланса», при котором журналы получают наивысший балл, когда их часто цитируют, но редко цитируют другие журналы; несколько ученых предложили похожие подходы. ^{[14] [15] [16] [17]}
  • Eigenfactor — это еще один тип показателя влияния журнала PageRank, ^[18] рейтинги которого свободно доступны в Интернете. ^[19]

Обсуждение

Отрицательные последствия рейтингов, как правило, хорошо документированы и связаны с производительностью использования рейтингов журналов для целей измерения производительности. ^{[20] [21]} Исследования методологического качества и надежности показали, что «надежность опубликованных исследовательских работ в нескольких областях может снижаться с ростом рейтинга журнала» ^[22] , вопреки широко распространенным ожиданиям. ^[23]

Например, МакКиннон (2017) проанализировал, как рейтинг ABS-AJG, который, несмотря на свои методологические недостатки, широко принят в британских бизнес-школах, имел негативные последствия для дисциплин управления транспортом и логистикой. ^[24] Исследование, опубликованное в 2021 году, сравнило импакт-фактор, показатель собственного фактора, рейтинг журнала и страны SCImago и нормализованный импакт-фактор на статью в журналах, связанных с фармацевтикой, токсикологией и биохимией. Было обнаружено, что между ними существует «умеренная или высокая и значимая корреляция». ^[25]

Тысячи университетов и исследовательских организаций выпустили официальные заявления, осуждающие идею о том, что качество исследований может быть измерено на основе одномерной шкалы рейтинга журнала, в частности, подписав Сан-Францискоскую декларацию об оценке исследований (DORA), в которой содержится призыв «не использовать показатели, основанные на журналах... в качестве суррогатной меры качества отдельных исследовательских статей, для оценки вклада отдельного ученого или при принятии решений о найме, продвижении по службе или финансировании». ^[26] Сообщество за ответственные исследования в области управления бизнесом (cRRBM) задается вопросом, «даже ли академия получает пользу, когда преподавателей оценивают по количеству и размещению их статей, а не по пользе, которую их исследования могут принести миру». ^[27] Некоторые академические дисциплины, такие как менеджмент, демонстрируют парадокс списков рейтинга журналов: с одной стороны, исследователи знают о многочисленных ограничениях списков рейтинга и их пагубном влиянии на научный прогресс; С другой стороны, они обычно считают списки рейтингов журналов полезными и используют их, в частности, когда использование списков рейтингов не является обязательным для их учреждений. ^[28]

Национальные рейтинги

Существует несколько национальных и международных рейтингов журналов, например:

• Журнал ERA Australia входит в рейтинг журналов по всему миру, составленный Австралийским исследовательским советом ^[29]
• Рейтинг CORE, выпущенный Ассоциацией компьютерных исследований и образования Австралазии (CORE, Inc.). ^{[30] [31]}
• Квалификационные соревнования Бразилии
• Publindex Колумбии
• Дания Министерство высшего образования и науки Дании (2014) ^[32]
• Финский форум публикаций Julkaisufoorumi ( JUFO ) ^[33]
• Норвежский научный индекс Норвежский регистр научных журналов, серий и издательств – Расширенный поиск ^[34]
• Индекс VHB Германии (бизнес)
• Рейтинг Франции CNRS (экономика)
• Итальянский рейтинг ANVUR Журналы класса A ANVUR ^[35]
• Руководство по академическому журналу Ассоциации дипломированных бизнес-школ ^[36]
• Список журналов, признанных HEC в Пакистане ^[37]
• Рейтинг научных журналов Индийской национальной академии сельскохозяйственных наук NAAS (вступает в силу с 1 января 2022 г.) ^[38]
• Польский рейтинг журналов ^{[39] [40]}
• Список одобренных южноафриканских журналов DHET

Они были введены в качестве официальных инструментов оценки исследований в нескольких странах. ^[41]

Смотрите также

• Академический журнал § Престиж и рейтинг
• Журналистика

Ссылки

1. Lowry, Paul Benjamin; Gaskin, James; Humpherys, Sean L.; Moody, Gregory D.; Galletta, Dennis F.; Barlow, Jordan B.; Wilson, David W. (2013). «Оценка качества журнала и корзины журналов старших ученых Ассоциации информационных систем с помощью библиометрических показателей: добавляют ли экспертные оценки журналов ценность?». Management Information Systems Quarterly . 37 (4): 993–1012. doi :10.25300/MISQ/2013/37.4.01. JSTOR  43825779. SSRN  2186798.Также смотрите видеоописание этой статьи на YouTube по адресу: Yukon 
2. Лоури, Пол Бенджамин; Романс, Дентон; Кертис, Аарон (2004). «Глобальный престиж журнала и вспомогательные дисциплины: наукометрическое исследование журналов по информационным системам». Журнал Ассоциации информационных систем . 5 (2): 29–77. doi : 10.17705/1jais.00045 . SSRN  666145.
3. Минасны, Будиман; Хартеминк, Альфред Э.; МакБрэтни, Алекс; Джанг, Хо-Джун (2013-10-22). «Цитаты и индекс Хирша исследователей почв и журналов в Web of Science, Scopus и Google Scholar». PeerJ . 1 : e183. doi : 10.7717/peerj.183 . ISSN  2167-8359. PMC 3807595 . PMID  24167778. 
4. Серенко, Александр; Дохан, Майкл (2011). «Сравнение методов экспертного опроса и рейтинга журналов по цитируемости: пример из области искусственного интеллекта» (PDF) . Журнал Informetrics . 5 (4). Elsevier : 629–648. doi :10.1016/j.joi.2011.06.002.
5. "О OOIR: данные на уровне журнала" . Получено 2023-03-14 .
6. Холсэппл, Клайд В. (2008). «Подход к оценке публикационной мощности для определения ведущих журналов по информационным системам». Журнал Ассоциации информационной науки и технологий . 59 (2). Онлайн-библиотека Wiley : 166–185. doi : 10.1002/asi.20679.
7. Серенко, Александр; Цзяо, Чанцюань (2012). «Исследование исследований информационных систем в Канаде» (PDF) . Канадский журнал административных наук . 29 . Онлайн-библиотека Wiley: 3–24. doi :10.1002/CJAS.214.
8. Alhoori, Hamed; Furuta, Richard (2013). Могут ли системы управления социальными ссылками предсказать рейтинг научных площадок?. Lecture Notes in Computer Science. Vol. 8092. Springer . pp. 138–143. CiteSeerX 10.1.1.648.3770 . doi :10.1007/978-3-642-40501-3_14. ISBN  978-3-64240-500-6. {{cite book}}: |work=проигнорировано ( помощь )
9. Корнилье, Фабьен; Чарльз, Винсент (2015). «Измерение привлекательности академических журналов: модель агрегации прямого влияния» (PDF) . Operations Research Letters . 43 (2): 172–176. doi :10.1016/j.orl.2015.01.007. S2CID  13310055.
10. "Elsevier объявляет о доступности расширенных журнальных метрик SNIP и SJR в Scopus" (пресс-релиз). Elsevier . Получено 27 июля 2014 г.
11. Moed, Henk (2010). «Измерение контекстного влияния цитирования научных журналов». Journal of Informetrics . 4 (3). Elsevier: 256–277. arXiv : 0911.2632 . doi : 10.1016/j.joi.2010.01.002. S2CID  10644946.
12. "Journal Tier List". www.journaltierlist.com . Получено 2024-07-31 .
13. Пински, Габриэль; Нарин, Фрэнсис (1976). «Влияние цитирования на журнальные совокупности научных публикаций: теория с применением к литературе по физике». Обработка информации и управление . 12 (5): 297–312. doi :10.1016/0306-4573(76)90048-0.
14. Либовиц, С. Дж.; Палмер, Дж. П. (1984). «Оценка относительного влияния экономических журналов» (PDF) . Журнал экономической литературы . 22 (1): 77–88. JSTOR  2725228.
15. Паласиос-Уэрта, Игнасио; Волий, Оскар (2004). «Измерение интеллектуального влияния». Эконометрика . 72 (3): 963–977. CiteSeerX 10.1.1.165.6602 . дои : 10.1111/j.1468-0262.2004.00519.x. 
16. Коджицки, Иоланда К.; Ю, Пинкан (2006). «Новые подходы к ранжированию экономических журналов». Вклад в экономический анализ и политику . 5 (1). CiteSeerX 10.1.1.178.7834 . doi :10.2202/1538-0645.1520. 
17. Боллен, Йохан; Родригес, Марко А.; Ван де Сомпель, Герберт (декабрь 2006 г.). «MESUR: Метрики научного воздействия на основе использования». Труды 7-й совместной конференции ACM/IEEE-CS по цифровым библиотекам . Том 69. С. 669–687. arXiv : cs.GL/0601030 . Bibcode :2006cs........1030B. doi :10.1145/1255175.1255273. ISBN 978-1-59593-644-8. S2CID  3115544. {{cite book}}: |journal=проигнорировано ( помощь )
18. Бергстром, CT (май 2007 г.). «Собственный фактор: измерение ценности и престижа научных журналов». Новости колледжей и исследовательских библиотек . 68 (5): 314–316. doi : 10.5860/crln.68.5.7804 .
19. Уэст, Джевин Дарвин. "Eigenfactor.org". Eigenfactor . Получено 18.05.2014 .
20. Эспеланд, Венди Нельсон; Саудер, Майкл (2007). «Рейтинги и реактивность: как общественные меры воссоздают социальные миры». Американский журнал социологии . 113 : 1–40. doi : 10.1086/517897. hdl : 1885/30995 . S2CID  113406795.
21. Грант, Дэвид Б.; Ковач, Дьёндьи; Спенс, Карен (2018). «Сомнительные исследовательские практики в академической среде: предпосылки и последствия». European Business Review . 30 (2): 101–127. doi :10.1108/EBR-12-2016-0155.
22. Брембс, Бьёрн (2018). «Престижные научные журналы борются за достижение даже средней надежности». Frontiers in Human Neuroscience . 12 : 37. doi : 10.3389/fnhum.2018.00037 . PMC 5826185. PMID 29515380  . 
23. Triggle, Chris R; MacDonald, Ross; Triggle, David J.; Grierson, Donald (2022-04-03). «Реквием по импакт-факторам и высоким расходам на публикацию». Accountability in Research . 29 (3): 133–164. doi : 10.1080/08989621.2021.1909481 . PMID  33787413. S2CID  232430287. Поэтому можно было бы ожидать, что высокий фактор JIF указывает на более высокий стандарт интереса, точности и надежности опубликованных в нем статей. Иногда это верно, но, к сожалению, это, безусловно, не всегда так (Brembs 2018, 2019). Таким образом, Бьёрн Брембс (2019) пришел к выводу: «Появляется все больше доказательств против нашего субъективного представления о том, что более престижные журналы публикуют «лучшую» науку. На самом деле, самые престижные журналы могут публиковать наименее надежную науку».
24. Маккиннон, Алан С. (2017). «Звездный II: Пересмотр дебатов о рейтинге логистических журналов». Международный журнал физического распределения и управления логистикой . 47 (6): 431–446. doi :10.1108/IJPDLM-02-2017-0097.
25. Акино-Канчари, Кристиан Ренцо; Оспина-Меза, Ричард Фреди; Гильен-Маседо, Карла (30 июля 2020 г.). «100 отзывов мэра о влиянии на фармакологию, токсикологию и фармацевтику». Кубинский обзор биомедицинских исследований . 39 (3). ISSN  1561-3011.
26. "Дом". ДОРА .
27. Глик, Уильям; Цуй, Энн; Дэвис, Джеральд (2018-05-02). Катлер, Дэйв (ред.). «Моральная дилемма бизнес-исследований». Журнал BizEd . Архивировано из оригинала 2018-05-07.
28. Серенко, Александр; Бонтис, Ник (2024). «Танцы с дьяволом: использование и восприятие списков рейтингов академических журналов в области менеджмента» (PDF) . Журнал документации . 80 (4): 773–792. doi :10.1108/JD-10-2023-0217. S2CID  266921800.
29. "Рейтинг журналов по всему миру Австралийского исследовательского совета". 2011-06-12. Архивировано из оригинала 2011-06-12.
30. Ли, Сяньчэн; Ронг, Венге; Ши, Хаорань; Тан, Цзе; Сюн, Чжан (2018-05-11). «Влияние систем ранжирования конференций на информатику: сравнительный регрессионный анализ». Scientometrics . 116 (2). Springer Science and Business Media LLC: 879–907. doi :10.1007/s11192-018-2763-1. ISSN  0138-9130. S2CID  255013801.
31. "Портал рейтингов CORE". core.edu.au . Получено 2022-12-27 .
32. "Uddannelses- og Forskningsministeriet" .
33. "Джулкайсуфуруми". Декабрь 2023.
34. «Поиск в норвежском списке | Норвежский регистр».
35. «Рейтинг научных журналов - ANVUR - Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca» .
36. «Ассоциация дипломированных бизнес-школ – Руководство по академическому журналу».
37. «Список журналов, признанных HEC».
38. "Оценка научных журналов NAAS" (PDF) . Национальная академия сельскохозяйственных наук . 2022-01-01. Архивировано (PDF) из оригинала 2023-03-15.
39. "Польское министерство высшего образования и науки (2019)". www.bip.nauka.gov.pl . Получено 12 октября 2019 г.
40. "Польское министерство высшего образования и науки (2021)". www.bip.nauka.gov.pl . Получено 2021-02-09 .
41. Понтиль, Дэвид; Торни, Дидье (2010). «Спорная политика рейтингов журналов: оценка социальных и гуманитарных наук». Оценка исследований . 19 (5): 347–360. doi :10.3152/095820210X12809191250889. S2CID  53387400.