stringtranslate.com

Метрики на уровне автора

Метрики на уровне автора — это метрики цитирования , которые измеряют библиометрическое влияние отдельных авторов, исследователей, ученых и ученых. Было разработано много метрик, которые учитывают различное количество факторов (от учета только общего количества цитирований до рассмотрения их распределения по статьям или журналам с использованием статистических или графово-теоретических принципов).

Эти количественные сравнения между исследователями в основном проводятся для распределения ресурсов (таких как деньги и академические должности). Однако в академическом мире все еще ведутся споры о том, насколько эффективно метрики на уровне автора выполняют эту задачу. [1] [2] [3]

Метрики на уровне автора отличаются от метрик на уровне журнала , которые пытаются измерить библиометрическое влияние академических журналов, а не отдельных лиц. Однако метрики, изначально разработанные для академических журналов, могут быть представлены на уровне исследователя, например, собственный фактор на уровне автора [4] и импакт-фактор автора. [5]

Список показателей

Дополнительные вариациичас-индекс

Существует ряд моделей, предложенных для включения относительного вклада каждого автора в статью, например, путем учета ранга в последовательности авторов. [36] Было предложено обобщение h -индекса и некоторых других индексов, которое дает дополнительную информацию о форме функции цитирования автора (тяжелохвостая, плоская/пиковая и т. д.). [37] Поскольку h -индекс никогда не предназначался для измерения будущего успеха публикации, недавно группа исследователей изучила характеристики, которые являются наиболее предсказательными для будущего h -индекса. Можно попробовать предсказать, используя онлайн-инструмент. [38] Однако более поздняя работа показала, что поскольку h -индекс является кумулятивной мерой, он содержит внутреннюю автокорреляцию, которая привела к значительной переоценке его предсказуемости. Таким образом, истинная предсказуемость будущего h -индекса намного ниже по сравнению с тем, что утверждалось ранее. [39] h - индекс можно синхронизировать для анализа его эволюции в течение карьеры, используя различные временные окна. [40]

Критика

Некоторые ученые, такие как физик Хорхе Э. Хирш , восхваляли метрики на уровне автора как «полезный критерий, с помощью которого можно беспристрастно сравнивать разных людей, конкурирующих за один и тот же ресурс, когда важным критерием оценки являются научные достижения». [1] Однако другие члены научного сообщества и даже сам Хирш [41] критиковали их как особенно подверженные обману системы . [2] [3] [42]

Работа в области библиометрии продемонстрировала множество методов манипулирования популярными метриками на уровне автора. Наиболее используемым метрическим индексом Хирша можно манипулировать посредством самоцитирования, [43] [44] [45] и даже сгенерированные компьютером бессмысленные документы могут быть использованы для этой цели, например, с помощью SCIgen . [46] Метриками также можно манипулировать посредством принудительного цитирования , практики, при которой редактор журнала заставляет авторов добавлять ложные ссылки в свои собственные статьи, прежде чем журнал согласится их опубликовать. [47] [48]

Кроме того, если индекс Хирша рассматривается как критерий принятия решений для агентств по финансированию исследований, то теоретико-игровое решение этой конкуренции подразумевает увеличение средней длины списков соавторов . [49] Исследование, анализирующее >120 миллионов статей в конкретной области биологии, показало, что обоснованность мер, основанных на цитировании, ставится под угрозу, а их полезность уменьшается. [50] Как и предсказывает закон Гудхарта , количество публикаций больше не является хорошим показателем из-за более коротких статей и более длинных списков авторов.

Лео Силард , изобретатель ядерной цепной реакции , также высказал критику системы принятия решений о научном финансировании в своей книге «Голос дельфинов и другие истории». [51] Сенатор Дж. Листер Хилл зачитал отрывки из этой критики на слушаниях в сенате в 1962 году по поводу замедления финансируемых правительством исследований рака . [52] Работа Силарда сосредоточена на показателях, замедляющих научный прогресс, а не на конкретных методах игры:

«На самом деле, я думаю, это было бы довольно легко. Вы могли бы создать фонд с ежегодным пожертвованием в тридцать миллионов долларов. Исследователи, которым нужны средства, могли бы подавать заявки на гранты, если бы они могли убедительно изложить свои доводы. Создайте десять комитетов, каждый из которых состоял бы из двенадцати ученых, назначенных для рассмотрения этих заявок. Возьмите самых активных ученых из лаборатории и сделайте их членами этих комитетов. И самых лучших людей в этой области следует назначить председателями с зарплатой в пятьдесят тысяч долларов каждый. Также учредите около двадцати премий по сто тысяч долларов каждая за лучшие научные работы года. Это все, что вам нужно будет сделать. Ваши юристы могли бы легко подготовить устав фонда. На самом деле, любой из законопроектов Национального научного фонда, которые были представлены на Семьдесят девятом и Восьмидесятом Конгрессах, мог бы прекрасно послужить моделью».

«Во-первых, лучших ученых отстранят от лабораторий и заставят работать в комитетах, рассматривающих заявки на финансирование. Во-вторых, научные работники, которым нужны средства, сосредоточатся на проблемах, которые считаются многообещающими и которые наверняка приведут к результатам, пригодным для публикации. В течение нескольких лет может наблюдаться значительный рост научной продукции; но, если следовать очевидному, наука довольно скоро иссякнет. Наука станет чем-то вроде салонной игры. Что-то будет считаться интересным, что-то нет. Появится мода. Те, кто следует моде, получат гранты. Те, кто не будет, не получат, и довольно скоро они научатся следовать моде». [51]

Смотрите также

Ссылки

  1. ^ abcd Hirsch, JE (7 ноября 2005 г.). «Индекс для количественной оценки результатов научных исследований отдельного человека». Труды Национальной академии наук . 102 (46): 16569–16572. arXiv : physics/0508025 . Bibcode : 2005PNAS..10216569H. doi : 10.1073/pnas.0507655102 . PMC  1283832. PMID  16275915 .
  2. ^ ab Питер А., Лоуренс (2007). "Неправильное измерение науки" (PDF) . Current Biology . 17 (15): R583–R585. Bibcode : 2007CBio...17.R583L. doi : 10.1016/j.cub.2007.06.014. PMID  17686424. S2CID  30518724.
  3. ^ аб Шенгёр, Селал. АМ (2014). «Как наукометрия убивает науку» (PDF) . ГСА сегодня . 24 (12): 44–45. дои : 10.1130/GSATG226GW.1.
  4. ^ Уэст, Джевин Д.; Дженсен, Майкл К.; Дандреа, Ральф Дж.; Гордон, Грегори Дж.; Бергстром, Карл Т. (2013). «Метрики собственных факторов на уровне автора: оценка влияния авторов, учреждений и стран в сообществе исследовательских сетей социальных наук». Журнал Американского общества информационной науки и технологий . 64 (4): 787–801. doi :10.1002/asi.22790.
  5. ^ ab Pan, Raj Kumar; Fortunato, Santo (2014). "Фактор влияния автора: отслеживание динамики индивидуального научного влияния". Scientific Reports . 4 : 4880. arXiv : 1312.2650 . Bibcode : 2014NatSR...4E4880P. doi : 10.1038/srep04880. PMC 4017244 . PMID  24814674. 
  6. ^ Батиста PD; и др. (2006). «Возможно ли сравнивать исследователей с разными научными интересами?». Scientometrics . 68 (1): 179–89. arXiv : physics/0509048 . doi :10.1007/s11192-006-0090-4. S2CID  119068816.
  7. ^ Колтун, В.; Хафнер, Д. (2021). «Индекс Хирша больше не является эффективным коррелятом научной репутации». PLOS ONE . 16 (6): e0253397. arXiv : 2102.03234 . Bibcode : 2021PLoSO..1653397K. doi : 10.1371/journal.pone.0253397 . PMC 8238192. PMID  34181681 . 
  8. ^ Борнманн, Лутц; Мутц, Рюдигер; Даниэль, Ханс-Дитер (2010). « Измерение результатов исследований индекса h : два подхода к повышению их точности». Журнал Informetrics . 4 (3): 407–14. doi :10.1016/j.joi.2010.03.005.
  9. ^ Каур, Джаслин; Радикки, Филиппо; Менцер, Филиппо (2013). «Универсальность показателей научного воздействия». Журнал Informetrics . 7 (4): 924–32. arXiv : 1305.6339 . doi : 10.1016/j.joi.2013.09.002. S2CID  7415777.
  10. ^ Уэст, Джевин Д.; Дженсен, Майкл К.; Дандреа, Ральф Дж.; Гордон, Грегори Дж.; Бергстром, Карл Т. (апрель 2013 г.). «Метрики собственных факторов на уровне автора: оценка влияния авторов, учреждений и стран в сообществе исследовательских сетей социальных наук». Журнал Американского общества информационной науки и технологий . 64 (4): 787–801. doi :10.1002/asi.22790.
  11. ^ Кашьяп Диксит; С. Камешваран; Самип Мехта; Винаяка Пандит; Н. Вишванадхам (февраль 2009 г.). «На пути к одновременному использованию структуры и результатов в сетях взаимодействия для ранжирования узлов» (PDF) . Исследовательский отчет IBM R109002 .; см. также Камешваран, Сампат; Пандит, Винаяка; Мехта, Самип; Вишванадхам, Нукала; Диксит, Кашьяп (2010). «Ранжирование с учетом результата в сетях взаимодействия». Труды 19-й международной конференции ACM по управлению информацией и знаниями – CIKM '10 . стр. 229. doi :10.1145/1871437.1871470. ISBN 9781450300995.
  12. ^ Коннор, Джеймс; Блог Google Scholar. "Google Scholar Citations Open To All", Google, 16 ноября 2011 г., получено 24 ноября 2011 г.
  13. ^ "" Professoren der nächsten Generation" | NZZ" . Neue Zürcher Zeitung (на немецком языке) . Проверено 25 мая 2020 г.
  14. ^ Ноулз, Джамилла (10 августа 2012 г.). «ResearchGate выпускает рейтинг RG — Klout for Boffins». The Next Web . Получено 26 мая 2020 г.
  15. ^ ab Thelwall, M.; Kousha, K. (2014). "ResearchGate: Распространение, общение и измерение учености?" (PDF) . Журнал Ассоциации информационной науки и технологий . 66 (5): 876–889. CiteSeerX 10.1.1.589.5396 . doi :10.1002/asi.23236. S2CID  8974197. Архивировано (PDF) из оригинала 2018-02-18 . Получено 2018-07-30 . 
  16. ^ Ю, Мин-Чун (февраль 2016 г.). «ResearchGate: эффективный альтметрический индикатор для активных исследователей?». Компьютеры в поведении человека . 55 : 1001–1006. doi :10.1016/j.chb.2015.11.007.
  17. ^ ab Kraker, Peter; Lex, Elizabeth (2015). «Критический взгляд на оценку ResearchGate как на меру научной репутации». Труды семинара по количественной оценке и анализу научной коммуникации в Интернете (ASCW'15) .
  18. ^ ab Jordan, Katy (2015). Изучение оценки ResearchGate как академической метрики: размышления и выводы для практики . Количественная оценка и анализ научной коммуникации в Интернете (ASCW'15).
  19. ^ Хоффманн, CP; Лутц, C.; Меккель, M. (2016). «Реляционная альтметрика? Центральность сети на ResearchGate как показатель научного воздействия» (PDF) . Журнал Ассоциации информационной науки и технологий . 67 (4): 765–775. doi :10.1002/asi.23423. S2CID  7769870.
  20. ^ Ю, Мин-Чун (февраль 2016 г.). «ResearchGate: эффективный альтметрический индикатор для активных исследователей?». Компьютеры в поведении человека . 55 : 1001–1006. doi :10.1016/j.chb.2015.11.007.
  21. ^ Кук, Бек. «Руководства: Метрики исследований: Влияние цитирования, взвешенное по области». libguides.usc.edu.au .
  22. ^ «Книга рецептов показателей снежного кома» (PDF) . 2012.
  23. ^ Тауро, Кира. «Руководства по предметам: 6. Измерение влияния: влияние цитирования, взвешенное по области». canterbury.libguides.com .
  24. ^ Энн-Виль Харцинг (2008-04-23). ​​"Размышления об индексе Хирша" . Получено 2013-07-18 .
  25. ^ von Bohlen und Halbach O (2011). «Как судить о книге по ее обложке? Насколько полезны библиометрические индексы для оценки «научного качества» или «научной продуктивности»?». Annals of Anatomy . 193 (3): 191–96. doi :10.1016/j.aanat.2011.03.011. PMID  21507617.
  26. ^ Эгге, Лео (2006). «Теория и практика g -индекса». Scientometrics . 69 (1): 131–152. doi :10.1007/s11192-006-0144-7. hdl : 1942/981 . S2CID  207236267.
  27. ^ Чжан, Чун-Тин (2009). Джоли, Этьен (ред.). «Индекс e, дополняющий индекс Хирша для избыточных цитирований». PLOS ONE . 4 (5): e5429. Bibcode : 2009PLoSO...4.5429Z. doi : 10.1371/journal.pone.0005429 . PMC 2673580. PMID  19415119 . 
  28. ^ Додсон, М. В. (2009). «Анализ цитирования: Поддержание индекса Хирша и использование индекса e». Biochemical and Biophysical Research Communications . 387 (4): 625–26. doi :10.1016/j.bbrc.2009.07.091. PMID  19632203.
  29. ^ Bras-Amorós, M.; Domingo-Ferrer, J.; Torra, V (2011). «Библиометрический индекс, основанный на расстоянии сотрудничества между цитируемыми и цитирующими авторами». Journal of Informetrics . 5 (2): 248–64. doi :10.1016/j.joi.2010.11.001. hdl :10261/138172.
  30. ^ Дороговцев, SN ; Мендес, JFF (2015). «Рейтинг ученых». Nature Physics . 11 (11): 882–84. arXiv : 1511.01545 . Bibcode :2015NatPh..11..882D. doi :10.1038/nphys3533. S2CID  12533449.
  31. ^ Fatchur Rochim, Adian (ноябрь 2018 г.). «Улучшение справедливости индекса Хирша: индекс RA». DESIDOC Journal of Library & Information Technology . 38 (6): 378–386. doi : 10.14429/djlit.38.6.12937 .
  32. ^ Беликов, Алексей В.; Беликов, Виталий В. (22 сентября 2015 г.). «Основанный на цитировании, нормализованный по автору и возрасту логарифмический индекс для оценки отдельных исследователей независимо от количества публикаций». F1000Research . 4 : 884. doi : 10.12688/f1000research.7070.1 . PMC 4654436 . 
  33. ^ Двигатель, exaly Search. "exaly Search Engine". Бесплатная база данных статей и журналов . Получено 20 мая 2022 г.
  34. ^ Силагадзе, ЗК (2010). «Цитируемая энтропия и оценка влияния исследований». Acta Phys. Pol. B. 41 ( 2010): 2325–33. arXiv : 0905.1039 . Bibcode :2009arXiv0905.1039S.
  35. ^ Wu, Qiang (2009). «W-индекс: мера оценки научного воздействия путем сосредоточения внимания на широко цитируемых работах». Журнал Американского общества информационной науки и технологий . 61 (3): 609–614. arXiv : 0805.4650 . doi : 10.1002/asi.21276. S2CID  119293304.
  36. ^ Tscharntke, T.; Hochberg, ME; Rand, TA; Resh, VH; Krauss, J. (2007). «Последовательность авторов и кредит за вклад в многоавторские публикации». PLOS Biology . 5 (1): e18. doi : 10.1371/journal.pbio.0050018 . PMC 1769438. PMID  17227141 . 
  37. ^ Gągolewski, M.; Grzegorzewski, P. (2009). «Геометрический подход к построению индексов научного воздействия». Scientometrics . 81 (3): 617–34. doi :10.1007/s11192-008-2253-y. S2CID  466433.
  38. ^ Acuna, Daniel E.; Allesina, Stefano; Kording, Konrad P. (2012). «Будущее влияние: прогнозирование научного успеха». Nature . 489 (7415): 201–02. Bibcode :2012Natur.489..201A. doi :10.1038/489201a. PMC 3770471 . PMID  22972278. 
  39. ^ Пеннер, Орион; Пан, Радж К.; Петерсен, Александр М.; Каски, Киммо; Фортунато, Санто (2013). «О предсказуемости будущего воздействия в науке». Scientific Reports . 3 (3052): 3052. arXiv : 1306.0114 . Bibcode :2013NatSR...3E3052P. doi :10.1038/srep03052. PMC 3810665 . PMID  24165898. 
  40. ^ Шрайбер, Майкл (2015). «Ограничение индекса Хирша временным окном публикации и цитирования: исследование временного индекса Хирша». Журнал Informetrics . 9 : 150–55. arXiv : 1412.5050 . doi : 10.1016/j.joi.2014.12.005. S2CID  12320545.
  41. ^ Хирш, Хорхе Э. (2020). «Сверхпроводимость, что за H? У короля нет одежды». Физика и общество . 49 : 5–9. arXiv : 2001.09496 . Я предложил индекс Хирша, надеясь, что он станет объективной мерой научных достижений. В общем и целом, я думаю, что так и есть. Но теперь я пришел к убеждению, что он также может потерпеть сокрушительную неудачу и иметь серьезные непреднамеренные негативные последствия. Я могу понять, что чувствовал ученик чародея. (стр. 5)
  42. ^ Seppelt, Ralf (2018). «Искусство научной работы». Trends in Ecology and Evolution . 11 (33): 805–809. doi :10.1016/j.tree.2018.08.003. PMID  30270172. S2CID  52890068.
  43. ^ Gálvez RH (март 2017 г.). «Оценка самоцитирования автора как механизма распространения релевантных знаний». Scientometrics . 111 (3): 1801–1812. doi :10.1007/s11192-017-2330-1. S2CID  6863843.
  44. ^ Кристоф Бартнек и Серваас Коккельманс; Коккельманс (2011). «Обнаружение манипуляции индексом Хирша посредством анализа самоцитирования». Scientometrics . 87 (1): 85–98. doi :10.1007/s11192-010-0306-5. PMC 3043246 . PMID  21472020. 
  45. ^ Эмилио Феррара и Альфонсо Ромеро; Ромеро (2013). «Оценка научного воздействия и эффект самоцитирования: смягчение смещения путем дисконтирования индекса Хирша ». Журнал Американского общества информационной науки и технологий . 64 (11): 2332–39. arXiv : 1202.3119 . doi : 10.1002/asi.22976. S2CID  12693511.
  46. ^ Лаббе, Сирил (2010). Айк Анткаре — одна из величайших звезд на научном небосклоне (PDF) . Laboratoire d'Informatique de Grenoble RR-LIG-2008 (технический отчет) (Отчет). Университет Жозефа Фурье .
  47. ^ Wilhite, AW; Fong, EA (2012). «Принудительное цитирование в академических публикациях». Science . 335 (6068): 542–3. Bibcode :2012Sci...335..542W. doi :10.1126/science.1212540. PMID  22301307. S2CID  30073305.
  48. ^ Noorden, Richard Van (6 февраля 2020 г.). «Высокоцитируемый исследователь исключен из совета журнала за злоупотребление цитированием». Nature . 578 (7794): 200–201. Bibcode :2020Natur.578..200V. doi : 10.1038/d41586-020-00335-7 . PMID  32047304.
  49. ^ Рустам Тагиев; Дмитрий И. Игнатов (2017). «Изучение поведения в игре ранжирования индекса Хирша» (PDF) . Труды семинара CEUR . 1968 : 52–61.
  50. ^ Файр, Майкл; Гестрин, Карлос (1 июня 2019 г.). «Чрезмерная оптимизация показателей академических публикаций: наблюдение закона Гудхарта в действии». GigaScience . 8 (6). arXiv : 1809.07841 . doi : 10.1093/gigascience/giz053. PMC 6541803 . PMID  31144712. 
  51. ^ ab Голос дельфинов и другие рассказы . Нью-Йорк: Саймон и Шустер. 1961.
  52. ^ Комитет, ассигнования Сената Конгресса США (1961). Ассигнования на труд, здравоохранение, образование и социальное обеспечение на 1962 год, слушания в подкомитете ..., 87-1 по HR 7035. стр. 1498.

Дальнейшее чтение