Метрика, которая пытается измерить производительность и цитируемость публикаций человека.
Индекс Хирша — это метрика на уровне автора , которая измеряет как производительность , так и цитируемость публикаций , изначально использовавшаяся для отдельного ученого или исследователя. Индекс Хирша коррелирует с показателями успеха, такими как получение Нобелевской премии , получение исследовательских стипендий и занятие должностей в ведущих университетах. [1] Индекс основан на наборе наиболее цитируемых статей ученого и количестве цитирований, которые они получили в других публикациях. В последнее время индекс стал применяться к производительности и влиянию научного журнала [ 2], а также группы ученых, таких как факультет, университет или страна. [3] Индекс был предложен в 2005 году Хорхе Э. Хиршем , физиком из Калифорнийского университета в Сан-Диего , в качестве инструмента для определения относительного качества физиков-теоретиков [4] и иногда называется индексом Хирша или числом Хирша .
Определение и цель
Индекс h определяется как максимальное значение h , при котором данный автор/журнал опубликовал не менее h статей, каждая из которых была процитирована не менее h раз. [4] [5] Индекс предназначен для улучшения более простых показателей, таких как общее количество цитирований или публикаций. Индекс лучше всего работает при сравнении ученых, работающих в одной и той же области, поскольку правила цитирования сильно различаются в разных областях. [6]
Расчет
Индекс h — это наибольшее число h , при котором h статей имеют не менее h цитирований каждая. Например, если у автора пять публикаций с 9, 7, 6, 2 и 1 цитированием (в порядке от наибольшего к наименьшему), то индекс h автора равен 3, поскольку у автора три публикации с 3 или более цитированиями. Однако у автора нет четырех публикаций с 4 или более цитированиями.
Очевидно, что h -индекс автора может быть равен только количеству его публикаций. Например, автор с единственной публикацией может иметь максимальный h -индекс 1 (если его публикация имеет 1 или более ссылок). С другой стороны, автор со многими публикациями, каждая из которых имеет только 1 ссылку, также будет иметь h -индекс 1.
Формально, если f — это функция, которая соответствует количеству цитирований для каждой публикации, мы вычисляем h -индекс следующим образом: сначала мы упорядочиваем значения f от наибольшего к наименьшему значению. Затем мы ищем последнюю позицию, в которой f больше или равна позиции (мы называем эту позицию h ). Например, если у нас есть исследователь с 5 публикациями A, B, C, D и E с 10, 8, 5, 4 и 3 цитированиями соответственно, h -индекс равен 4, потому что 4-я публикация имеет 4 цитирования, а 5-я — только 3. Напротив, если те же публикации имеют 25, 8, 5, 3 и 3 цитирования, то индекс равен 3 (т. е. 3-я позиция), потому что четвертая статья имеет только 3 цитирования.
f (A)=10, f (B)=8, f (C)=5, f (D)=4, f (E)=3 → h -индекс=4
f (A)=25, f (B)=8, f (C)=5, f (D)=3, f (E)=3 → h -индекс=3
Если у нас есть функция f, упорядоченная в порядке убывания от наибольшего значения к наименьшему, мы можем вычислить h -индекс следующим образом:
Индекс h можно определить вручную с помощью баз данных цитирования или с помощью автоматических инструментов. Подписные базы данных, такие как Scopus и Web of Science, предоставляют автоматизированные калькуляторы. С июля 2011 года Google предоставляет автоматически вычисляемый индекс h и индекс i10 в своем профиле Google Scholar . [9] Кроме того, определенные базы данных, такие как база данных INSPIRE-HEP, могут автоматически вычислять индекс h для исследователей, работающих в области физики высоких энергий .
Каждая база данных, вероятно, выдаст разное h для одного и того же ученого из-за разного охвата. [10] Подробное исследование показало, что Web of Science имеет сильный охват журнальных публикаций, но слабый охват конференций с высоким уровнем влияния. Scopus имеет лучший охват конференций, но слабый охват публикаций до 1996 года; Google Scholar имеет лучший охват конференций и большинства журналов (хотя и не всех), но, как и Scopus, имеет ограниченный охват публикаций до 1990 года. [11] [12] Исключение статей из трудов конференций является особой проблемой для ученых в области компьютерных наук , где труды конференций считаются важной частью литературы. [13] Google Scholar критиковали за создание «фантомных цитат», включение серой литературы в подсчет цитирований и несоблюдение правил булевой логики при объединении поисковых терминов. [14] Например, исследование Meho и Yang показало, что Google Scholar выявил на 53% больше цитирований, чем Web of Science и Scopus вместе взятые, но отметило, что поскольку большинство дополнительных цитирований, сообщенных Google Scholar, были из журналов с низким уровнем влияния или материалов конференций, они не оказали существенного влияния на относительный рейтинг лиц. Было высказано предположение, что для того, чтобы справиться с иногда большим разбросом h для одного ученого, измеренным по возможным базам данных цитирования, следует предположить, что ложные отрицательные результаты в базах данных более проблематичны, чем ложные положительные результаты, и взять максимальный h, измеренный для ученого. [15]
Примеры
Было проведено мало систематических исследований того, как индекс h ведет себя в разных учреждениях, странах, временах и академических областях. [16] Хирш предположил, что для физиков значение h около 12 может быть типичным для продвижения на должность доцента в крупных [американских] исследовательских университетах. Значение около 18 может означать полную профессорскую должность, 15–20 может означать стипендию в Американском физическом обществе , а 45 или выше может означать членство в Национальной академии наук США . [17] Хирш подсчитал, что через 20 лет «успешный ученый» будет иметь индекс h 20, «выдающийся ученый» будет иметь индекс h 40, а «действительно уникальная» личность будет иметь индекс h 60. [4]
Среди 22 научных дисциплин, перечисленных в порогах цитирования Essential Science Indicators (таким образом, исключая ненаучных ученых), физика занимает второе место по цитированию после космической науки . [18] В период с 1 января 2000 года по 28 февраля 2010 года физик должен был получить 2073 цитирования, чтобы войти в 1% самых цитируемых физиков в мире. [18] Порог для космической науки самый высокий (2236 цитирований), а за физикой следуют клиническая медицина (1390) и молекулярная биология и генетика (1229). Большинство дисциплин, таких как окружающая среда/экология (390), имеют меньше ученых, меньше статей и меньше цитирований. [18] Таким образом, эти дисциплины имеют более низкие пороги цитирования в Essential Science Indicators, при этом самые низкие пороги цитирования наблюдаются в социальных науках (154), компьютерных науках (149) и междисциплинарных науках (147). [18]
Цифры сильно различаются в дисциплинах социальных наук: команда The Impact of the Social Sciences в Лондонской школе экономики обнаружила, что у социологов в Соединенном Королевстве средние h -индексы ниже. h -индексы для («полных») профессоров, основанные на данных Google Scholar, варьировались от 2,8 (в юриспруденции), до 3,4 (в политологии ), 3,7 (в социологии ), 6,5 (в географии) и 7,6 (в экономике). В среднем по дисциплинам профессор социальных наук имел h -индекс примерно в два раза больше, чем у лектора или старшего лектора, хотя разница была наименьшей в географии. [19]
Преимущества
Хирш намеревался использовать h -индекс для устранения основных недостатков других библиометрических показателей. Метрика общего количества статей не учитывает качество научных публикаций. С другой стороны, на метрику общего количества цитирований может сильно повлиять участие в одной публикации, имеющей большое влияние (например, методологические статьи, предлагающие успешные новые методы, приемы или приближения, которые могут генерировать большое количество цитирований). h -индекс предназначен для одновременного измерения качества и количества научных результатов. До 2010 года h -индекс показывал корреляцию Кендалла от 0,3 до 0,4 с научными наградами. [20]
Критика
Существует ряд ситуаций, в которых h может предоставлять вводящую в заблуждение информацию о результатах работы ученого. [21] Корреляция между h -индексом и научными наградами значительно снизилась с 2010 года после широкого использования h -индекса, [20] следуя закону Гудхарта . Снижение корреляции частично объясняется распространением гиперавторства с более чем 100 соавторами на статью.
Некоторые из следующих сбоев характерны не только для индекса Хирша , но и для других показателей на уровне автора :
Индекс h не учитывает количество авторов статьи. В оригинальной статье Хирш предложил разделить цитирования среди соавторов. Один из таких дробных индексов известен как h-frac , который учитывает нескольких авторов, но не является широкодоступным с помощью автоматических инструментов. [20]
Индекс Хирша не учитывает различное типичное число цитирований в разных областях, например, экспериментальных по сравнению с теоретическими. Поведение цитирования в целом зависит от факторов, зависящих от области, [22] что может сделать недействительными сравнения не только между дисциплинами, но даже внутри различных областей исследований одной дисциплины. [23]
Индекс Хирша не учитывает информацию, содержащуюся в размещении автора в списке авторов, которая в некоторых научных областях имеет значение, а в других — нет. [24] [25]
Слабые стороны относятся к чисто количественному расчету научного или академического результата. Как и другие показатели, которые подсчитывают цитирования, индексом Хирша можно манипулировать с помощью принудительного цитирования , практики, при которой редактор журнала заставляет авторов добавлять ложные ссылки в свои собственные статьи, прежде чем журнал согласится их опубликовать. [27] [28] Индексом Хирша можно манипулировать с помощью самоцитирования, [29] [30] [31] и если он основан на выводе Google Scholar , то для этой цели можно использовать даже документы, сгенерированные компьютером, например, с помощью SCIgen . [32] Индексом Хирша также можно манипулировать с помощью гиперавторства. Недавние исследования ясно показывают, что корреляция индекса Хирша с наградами, которые указывают на признание научным сообществом, существенно снизилась. [33]
Другие недостатки
В одном исследовании было обнаружено, что индекс h имеет немного меньшую предсказательную точность и достоверность, чем более простая мера среднего числа цитирований на статью. [34] Однако это открытие было опровергнуто другим исследованием Хирша. [35] Индекс h не обеспечивает значительно более точную меру воздействия, чем общее число цитирований для данного ученого. В частности, моделируя распределение цитирований среди статей как случайное целочисленное разбиение , а индекс h как квадрат Дарфи разбиения, Йонг [36] пришел к формуле , где N — общее число цитирований, которая для членов-математиков Национальной академии наук, как оказалось, обеспечивает точное (с ошибками, как правило, в пределах 10–20 процентов) приближение индекса h в большинстве случаев.
Альтернативы и модификации
Были сделаны различные предложения по изменению индекса h , чтобы подчеркнуть различные особенности. [37] [38] [39] [40] [41] [42] [20] Многие из этих вариантов, такие как g-индекс , сильно коррелируют с исходным индексом h , что привело к тому, что некоторые исследователи посчитали их избыточными. [43] Одной из метрик, которая не сильно коррелирует с индексом h , но коррелирует с научными наградами, является h-frac. [20]
Приложения
Индексы, подобные индексу Хирша , применялись вне оценки авторов или журналов.
Индекс h был применен к интернет-СМИ, таким как каналы YouTube . Он определяется как количество видео с ≥ h × 10 5 просмотров. По сравнению с общим количеством просмотров создателя видео индекс h и индекс g лучше отражают как производительность, так и влияние в одной метрике. [44]
Также был разработан последовательный индекс типа Хирша для учреждений. [45] [46] Научное учреждение имеет последовательный индекс типа Хирша i , когда по крайней мере i исследователей из этого учреждения имеют h -индекс по крайней мере i .
^ Борнманн, Лутц; Дэниел, Ханс-Дитер (июль 2007 г.). «Что мы знаем об индексе Хирша?». Журнал Американского общества информационной науки и технологий . 58 (9): 1381–1385. doi :10.1002/asi.20609. S2CID 31323195.
^ Судзуки, Хелдер (2012). «Метрики Google Scholar для публикаций». googlescholar.blogspot.com.br .
^ Джонс, Т.; Хаггетт, С.; Камальски, Дж. (2011). «В поисках пути через научную литературу: индексы и меры». World Neurosurgery . 76 (1–2): 36–38. doi :10.1016/j.wneu.2011.01.015. PMID 21839937.
^ abcde Hirsch, JE (15 ноября 2005 г.). «Индекс для количественной оценки результатов научных исследований отдельного человека». PNAS . 102 (46): 16569–72. arXiv : physics/0508025 . Bibcode : 2005PNAS..10216569H. doi : 10.1073/pnas.0507655102 . PMC 1283832. PMID 16275915 .
^ Макдональд, Ким (8 ноября 2005 г.). «Физик предлагает новый способ ранжировать научные результаты». PhysOrg . Получено 13 мая 2010 г.
^ "Влияние социальных наук – 3: Ключевые показатели академического влияния". Блог LSE Impact of Social Sciences (Раздел 3.2) . Лондонская школа экономики. 19 ноября 2010 г. Получено 19 апреля 2020 г.
^ Джефферс, Дэвид; Свонсон, Джон (ноябрь 2005 г.). «Насколько высок ваш E?». Physics World . 18 (10): 21. doi :10.1088/2058-7058/18/10/30 . Получено 17 сентября 2022 г.
^ Месяр, Радко; Гаголевский, Марек (декабрь 2016 г.). «Индекс Хирша и другие интегралы Сугено: некоторые дефекты и их компенсация». Труды IEEE по нечетким системам . 24 (6): 1668–1672. doi :10.1109/TFUZZ.2016.2516579. ISSN 1941-0034. S2CID 1651767.
^ Справка по цитатам Google Scholar, получено 18 сентября 2012 г.
^ Бар-Илан, Дж. (2007). «Какой индекс Хирша ? – Сравнение WoS, Scopus и Google Scholar». Scientometrics . 74 (2): 257–71. doi :10.1007/s11192-008-0216-y. S2CID 29641074.
^ Мехо, ЛИ; Янг, К. (2007). «Влияние источников данных на количество цитирований и рейтинги факультета библиотечно-информационных наук: Web of Science против Scopus и Google Scholar». Журнал Американского общества информационной науки и технологий . 58 (13): 2105–25. doi :10.1002/asi.20677.
^ Мехо, ЛИ; Янг, К (23 декабря 2006 г.). «Новая эра в цитировании и библиометрическом анализе: Web of Science, Scopus и Google Scholar». arXiv : cs/0612132 .(препринт статьи, опубликованной под названием «Влияние источников данных на количество цитирований и рейтинги преподавателей библиотечно-информационных наук: Web of Science против Scopus и Google Scholar», в журнале Американского общества информационной науки и технологий , том 58 , № 13, 2007 г., стр. 2105–25)
^ Мейер, Бертран ; Чоппи, Кристин; Стаунструп, Йорген; Ван Лиувен, Ян (2009). «Оценка исследований в области компьютерных наук». Сообщения ACM . 52 (4): 31–34. doi :10.1145/1498765.1498780. S2CID 8625066..
^ Jacsó, Péter (2006). «Сомнительные подсчеты попаданий и яйца кукушки». Обзор онлайн-информации . 30 (2): 188–93. doi :10.1108/14684520610659201.
^ Сандерсон, Марк (2008). «Пересмотр h, измеренного в Великобритании LIS и IR academics». Журнал Американского общества информационной науки и технологий . 59 (7): 1184–90. CiteSeerX 10.1.1.474.1990 . doi :10.1002/asi.20771.
^ Турага, Киран К.; Гэмблин, Т. Кларк (июль 2012 г.). «Измерение хирургического академического результата учреждения: «институциональный» индекс Хирша». Журнал хирургического образования . 69 (4): 499–503. doi :10.1016/j.jsurg.2012.02.004. PMID 22677589.
^ Петерсон, Иварс (2 декабря 2005 г.). «Рейтинг исследователей». Science News . Получено 13 мая 2010 г.
^ abcd "Citation Thresholds (Essential Science Indicators)". Science Watch . Thomson Reuters. 1 мая 2010 г. Архивировано из оригинала 5 мая 2010 г. Получено 13 мая 2010 г.
^ "Влияние социальных наук – 3: Ключевые показатели академического влияния" (PDF) . Влияние социальных наук, LSE.ac.uk . 19 ноября 2010 г. . Получено 14 ноября 2020 г. .
^ abcde Колтун, В.; Хафнер, Д. (2021). «Индекс Хирша больше не является эффективным коррелятом научной репутации». PLOS ONE . 16 (6): e0253397. arXiv : 2102.03234 . Bibcode :2021PLoSO..1653397K. doi : 10.1371/journal.pone.0253397 . PMC 8238192 . PMID 34181681. Наши результаты показывают, что использование индекса Хирша при ранжировании ученых следует пересмотреть, и что дробные меры распределения, такие как h-frac, предоставляют более надежные альтернативы. Сопутствующая веб-страница
^ Вендл, Майкл (2007). «Индекс Хирша: как бы они ни ранжировались, цитатам нужен контекст». Nature . 449 (7161): 403. Bibcode :2007Natur.449..403W. doi : 10.1038/449403b . PMID 17898746.
^ Борнманн, Л.; Дэниел, HD (2008). «Что измеряют счетчики цитирования? Обзор исследований по поведению цитирования». Журнал документации . 64 (1): 45–80. doi :10.1108/00220410810844150. hdl : 11858/00-001M-0000-0013-7A94-3 . S2CID 17260826.
^ Анауати, Виктория; Галиани, Себастьян; Гальвес, Рамиро Х. (2016). «Количественная оценка жизненного цикла научных статей в различных областях экономических исследований». Economic Inquiry . 54 (2): 1339–1355. doi : 10.1111/ecin.12292. hdl : 10.1111/ecin.12292 . ISSN 1465-7295. S2CID 154806179.
^ Чжан, Чун-Тин (2009). «Предложение по расчету взвешенных цитирований на основе ранга автора». EMBO Reports . 10 (5): 416–17. doi :10.1038/embor.2009.74. PMC 2680883. PMID 19415071 .
^ Руан, Ф. П.; Тол , Р. С. Дж. (2008). «Рациональные (последовательные) индексы Хирша: применение в экономике в Республике Ирландия». Наукометрия . 75 (2): 395–405. doi :10.1007/s11192-007-1869-7. hdl :1871/31768. S2CID 6541932.
^ Wilhite, AW; Fong, EA (2012). «Принудительное цитирование в академических публикациях». Science . 335 (6068): 542–3. Bibcode :2012Sci...335..542W. doi :10.1126/science.1212540. PMID 22301307. S2CID 30073305.
^ Noorden, Richard Van (6 февраля 2020 г.). «Высокоцитируемый исследователь исключен из совета журнала за злоупотребление цитированием». Nature . 578 (7794): 200–201. Bibcode :2020Natur.578..200V. doi : 10.1038/d41586-020-00335-7 . PMID 32047304.
^ Гальвес, Рамиро Х. (март 2017 г.). «Оценка самоцитирования автора как механизма распространения релевантных знаний». Scientometrics . 111 (3): 1801–1812. doi :10.1007/s11192-017-2330-1. S2CID 6863843.
^ Кристоф Бартнек и Серваас Коккельманс; Коккельманс (2011). «Обнаружение манипуляции индексом Хирша посредством анализа самоцитирования». Scientometrics . 87 (1): 85–98. doi :10.1007/s11192-010-0306-5. PMC 3043246 . PMID 21472020.
^ Эмилио Феррара и Альфонсо Ромеро; Ромеро (2013). «Оценка научного воздействия и эффект самоцитирования: смягчение смещения путем дисконтирования индекса Хирша ». Журнал Американского общества информационной науки и технологий . 64 (11): 2332–39. arXiv : 1202.3119 . doi : 10.1002/asi.22976. S2CID 12693511.
^ Лаббе, Сирил (2010). Айк Анткаре — одна из величайших звезд на научном небосклоне (PDF) . Laboratoire d'Informatique de Grenoble RR-LIG-2008 (технический отчет) (Отчет). Университет Жозефа Фурье .
^ Колтун, Владлен; Хафнер, Дэвид (2021). «Индекс Хирша больше не является эффективным коррелятом научной репутации». PLOS ONE . 16 (6): e0253397. arXiv : 2102.03234 . Bibcode : 2021PLoSO..1653397K. doi : 10.1371/journal.pone.0253397 . PMC 8238192. PMID 34181681 .
^ Суне Леманн; Джексон, Эндрю Д.; Лаутруп, Бенни Э. (2006). «Меры для мер». Nature . 444 (7122): 1003–04. Bibcode : 2006Natur.444.1003L. doi : 10.1038/4441003a. PMID 17183295. S2CID 3099364.
^ Hirsch JE (2007). «Имеет ли индекс Хирша предсказательную силу?». PNAS . 104 (49): 19193–98. arXiv : 0708.0646 . Bibcode : 2007PNAS..10419193H. doi : 10.1073/pnas.0707962104 . PMC 2148266. PMID 18040045 .
^ Йонг, Александр (2014). «Критика индекса цитирования Хирша: комбинаторная проблема Ферми» (PDF) . Notices of the American Mathematical Society . 61 (11): 1040–1050. arXiv : 1402.4357 . doi : 10.1090/noti1164. S2CID 119126314.
^ Батиста PD; и др. (2006). «Возможно ли сравнивать исследователей с разными научными интересами?». Scientometrics . 68 (1): 179–89. arXiv : physics/0509048 . doi :10.1007/s11192-006-0090-4. S2CID 119068816.
^ Сидиропулос, Антонис; Катсарос, Димитриос; Манолопулос, Яннис (2007). «Обобщенный индекс Хирша для раскрытия скрытых фактов в сетях цитирования». Scientometrics . 72 (2): 253–80. CiteSeerX 10.1.1.76.3617 . doi :10.1007/s11192-007-1722-z. S2CID 14919467.
^ Jayant S Vaidya (декабрь 2005 г.). "V-индекс: более справедливый индекс для количественной оценки исследовательского потенциала отдельного человека". BMJ . 331 (7528): 1339–c–40–c. doi :10.1136/bmj.331.7528.1339-c. PMC 1298903 . PMID 16322034.
^ Катсарос Д., Сидиропулос А., Манолопус Й., (2007), Возрастной индекс Хирша для социальных сетей цитирования в трудах семинара по социальным аспектам Интернета, Познань, Польша, 27 апреля 2007 г.
^ Андерсон, Томас Р.; Ханкин, Робин КС; Киллворт, Питер Д. (12 июля 2008 г.). «За пределами квадрата Дёрфи: повышение индекса Хирша для оценки общего объема публикаций». Наукометрия . 76 (3). Springer Science and Business Media LLC: 577–588. doi : 10.1007/s11192-007-2071-2 . ISSN 0138-9130.
^ Baldock, Clive; Ma, Ruimin; Orton, Colin G. (5 марта 2009 г.). «Индекс h — лучший показатель исследовательской продуктивности ученого». Medical Physics . 36 (4). Wiley: 1043–1045. Bibcode :2009MedPh..36.1043B. doi :10.1118/1.3089421. ISSN 0094-2405. PMID 19472608.
^ Борнманн, Л. и др. (2011). «Многоуровневый метаанализ исследований, сообщающих о корреляциях между индексом Хирша и 37 различными вариантами индекса Хирша ». Журнал Informetrics . 5 (3): 346–59. doi :10.1016/j.joi.2011.01.006.
^ Ховден, Р. (2013). «Библиометрия для интернет-СМИ: применение индекса Хирша к YouTube». Журнал Американского общества информационной науки и технологий . 64 (11): 2326–31. arXiv : 1303.0766 . doi : 10.1002/asi.22936. S2CID 38708903.
^ Космульский, М. (2006). «Я – библиометрический указатель». Форум Академический . 11:31 .
^ Пратап, Г. (2006). «Индексы типа Хирша для ранжирования результатов научных исследований учреждений». Current Science . 91 (11): 1439.
Дальнейшее чтение
Алонсо, С.; Кабрерисо, Ф. Дж.; Эррера-Вьедма, Э.; Эррера, Ф. (2009). "индекс Хирша: обзор, посвященный его вариантам, вычислениям и стандартизации для различных научных областей" (PDF) . Журнал Informetrics . 3 (4): 273–89. doi :10.1016/j.joi.2009.04.001. hdl :10481/64974.
Болл, Филип (2005). «Индекс нацелен на справедливый рейтинг ученых». Nature . 436 (7053): 900. Bibcode :2005Natur.436..900B. doi : 10.1038/436900a . PMID 16107806.
Иглесиас, Хуан Э.; Печарроман, Карлос (2007). «Масштабирование индекса Хирша для различных научных областей ISI». Scientometrics . 73 (3): 303–320. arXiv : physics/0607224 . doi :10.1007/s11192-007-1805-x. S2CID 17559665.
Келли, CD; Дженнионс, MD (2006). « Индекс h и оценка карьеры по числам». Trends in Ecology & Evolution . 21 (4): 167–70. doi :10.1016/j.tree.2006.01.005. PMID 16701079.
Lehmann, S.; Jackson, AD; Lautrup, BE (2006). «Меры для мер». Nature . 444 (7122): 1003–04. Bibcode :2006Natur.444.1003L. doi :10.1038/4441003a. PMID 17183295. S2CID 3099364.
Панаретос, Дж.; Малесиос, К. (2009). «Оценка результативности и влияния научных исследований с помощью отдельных индексов». Scientometrics . 81 (3): 635–70. arXiv : 0812.4542 . doi :10.1007/s11192-008-2174-9. S2CID 1957865.