Импакт -фактор ( IF ) или импакт-фактор журнала ( JIF ) академического журнала — это наукометрический индекс, рассчитываемый Clarivate , который отражает ежегодное среднее число цитирований статей, опубликованных за последние два года в данном журнале, согласно индексу Web of Science компании Clarivate .
Как показатель на уровне журнала , он часто используется в качестве показателя относительной важности журнала в его области; журналы с более высокими значениями импакт-фактора получают статус более важных или более престижных в своих областях, чем журналы с более низкими значениями.
Хотя этот метод часто используется университетами и финансирующими организациями для принятия решений о продвижении и исследовательских предложениях, его критиковали за искажение надлежащей научной практики. [1] [2] [3]
Фактор влияния был разработан Юджином Гарфилдом , основателем Института научной информации (ISI) в Филадельфии. Факторы влияния начали рассчитываться ежегодно с 1975 года для журналов, перечисленных в Journal Citation Reports (JCR). ISI была приобретена Thomson Scientific & Healthcare в 1992 году [4] и стала известна как Thomson ISI. В 2018 году Thomson-Reuters отделилась и продала ISI Onex Corporation и Baring Private Equity Asia [5 ]. Они основали новую корпорацию Clarivate, которая теперь является издателем JCR. [6]
В любом конкретном году двухлетний импакт-фактор журнала представляет собой отношение количества цитирований, полученных в этом году для публикаций в этом журнале, которые были опубликованы в течение двух предыдущих лет, к общему количеству «цитируемых статей», опубликованных в этом журнале в течение двух предыдущих лет: [7] [8]
Например, в 2017 году импакт-фактор журнала Nature составил 41,577: [9]
Это означает, что в среднем его статьи, опубликованные в 2015 и 2016 годах, получили примерно 42 цитирования в 2017 году. Импакт-факторы за 2017 год были опубликованы в 2018 году; их невозможно рассчитать, пока все публикации за 2017 год не будут обработаны индексирующим агентством.
Значение импакт-фактора зависит от того, как определяются «цитирования» и «публикации»; последние часто называются «цитируемыми элементами». В текущей практике и «цитирования», и «публикации» определяются исключительно ISI следующим образом. «Публикации» — это элементы, которые классифицируются как «статья», «обзор» или «трудовая статья» [10] в базе данных Web of Science (WoS); другие элементы, такие как редакционные статьи, исправления, заметки, опровержения и обсуждения, исключаются. WoS доступен всем зарегистрированным пользователям, которые могут самостоятельно проверить количество цитируемых элементов для данного журнала. Напротив, количество цитирований извлекается не из базы данных WoS, а из специальной базы данных JCR, которая недоступна для обычных читателей. Следовательно, обычно используемый «импакт-фактор JCR» является собственным значением, которое определяется и рассчитывается ISI и не может быть проверено внешними пользователями. [11]
Новые журналы, индексируемые с момента их первого опубликованного выпуска, получат импакт-фактор после двух лет индексации; в этом случае цитирования на год, предшествующий тому 1, и количество статей, опубликованных в год, предшествующий тому 1, являются известными нулевыми значениями. Журналы, индексируемые начиная с тома, отличного от первого, не получат импакт-фактор, пока они не будут индексироваться в течение трех лет. Иногда Journal Citation Reports назначает импакт-фактор новым журналам с индексацией менее двух лет на основе данных о частичном цитировании. [12] [13] Расчет всегда использует два полных и известных года количества статей, но для новых названий одно из известных значений равно нулю. Ежегодные и другие нерегулярные издания иногда не публикуют статей в определенном году, что влияет на количество. Импакт-фактор относится к определенному периоду времени; его можно рассчитать для любого желаемого периода. Например, JCR также включает пятилетний импакт-фактор , который рассчитывается путем деления количества ссылок на журнал в данном году на количество статей, опубликованных в этом журнале за предыдущие пять лет. [14] [15]
Первоначально импакт-фактор был изобретен как инструмент, помогающий библиотекарям университетов решать, какие журналы покупать, но вскоре его стали использовать в качестве меры оценки академического успеха. Это использование импакт-факторов было обобщено Хёффелем в 1998 году: [16]
Фактор импакт-фактора не является идеальным инструментом для измерения качества статей, но нет ничего лучше, и у него есть преимущество в том, что он уже существует, и поэтому является хорошим методом для научной оценки. Опыт показал, что в каждой специальности лучшими журналами являются те, в которых труднее всего принять статью, и это журналы с высоким фактором импакт-фактора. Большинство этих журналов существовали задолго до того, как был изобретен фактор импакт-фактора. Использование фактора импакт-фактора в качестве меры качества широко распространено, поскольку оно хорошо соответствует мнению, которое мы имеем в каждой области о лучших журналах в нашей специальности... В заключение следует сказать, что престижные журналы публикуют статьи высокого уровня. Поэтому их фактор импакт-фактор высок, а не наоборот.
Поскольку импакт-факторы являются метрикой на уровне журнала, а не метрикой на уровне статьи или отдельного человека, такое использование является спорным. Юджин Гарфилд, изобретатель JIF, согласился с Хёффелем, [17], но предупредил о «неправильном использовании при оценке отдельных лиц», поскольку существует «широкая вариация [цитирований] от статьи к статье в пределах одного журнала». [18] Несмотря на это предупреждение, использование JIF развивалось, играя ключевую роль в процессе оценки отдельных исследователей, их заявлений о приеме на работу и их предложений о финансировании. В 2005 году The Journal of Cell Biology отметил, что:
Данные об импакт-факторе... оказывают сильное влияние на научное сообщество, влияя на решения о том, где публиковаться, кого повышать или нанимать, на успешность заявок на гранты и даже на бонусы к зарплате. [19]
Более целенаправленные исследования начали предоставлять убедительные доказательства того, насколько глубоко импакт-фактор встроен в формальные и неформальные процессы оценки исследований. Обзор 2019 года изучал, как часто JIF фигурировал в документах, связанных с обзором, продвижением и сроком полномочий ученых в университетах США и Канады. Он пришел к выводу, что 40% университетов, сосредоточенных на академических исследованиях, специально упоминали JIF как часть таких процессов обзора, продвижения и срока полномочий. [20] А исследование 2017 года о том, как ведут себя исследователи в области естественных наук, пришло к выводу, что «повседневные практики принятия решений в значительной степени определяются давлением, связанным с необходимостью публиковаться в высокоимпактных журналах». Глубоко укоренившаяся природа таких показателей влияет не только на оценку исследований, но и на более фундаментальный вопрос о том, какие исследования фактически проводятся: «Учитывая текущие способы оценки и определения ценности исследований, рискованные, длительные и неортодоксальные проекты редко оказываются в центре внимания». [21]
Многочисленные критические замечания были высказаны относительно использования импакт-факторов, как с точки зрения его статистической обоснованности, так и с точки зрения его последствий для того, как осуществляется и оценивается наука. [3] [22] [23] [24] [25] Исследование 2007 года отметило, что наиболее фундаментальным недостатком является то, что импакт-факторы представляют собой среднее значение данных, которые не распределены нормально , и предположило, что было бы более целесообразно представлять медиану этих данных. [19] Существуют также более общие дебаты о обоснованности импакт-фактора как меры важности журнала и влиянии политики, которую редакторы могут принять для повышения своего импакт-фактора (возможно, в ущерб читателям и авторам). Другая критика фокусируется на влиянии импакт-фактора на поведение ученых, редакторов и других заинтересованных сторон. [26] Дальнейшие критические замечания утверждают, что акцент на импакт-факторе является результатом негативного влияния неолиберальной политики на академическую среду. Некоторые из этих аргументов требуют не только замены импакт-фактора более сложными показателями, но и обсуждения социальной ценности оценки исследований и растущей нестабильности научной карьеры в сфере высшего образования. [27] [28]
Было установлено, что на импакт-факторы в частности и анализ цитирования в целом влияют факторы, зависящие от области исследования [29] , которые делают недействительными сравнения не только между дисциплинами, но даже внутри различных областей исследований одной дисциплины. [30] Процент общего числа цитирований, происходящих в течение первых двух лет после публикации, также сильно различается между дисциплинами: от 1–3% в математических и физических науках до 5–8% в биологических науках. [31] Таким образом, импакт-факторы нельзя использовать для сравнения журналов по дисциплинам.
Иногда импакт-факторы используются для оценки не только журналов, но и статей в них, тем самым обесценивая статьи по определенным предметам. [32] В 2004 году Комитет по науке и технологиям Палаты общин настоятельно призвал Совет по финансированию высшего образования Англии напомнить группам по оценке исследований , что они обязаны оценивать качество содержания отдельных статей, а не репутацию журнала, в котором они опубликованы. [33] В других исследованиях неоднократно заявлялось, что импакт-фактор является показателем для журналов и не должен использоваться для оценки отдельных исследователей или учреждений. [34] [35] [36]
Поскольку импакт-фактор обычно принимается в качестве показателя качества исследований, некоторые журналы принимают редакционную политику и практику, некоторые приемлемые, а некоторые с сомнительной целью, чтобы увеличить свой импакт-фактор. [37] [38] Например, журналы могут публиковать больший процент обзорных статей, которые, как правило, цитируются больше, чем исследовательские отчеты. [8] Исследования, проведенные в 2020 году в стоматологических журналах, пришли к выводу, что публикация «систематических обзоров оказывает значительное влияние на импакт-фактор журнала... в то время как статьи, публикующие клинические испытания, не оказывают никакого влияния на этот фактор. Более высокий годовой средний показатель опубликованных статей... означает более высокий импакт-фактор». [39]
Журналы также могут попытаться ограничить количество «цитируемых элементов» — т. е. знаменателя уравнения импакт-фактора — либо отказываясь публиковать статьи, которые вряд ли будут цитироваться (например, отчеты о случаях в медицинских журналах), либо изменяя статьи (например, не разрешая аннотацию или библиографию в надежде, что Journal Citation Reports не сочтет их «цитируемым элементом»). В результате переговоров о том, являются ли элементы «цитируемыми», наблюдались вариации импакт-фактора более чем на 300%. [40] Элементы, которые считаются нецитируемыми — и, следовательно, не включаются в расчеты импакт-фактора — могут, если цитируются, все равно входить в числительную часть уравнения, несмотря на легкость, с которой такие цитаты могут быть исключены. Этот эффект трудно оценить, поскольку различие между редакционным комментарием и короткими оригинальными статьями не всегда очевидно. Например, письма редактору могут быть частью любого класса.
Другая менее коварная тактика, которую используют журналы, заключается в публикации значительной части своих статей или, по крайней мере, статей, которые, как ожидается, будут высоко цитироваться, в начале календарного года. Это дает этим статьям больше времени для сбора ссылок. Существует несколько методов, не обязательно с нечестивым умыслом, для того, чтобы журнал цитировал статьи в том же журнале, что увеличит импакт-фактор журнала. [41] [42]
Помимо редакционной политики, которая может исказить импакт-фактор, журналы могут предпринимать открытые шаги, чтобы обмануть систему . Например, в 2007 году специализированный журнал Folia Phoniatrica et Logopaedica с импакт-фактором 0,66 опубликовал редакционную статью, в которой цитировались все его статьи с 2005 по 2006 год в знак протеста против «абсурдной научной ситуации в некоторых странах», связанной с использованием импакт-фактора. [43] Большое количество цитирований означало, что импакт-фактор для этого журнала увеличился до 1,44. В результате этого увеличения журнал не был включен в Journal Citation Reports за 2008 и 2009 годы . [44]
Принудительное цитирование — это практика, при которой редактор заставляет автора добавлять посторонние ссылки в статью до того, как журнал согласится ее опубликовать, чтобы увеличить импакт-фактор журнала. [45] Опрос, опубликованный в 2012 году, показывает, что принудительное цитирование было совершено каждым пятым исследователем, работающим в области экономики, социологии, психологии и нескольких бизнес-дисциплин, и оно чаще встречается в бизнесе и в журналах с более низким импакт-фактором. [46] Редакторы ведущих бизнес-журналов объединились, чтобы дезавуировать эту практику. [47] Однако случаи принудительного цитирования время от времени сообщались и в других дисциплинах. [48]
Фактор импакт-фактора журнала изначально был разработан Юджином Гарфилдом как показатель, помогающий библиотекарям принимать решения о том, какие журналы стоит индексировать, поскольку JIF объединяет количество ссылок на статьи, опубликованные в каждом журнале. С тех пор JIF стал ассоциироваться как знак «качества» журнала и получил широкое применение для оценки исследований и исследователей, даже на институциональном уровне. Таким образом, он оказывает значительное влияние на управление исследовательской практикой и поведением. [49] [2] [50]
К 2010 году национальные и международные учреждения, финансирующие исследования, уже начали указывать на то, что числовые показатели, такие как JIF, не следует рассматривать как меру качества. [примечание 1] Фактически, исследования показали, что JIF является сильно манипулируемой метрикой, [51] [52] [53] и оправдание его дальнейшего широкого использования за пределами его первоначальной узкой цели, по-видимому, связано с его простотой (легко вычисляемое и сопоставимое число), а не с какой-либо фактической связью с качеством исследования. [54] [55] [56]
Эмпирические данные показывают, что неправильное использование JIF — и показателей рейтинга журналов в целом — имеет ряд негативных последствий для системы научной коммуникации. К ним относятся разрывы между охватом журнала и качеством его отдельных статей [25] и недостаточный охват социальных и гуманитарных наук, а также результатов исследований по всей Латинской Америке, Африке и Юго-Восточной Азии. [57] Дополнительные недостатки включают маргинализацию исследований на местных языках и по локально релевантным темам и побуждение к неэтичным практикам авторства и цитирования. В более общем плане, импакт-факторы способствуют развитию экономики репутации, где научный успех основан на публикации в престижных журналах, а не на фактических исследовательских качествах, таких как строгие методы, воспроизводимость и социальное воздействие. Было показано, что использование престижа журнала и JIF для культивирования режима конкуренции в академической среде оказывает пагубное воздействие на качество исследований. [58]
Ряд региональных и международных инициатив в настоящее время предоставляют и предлагают альтернативные системы оценки исследований, включая такие ключевые документы, как Лейденский манифест [примечание 2] и Сан-Францисская декларация об оценке исследований (DORA). План S призывает к более широкому принятию и внедрению таких инициатив наряду с фундаментальными изменениями в системе научной коммуникации. [примечание 3] В качестве соответствующих мер качества для авторов и исследований концепции исследовательского совершенства должны быть перестроены вокруг прозрачных рабочих процессов и доступных результатов исследований. [59] [60] [61]
JIF по-прежнему регулярно используются для оценки исследований во многих странах, что является проблемой, поскольку остается ряд вопросов, связанных с непрозрачностью метрики и тем фактом, что она часто согласовывается издателями. [62] [63] [19]
Результаты импакт-фактора могут существенно меняться в зависимости от того, какие элементы считаются «цитируемыми» и, следовательно, включены в знаменатель. [64] Один из печально известных примеров этого произошел в 1988 году, когда было решено, что тезисы заседаний, опубликованные в журнале FASEB, больше не будут включаться в знаменатель. Импакт-фактор журнала подскочил с 0,24 в 1988 году до 18,3 в 1989 году. [65] Издатели регулярно обсуждают с Clarivate, как улучшить «точность» импакт-фактора своих журналов и, следовательно, получить более высокие баллы. [40] [25]
Подобные обсуждения обычно приводят к «согласованным значениям», которые приводят к резким изменениям в наблюдаемых оценках десятков журналов, иногда после не связанных между собой событий, таких как покупка одним из крупных издательств. [66]
Поскольку подсчеты цитирований имеют сильно асимметричное распределение , [24] среднее число цитирований может быть потенциально обманчивым, если его использовать для оценки типичного влияния статей в журнале, а не общего влияния самого журнала. [68] Например, около 90% импакт-фактора Nature 2004 года основывалось только на четверти его публикаций. Таким образом, фактическое число цитирований для одной статьи в журнале в большинстве случаев намного ниже, чем среднее число цитирований по статьям. [69] Более того, прочность связи между импакт-факторами журналов и показателями цитирования статей в них неуклонно снижается с тех пор, как статьи стали доступны в цифровом формате. [70]
Эффект выбросов можно увидеть в случае статьи «Краткая история SHELX», которая включала следующее предложение: «Эта статья могла бы служить общей литературной ссылкой, когда одна или несколько программ SHELX с открытым исходным кодом (и версия Bruker AXS SHELXTL) используются в ходе определения кристаллической структуры». Эта статья получила более 6600 ссылок. В результате импакт-фактор журнала Acta Crystallographica Section A вырос с 2,051 в 2008 году до 49,926 в 2009 году, что больше, чем у Nature (31,434) и Science (28,103). [71] Вторая по частоте ссылок статья в Acta Crystallographica Section A в 2008 году имела всего 28 ссылок. [72]
Критики JIF утверждают, что использование среднего арифметического значения при его расчете проблематично, поскольку модель распределения цитирования искажена [73] , а метрики распределения цитирования были предложены в качестве альтернативы импакт-факторам. [74] [75] [76]
Однако также звучали призывы использовать более тонкий подход к оценке асимметрии распределения импакт-фактора. Людо Уолтман и Винсент Антонио Трааг в своей статье 2021 года провели многочисленные симуляции и пришли к выводу, что «статистические возражения против использования IF на уровне отдельных статей неубедительны», и что «IF может быть более точным индикатором ценности статьи, чем количество ее цитирований». [1]
Хотя базовая математическая модель общеизвестна, набор данных, который используется для расчета JIF, не является общедоступным. Это вызвало критику: «Точно так же, как ученые не примут результаты в научной статье, не увидев первичных данных, так и они не должны полагаться на импакт-фактор Thomson Scientific, который основан на скрытых данных». [19] Однако статья 2019 года продемонстрировала, что «при наличии доступа к данным и тщательной очистке JIF можно воспроизвести», хотя для этого потребовалось много труда. [77] Исследовательская работа 2020 года пошла дальше. В ней указывалось, что, запрашивая базы данных с открытым или частично открытым доступом, такие как Google Scholar, ResearchGate и Scopus, можно рассчитать приблизительные импакт-факторы без необходимости покупки Web of Science / JCR. [78]
Так же, как импакт-фактор подвергался критике за различные непосредственные проблемы, связанные с его применением, также высказывалась критика за то, что его применение подрывает более широкий процесс науки. Исследования показали, что библиометрические показатели, в частности импакт-фактор, снижают качество рецензирования статьи, [79] вызывают нежелание делиться данными, [21] снижают качество статей, [80] и сокращают объем публикуемых исследований. «Для многих исследователей единственными исследовательскими вопросами и проектами, которые кажутся жизнеспособными, являются те, которые могут соответствовать требованию хорошей оценки с точки зрения метрических показателей эффективности – и, главным образом, импакт-фактора журнала». [21] Более того, процесс публикации и науки замедляется – авторы автоматически пытаются публиковаться в журналах с самым высоким импакт-фактором – «поскольку редакторам и рецензентам поручено рецензировать статьи, которые не представлены в самых подходящих местах». [77]
Учитывая растущую критику и его широкое использование в качестве средства оценки исследований, организации и учреждения начали предпринимать шаги по отходу от импакт-фактора журнала. В ноябре 2007 года Европейская ассоциация научных редакторов (EASE) опубликовала официальное заявление, в котором рекомендовала «использовать импакт-фактор журнала только — и осторожно — для измерения и сравнения влияния целых журналов, но не для оценки отдельных статей и, конечно, не для оценки исследователей или исследовательских программ». [23]
В июле 2008 года Комитет по свободе и ответственности в научной деятельности Международного совета по науке опубликовал «Заявление о практике и индексах публикаций и роли рецензирования в оценке исследований», предлагая множество возможных решений — например, рассмотрение предельного количества публикаций в год, которые должны приниматься во внимание для каждого ученого, или даже наказание ученых за чрезмерное количество публикаций в год — например, более 20. [81]
В феврале 2010 года Deutsche Forschungsgemeinschaft (Немецкий исследовательский фонд) опубликовал новые руководящие принципы по сокращению количества публикаций, которые можно было подавать при подаче заявки на финансирование: «В центре внимания не то, какие исследования кто-то провел, а то, сколько статей было опубликовано и где». Они отметили, что для решений, касающихся «распределения финансирования на основе результатов, постдокторских квалификаций, назначений или рассмотрения предложений о финансировании, [где] все большее значение придавалось числовым показателям, таким как индекс Хирша и импакт-фактор». [82] В ходе британской программы оценки исследований за 2014 год также был запрещен импакт-фактор журнала [83], хотя данные свидетельствуют о том, что этот запрет часто игнорировался. [84]
В ответ на растущую обеспокоенность по поводу ненадлежащего использования импакт-факторов журналов при оценке научных результатов и самих ученых Американское общество клеточной биологии совместно с группой редакторов и издателей научных журналов создали Сан-Францисскую декларацию об оценке исследований (DORA). Опубликованная в мае 2013 года, DORA получила поддержку тысяч людей и сотен учреждений, [28] включая в марте 2015 года Лигу европейских исследовательских университетов (консорциум из 21 наиболее известных исследовательских университетов Европы), [85] которые одобрили документ на веб-сайте DORA.
Издатели, даже те, у кого высокие импакт-факторы, также признали недостатки. [86] Журнал Nature раскритиковал чрезмерную зависимость от JIF, указав не только на его статистические недостатки, но и на негативное влияние на науку: «Получающееся давление и разочарования не что иное, как деморализующее, и в плохо управляемых лабораториях могут поощрять небрежные исследования, которые, например, не проверяют тщательно предположения или не учитывают все данные перед подачей крупных заявлений». [87] Различные издатели теперь используют смесь метрик на своих веб-сайтах; серия журналов PLOS не отображает импакт-фактор. [88] Microsoft Academic придерживается аналогичной точки зрения, заявляя, что h-индекс, EI/SCI и импакт-факторы журналов не отображаются, потому что «исследовательская литература предоставила многочисленные доказательства того, что эти метрики в лучшем случае являются грубым приближением исследовательского и научного влияния». [89]
В 2021 году Утрехтский университет пообещал отказаться от всех количественных библиометрических показателей, включая импакт-фактор. Университет заявил, что «это стала очень больная модель, которая выходит за рамки того, что действительно актуально для науки и продвижения науки». [90] [91] Это последовало за решением 2018 года основного голландского органа финансирования исследований, NWO , удалить все ссылки на импакт-факторы журналов и индекс Хирша во всех текстах заявок и формах заявок. [92] Решение Утрехта встретило некоторое сопротивление. В открытом письме, подписанном более 150 голландскими учеными, утверждалось, что, хотя JIF и несовершенен, он все еще полезен, и что его исключение «приведет к случайности и снижению научного качества». [93]
Некоторые связанные показатели, также рассчитанные и опубликованные той же организацией, включают:
Один и тот же журнал может достичь разного квартиля или процентиля в разных категориях.
Как и в случае с импакт-фактором, здесь есть некоторые нюансы: например, Clarivate исключает определенные типы статей (такие как новости, переписка и опечатки) из знаменателя. [99] [100] [101] [10]
Дополнительные метрики на уровне журнала доступны в других организациях. Например, CiteScore — это метрика для серийных изданий в Scopus, запущенная в декабре 2016 года компанией Elsevier . [102] [103] Хотя эти метрики применяются только к журналам, существуют также метрики на уровне автора , такие как h-индекс , которые применяются к отдельным исследователям. Кроме того, метрики на уровне статьи измеряют влияние на уровне статьи, а не на уровне журнала.
Другие более общие альтернативные метрики, или « альтернативные метрики », которые включают просмотры статей, загрузки или упоминания в социальных сетях , предлагают иную точку зрения на влияние исследований, концентрируясь больше на непосредственном социальном влиянии в академической среде и за ее пределами. [61] [104]
Поддельные импакт-факторы или фиктивные импакт-факторы производятся определенными компаниями или лицами. [105] Согласно статье, опубликованной в Electronic Physician , к ним относятся Global Impact Factor, Citefactor и Universal Impact Factor. [105] Джеффри Билл вел список таких вводящих в заблуждение показателей. [106] [107] Еще одна обманчивая практика — это предоставление «альтернативных импакт-факторов», которые рассчитываются как среднее количество ссылок на статью с использованием индексов цитирования, отличных от JCR, таких как Google Scholar (например, «Google-based Journal Impact Factor») или Microsoft Academic . [108]
Ложные импакт-факторы часто используются недобросовестными издателями . [109] [110] Основной список журналов Consulting Journal Citation Reports может подтвердить, индексируется ли публикация в Journal Citation Reports . [111] Использование поддельных показателей импакт-фактора считается красным флагом . [112]
скорости, с которой контент в определенном журнале выбирается и упоминается.
Immediacy Index — это среднее количество цитирований статьи в год ее публикации. Журнальный Immediacy Index показывает, как быстро цитируются статьи в журнале. Совокупный Immediacy Index показывает, как быстро цитируются статьи в предметной категории.