Импакт -фактор ( IF ) или импакт-фактор журнала ( JIF ) академического журнала — это наукометрический индекс, рассчитываемый Clarivate , который отражает среднегодовое количество цитирований статей, опубликованных за последние два года в данном журнале, индексируемых веб-сайтом Clarivate. науки .
В качестве показателя на уровне журнала он часто используется в качестве показателя относительной важности журнала в своей области; журналы с более высокими значениями импакт-фактора получают статус более важных или более престижных в своих областях, чем журналы с более низкими значениями.
Хотя университеты и финансирующие организации часто используют его для принятия решений о предложениях по продвижению и исследованиям, он подвергается критике за искажение передовой научной практики. [1] [2] [3]
Импакт-фактор был разработан Юджином Гарфилдом , основателем Института научной информации (ISI) в Филадельфии. Импакт-факторы стали рассчитываться ежегодно, начиная с 1975 года, для журналов, включенных в Journal Citation Reports (JCR). ISI была приобретена Thomson Scientific & Healthcare в 1992 году [4] и стала называться Thomson ISI. В 2018 году Thomson-Reuters выделилась и продала ISI компаниям Onex Corporation и Baring Private Equity Asia . [5] Они основали новую корпорацию Clarivate, которая сейчас является издателем JCR. [6]
В любом конкретном году двухлетний импакт-фактор журнала представляет собой соотношение между количеством цитирований, полученных в этом году для публикаций в этом журнале, которые были опубликованы в два предыдущих года, и общим количеством «цитируемых статей», опубликованных в этом журнале. в течение двух предыдущих лет: [7] [8]
Например, в 2017 году импакт-фактор Nature составил 41,577: [9]
Это означает, что в среднем его статьи, опубликованные в 2015 и 2016 годах, получили примерно по 42 цитирования каждая в 2017 году. Импакт-факторы 2017 года указаны в 2018 году; они не могут быть рассчитаны до тех пор, пока индексирующее агентство не обработает все публикации за 2017 год.
Значение импакт-фактора зависит от того, как определять «цитирование» и «публикации»; последние часто называют «цитируемыми объектами». В текущей практике как «цитаты», так и «публикации» определяются исключительно ISI следующим образом. «Публикации» — это элементы, которые в базе данных Web of Science (WoS) классифицируются как «статья», «обзор» или «материалы» [10] ; другие элементы, такие как редакционные статьи, исправления, примечания, опровержения и обсуждения, исключаются. WoS доступен всем зарегистрированным пользователям, которые могут самостоятельно проверить количество цитируемых статей для данного журнала. Напротив, количество цитирований извлекается не из базы данных WoS, а из специальной базы данных JCR, которая недоступна для обычных читателей. Следовательно, обычно используемый «фактор воздействия JCR» является собственной величиной, которая определяется и рассчитывается ISI и не может быть проверена внешними пользователями. [11]
Новые журналы, индексируемые с первого опубликованного номера, получат импакт-фактор после двух лет индексации; в этом случае цитирование за год, предшествующий выпуску первого тома, и количество статей, опубликованных за год, предшествующий выпуску первого тома, представляют собой известные нулевые значения. Журналы, индексируемые начиная с тома, отличного от первого, не получат импакт-фактора до тех пор, пока они не проиндексируются в течение трех лет. Иногда в Journal Citation Reports импакт-фактор присваивается новым журналам с индексированием менее двух лет на основе данных о частичном цитировании. [12] [13] При расчете всегда используются два полных и известных года подсчета предметов, но для новых наименований один из известных подсчетов равен нулю. Ежегодники и другие нерегулярные издания иногда не публикуют статей за определенный год, что влияет на подсчет. Импакт-фактор относится к конкретному периоду времени; его можно рассчитать на любой желаемый период. Например, JCR также включает пятилетний импакт-фактор , который рассчитывается путем деления количества цитирований журнала в данном году на количество статей, опубликованных в этом журнале за предыдущие пять лет. [14] [15]
Первоначально импакт-фактор был изобретен как инструмент, помогающий библиотекарям университетов решать, какие журналы покупать, но вскоре импакт-фактор стал использоваться в качестве меры оценки академических успехов. Такое использование импакт-факторов было резюмировано Хоффелем в 1998 году: [16]
Импакт-фактор не является идеальным инструментом для измерения качества статей, но нет ничего лучше, и он имеет то преимущество, что уже существует и, следовательно, является хорошим методом научной оценки. Опыт показал, что по каждой специальности лучшими журналами являются те, в которых труднее всего принять статью, и это журналы с высоким импакт-фактором. Большинство этих журналов существовало задолго до того, как был изобретен импакт-фактор. Использование импакт-фактора как меры качества широко распространено, поскольку оно хорошо соответствует нашему мнению в каждой области о лучших журналах по нашей специальности... В заключение, престижные журналы публикуют статьи высокого уровня. Поэтому их импакт-фактор высок, а не наоборот.
Поскольку импакт-факторы являются метрикой на уровне журнала, а не на уровне статьи или отдельного человека, такое использование является спорным. Юджин Гарфилд, изобретатель JIF, согласился с Хёффелем [17] , но предупредил о «неправомерном использовании при оценке отдельных лиц», поскольку «существует широкий разброс [цитирований] от статьи к статье в пределах одного журнала». [18] Несмотря на это предупреждение, использование JIF эволюционировало, играя ключевую роль в процессе оценки отдельных исследователей, их заявлений о приеме на работу и предложений о финансировании. В 2005 году Журнал клеточной биологии отметил, что:
Данные об импакт-факторе ... оказывают сильное влияние на научное сообщество, влияя на решения о том, где публиковать, кого продвигать или нанимать, на успех заявок на гранты и даже на бонусы к зарплате. [19]
Более целенаправленные исследования начали предоставлять убедительные доказательства того, насколько глубоко импакт-фактор укоренен в формальных и неформальных процессах оценки исследований. В обзоре 2019 года изучалось, как часто JIF упоминается в документах, связанных с проверкой, продвижением и пребыванием ученых в университетах США и Канады. Он пришел к выводу, что 40% университетов, занимающихся академическими исследованиями, специально упомянули JIF как часть таких процессов проверки, продвижения по службе и пребывания в должности. [20] А исследование поведения исследователей в области наук о жизни, проведенное в 2017 году, пришло к выводу, что «повседневная практика принятия решений в значительной степени определяется давлением с целью публикации в влиятельных журналах». Глубоко укоренившаяся природа таких индикаторов влияет не только на оценку исследований, но и на более фундаментальный вопрос о том, какие исследования на самом деле проводятся: «Учитывая нынешние способы оценки и оценки исследований, рискованные, длительные и неортодоксальные проекты редко занимают центральное место». [21]
Многочисленные критические замечания были высказаны в отношении использования импакт-факторов, как с точки зрения их статистической достоверности, так и с точки зрения их влияния на то, как ведется и оценивается наука. [3] [22] [23] [24] [25] Исследование 2007 года отметило, что наиболее фундаментальным недостатком является то, что импакт-факторы представляют собой среднее значение данных, которые обычно не распределяются , и предположили, что было бы более уместно представить медиана этих данных. [19] Также ведутся более общие дебаты о достоверности импакт-фактора как меры важности журнала и о влиянии политики, которую редакторы могут принять для повышения своего импакт-фактора (возможно, в ущерб читателям и писателям). Другая критика сосредоточена на влиянии импакт-фактора на поведение ученых, редакторов и других заинтересованных сторон. [26] Дальнейшая критика утверждает, что акцент на импакт-факторе является результатом негативного влияния неолиберальной политики на академические круги. Некоторые из этих аргументов требуют не только замены импакт-фактора более сложными показателями, но и обсуждения социальной ценности оценки исследований и растущей нестабильности научной карьеры в сфере высшего образования. [27] [28]
Было заявлено, что на импакт-факторы в частности и на анализ цитирования в целом влияют отраслевые факторы [29] , которые делают недействительными сравнения не только между дисциплинами, но даже внутри разных областей исследований одной дисциплины. [30] Процент общего числа цитирований в первые два года после публикации также сильно варьируется в зависимости от дисциплины: от 1–3% в математических и физических науках до 5–8% в биологических науках. [31] Таким образом, импакт-факторы не могут использоваться для сравнения журналов разных дисциплин.
Импакт-факторы иногда используются для оценки не только журналов, но и статей в них, тем самым обесценивая статьи по определенным темам. [32] В 2004 году Специальный комитет Палаты общин по науке и технологиям призвал Совет по финансированию высшего образования Англии напомнить комиссиям по оценке исследований , что они обязаны оценивать качество содержания отдельных статей, а не репутацию журнал, в котором они опубликованы. [33] Другие исследования неоднократно заявляли, что импакт-фактор является показателем для журналов и не должен использоваться для оценки отдельных исследователей или учреждений. [34] [35] [36]
Поскольку импакт-фактор обычно считается показателем качества исследований, некоторые журналы применяют редакционную политику и методы, некоторые из которых приемлемы, а некоторые имеют сомнительную цель, чтобы увеличить свой импакт-фактор. [37] [38] Например, журналы могут публиковать больший процент обзорных статей , которые обычно цитируются чаще, чем исследовательские отчеты. [8] Исследования, проведенные в 2020 году в стоматологических журналах, пришли к выводу, что публикация «систематических обзоров оказывает существенное влияние на импакт-фактор журнала… в то время как статьи, публикующие клинические испытания, не оказывают влияния на этот фактор. Увеличение среднегодового количества опубликованных статей… означает более высокий импакт-фактор». [39]
Журналы также могут попытаться ограничить количество «цитируемых статей» (т.е. знаменатель уравнения импакт-фактора) либо отказываясь публиковать статьи, которые вряд ли будут цитироваться (например, описания случаев заболевания в медицинских журналах), либо изменяя статьи (( например, не разрешая реферат или библиографию в надежде, что в отчетах о цитировании журналов это не будет считаться «цитируемым элементом»). В результате переговоров о том, являются ли материалы «цитируемыми», наблюдались вариации импакт-фактора более чем на 300%. [40] Элементы, которые считаются не подлежащими цитированию (и, следовательно, не включаются в расчеты импакт-фактора), могут, если они цитируются, все равно войти в числительную часть уравнения, несмотря на легкость, с которой такие ссылки могут быть исключены. Этот эффект трудно оценить, поскольку различие между редакционными комментариями и короткими оригинальными статьями не всегда очевидно. Например, письма в редакцию могут быть частью любого класса.
Другая, менее коварная тактика, которую используют журналы, — это публиковать большую часть своих статей или, по крайней мере, статей, которые, как ожидается, будут высоко цитироваться, в начале календарного года. Это дает этим статьям больше времени для сбора цитирований. Существует несколько методов, не обязательно с гнусными намерениями, позволяющих журналу цитировать статьи в том же журнале, что увеличивает импакт-фактор журнала. [41] [42]
Помимо редакционной политики, которая может исказить импакт-фактор, журналы могут предпринимать открытые шаги, чтобы обмануть систему . Например, в 2007 году специализированный журнал Folia Phoniatrica et Logopaedica с импакт-фактором 0,66 опубликовал редакционную статью, в которой цитировались все его статьи с 2005 по 2006 год в знак протеста против «абсурдной научной ситуации в некоторых странах», связанной с использованием импакт-фактор. [43] Большое количество цитирований означало, что импакт-фактор этого журнала увеличился до 1,44. В результате увеличения журнал не был включен в отчеты о цитировании журналов за 2008 и 2009 годы . [44]
Принудительное цитирование — это практика, при которой редактор заставляет автора добавлять посторонние цитаты в статью до того, как журнал согласится ее опубликовать, чтобы повысить импакт-фактор журнала. [45] Исследование, опубликованное в 2012 году, показывает, что с принудительным цитированием сталкивался каждый пятый исследователь, работающий в области экономики, социологии, психологии и многих бизнес-дисциплин, и это чаще встречается в бизнесе и в журналах с более низким импакт-фактором. [46] Редакторы ведущих деловых журналов объединились, чтобы отказаться от этой практики. [47] Однако случаи принудительного цитирования иногда сообщалось и по другим дисциплинам. [48]
Импакт-фактор журнала был первоначально разработан Юджином Гарфилдом как показатель, помогающий библиотекарям принимать решения о том, какие журналы заслуживают индексации, поскольку JIF объединяет количество цитирований статей, опубликованных в каждом журнале. С тех пор JIF стал ассоциироваться как знак «качества» журнала и вместо этого получил широкое использование для оценки исследований и исследователей, даже на институциональном уровне. Таким образом, это оказывает существенное влияние на направление исследовательской практики и поведения. [49] [50] [51]
К 2010 году национальные и международные институты финансирования исследований уже начали отмечать, что числовые показатели, такие как JIF, не следует рассматривать как меру качества. [примечание 1] Фактически, исследования показали, что JIF является показателем, которым сильно манипулируют, [52] [53] [54] и оправдание его дальнейшего широкого использования за пределами его первоначальной узкой цели кажется из-за его простоты (легко вычислимой и сопоставимое количество), а не какое-либо фактическое отношение к качеству исследований. [55] [56] [57]
Эмпирические данные показывают, что неправильное использование JIF – и показателей рейтинга журналов в целом – имеет ряд негативных последствий для системы научных коммуникаций. К ним относятся разрыв между охватом журнала и качеством отдельных статей [25] , а также недостаточное освещение социальных и гуманитарных наук, а также результатов исследований со всей Латинской Америки, Африки и Юго-Восточной Азии. [ нужна цитация ] Дополнительные недостатки включают маргинализацию исследований на местных языках и по актуальным на местном уровне темам, а также побуждение к неэтичному авторству и практике цитирования. В более общем смысле, импакт-факторы способствуют репутационной экономике, в которой научный успех основан на публикациях в престижных журналах, а не на реальных исследовательских качествах, таких как строгие методы, воспроизводимость и социальное воздействие. Было показано, что использование престижа журнала и JIF для создания режима конкуренции в академических кругах оказывает пагубное влияние на качество исследований. [58]
Ряд региональных и международных инициатив в настоящее время предоставляют и предлагают альтернативные системы оценки исследований, включая такие ключевые документы, как Лейденский манифест [примечание 2] и Сан-Францисская декларация по оценке исследований (DORA). План S призывает к более широкому принятию и реализации таких инициатив наряду с фундаментальными изменениями в системе научных коммуникаций. [примечание 3] В качестве подходящего показателя качества для авторов и исследований концепции высокого качества исследований должны быть переработаны вокруг прозрачных рабочих процессов и доступных результатов исследований. [59] [60] [61]
JIF по-прежнему регулярно используются для оценки исследований во многих странах, что является проблемой, поскольку остается ряд проблем, связанных с непрозрачностью этого показателя и тем фактом, что издатели часто согласовывают его. [62] [63] [19]
Результаты импакт-фактора могут существенно меняться в зависимости от того, какие элементы считаются «цитируемыми» и, следовательно, включены в знаменатель. [64] Один печально известный пример этого произошел в 1988 году, когда было решено, что тезисы заседаний, опубликованные в журнале FASEB Journal , больше не будут включаться в знаменатель. Импакт-фактор журнала подскочил с 0,24 в 1988 году до 18,3 в 1989 году. [65] Издатели регулярно обсуждают с Clarivate, как повысить «точность» импакт-фактора своих журналов и, следовательно, получить более высокие баллы. [40] [25]
Такие дискуссии обычно приводят к «согласованным значениям», которые приводят к резким изменениям в наблюдаемых оценках десятков журналов, иногда после несвязанных событий, таких как покупка одним из крупных издателей. [66]
Поскольку распределение цитирований сильно асимметрично , [24] среднее количество цитирований потенциально может ввести в заблуждение, если оно используется для оценки типичного воздействия статей в журнале, а не общего влияния самого журнала. [68] Например, около 90% импакт-фактора журнала Nature в 2004 году было основано только на четверти его публикаций. Таким образом, фактическое количество цитирований одной статьи в журнале в большинстве случаев намного ниже, чем среднее количество цитирований по статьям. [69] Более того, сила связи между импакт-факторами журналов и уровнем цитирования статей в них неуклонно снижается с тех пор, как статьи стали доступны в цифровом формате. [70]
Эффект выбросов можно увидеть на примере статьи «Краткая история SHELX», в которой было такое предложение: «Эта статья могла бы служить общей цитатой из литературы, когда одна или несколько программ SHELX с открытым исходным кодом (и Bruker AXS версии SHELXTL) используются в процессе определения кристаллической структуры». Эта статья получила более 6600 цитирований. Как следствие, импакт-фактор журнала Acta Crystallographica Раздел A вырос с 2,051 в 2008 году до 49,926 в 2009 году, что больше, чем у журнала Nature (31,434) и Science (28,103). [71] Вторая по цитируемости статья в разделе A Acta Crystallographica в 2008 году имела всего 28 цитирований. [72]
Критики JIF заявляют, что использование среднего арифметического при его расчете проблематично, поскольку картина распределения цитирования искажена [73] , а метрики распределения цитирования были предложены в качестве альтернативы импакт-факторам. [74] [75] [76]
Однако высказывались также призывы применить более тонкий подход к оценке асимметрии распределения импакт-фактора. Уолтман и Трааг [ кто? ] в своей статье 2021 года провели многочисленные симуляции и пришли к выводу, что «статистические возражения против использования IF на уровне отдельных статей неубедительны» и что «IF может быть более точным индикатором стоимости статьи». чем количество цитирований статьи». [1]
Хотя базовая математическая модель общеизвестна, набор данных, используемый для расчета JIF, недоступен. Это вызвало критику: «Подобно тому, как ученые не приняли бы выводы научной статьи, не ознакомившись с первичными данными, так и им не следует полагаться на импакт-фактор Thomson Scientific, который основан на скрытых данных». [19] Однако статья 2019 года продемонстрировала, что «при наличии доступа к данным и тщательной очистке JIF можно воспроизвести», хотя для этого потребовалось много труда. [77] В исследовании 2020 года пошли еще дальше. В нем указано, что путем запроса баз данных с открытым или частично открытым доступом, таких как Google Scholar, ResearchGate и Scopus, можно рассчитать приблизительные импакт-факторы без необходимости приобретения Web of Science/JCR. [78]
Точно так же, как импакт-фактор вызвал критику из-за различных непосредственных проблем, связанных с его применением, также была критика за то, что его применение подрывает более широкий научный процесс. Исследования показали, что показатели библиометрии, особенно импакт-фактор, снижают качество рецензирования получаемой статьи, [79] нежелание делиться данными, [21] снижение качества статей, [80] и сокращение объема с точки зрения того, что они могут исследовать. «Для многих исследователей единственными исследовательскими вопросами и проектами, которые кажутся жизнеспособными, являются те, которые могут удовлетворить потребность в хороших оценках с точки зрения показателей эффективности – и, главным образом, импакт-фактора журнала». [21] Кроме того, процесс публикации и науки замедляется – авторы автоматически пытаются публиковаться в журналах с самым высоким импакт-фактором – «поскольку редакторам и рецензентам поручено рецензировать статьи, которые не представлены в наиболее подходящие места». [77]
Учитывая растущую критику и ее широкое использование в качестве средства оценки исследований, организации и учреждения начали предпринимать шаги по отходу от импакт-фактора журнала. В ноябре 2007 года Европейская ассоциация научных редакторов (EASE) опубликовала официальное заявление, в котором рекомендовала «использовать импакт-факторы журналов только – и осторожно – для измерения и сравнения влияния журналов в целом, но не для оценки отдельных статей и, конечно, с осторожностью». не для оценки исследователей или исследовательских программ». [23]
В июле 2008 года Комитет Международного совета по науке по свободе и ответственности в ведении науки опубликовал «заявление о практике и индексах публикаций, а также роли рецензирования в оценке исследований», предлагая множество возможных решений, например, рассмотрение предельного числа публикаций в год, которые будут учитываться для каждого ученого, или даже наказывать ученых за чрезмерное количество публикаций в год — например, более 20. [81]
В феврале 2010 года Deutsche Forschungsgemeinschaft (Немецкий исследовательский фонд) опубликовал новые рекомендации по сокращению количества публикаций, которые можно было подавать при подаче заявки на финансирование: «Основное внимание уделялось не тому, какие исследования кто-то провел, а тому, сколько статей было опубликовано». и где." Они отметили, что при принятии решений, касающихся «распределения финансирования на основе результатов, постдокторской квалификации, назначений или рассмотрения предложений о финансировании, [где] все большее значение уделяется числовым показателям, таким как индекс Хирша и импакт-фактор». [82] Британская программа оценки исследований в 2014 году также запретила импакт-фактор журнала [83], хотя данные свидетельствуют о том, что этот запрет часто игнорировался. [84]
В ответ на растущую обеспокоенность по поводу ненадлежащего использования импакт-факторов журналов при оценке научных результатов и самих ученых, Американское общество клеточной биологии вместе с группой редакторов и издателей научных журналов создало Сан-Францисскую декларацию по оценке исследований (DORA). Выпущенный в мае 2013 года, DORA получил поддержку тысяч людей и сотен учреждений, [28] в том числе в марте 2015 года Лиги европейских исследовательских университетов (консорциума 21 самого известного исследовательского университета в Европе), [ 85] одобрили документ на веб-сайте DORA.
Издатели, даже с высоким импакт-фактором, также признали недостатки. [86] Журнал Nature раскритиковал чрезмерную зависимость от JIF, указав не только на его статистические недостатки, но и на негативное воздействие на науку: например, не может тщательно проверить предположения или принять во внимание все данные перед подачей крупных претензий». [87] Различные издатели теперь используют на своих веб-сайтах разные показатели; в серии журналов ПЛОС импакт-фактор не отображается. [88] Microsoft Academic придерживается аналогичной точки зрения, заявляя, что индекс Хирша, EI/SCI и импакт-факторы журналов не показаны, поскольку «исследовательская литература предоставила многочисленные доказательства того, что эти показатели в лучшем случае являются грубым приближением исследовательского воздействия и научного влияния». ." [89]
В 2021 году Утрехтский университет пообещал отказаться от всей количественной библиометрии, включая импакт-фактор. В университете заявили, что «это стала очень нездоровая модель, выходящая за рамки того, что действительно актуально для науки и продвижения науки вперед». [90] [91] Это последовало за решением главного голландского органа, финансирующего исследования, NWO , в 2018 году удалить все ссылки на импакт-факторы журналов и индекс Хирша во всех текстах конкурсов и формах заявок. [92] Решение Утрехта встретило некоторое сопротивление. В открытом письме, подписанном более чем 150 голландскими учеными, утверждается, что, хотя JIF и несовершенен, он все же полезен, и что его исключение «приведет к случайности и ухудшению научного качества». [93]
Некоторые связанные показатели, также рассчитанные и опубликованные той же организацией, включают:
Тот или иной журнал может достигать разных квартилей или процентилей в разных категориях.
Как и в случае с импакт-фактором, здесь есть некоторые нюансы: например, Clarivate исключает из знаменателя определенные типы статей (например, новости, переписку и опечатки). [99] [100] [101] [10]
Дополнительные показатели уровня журнала доступны в других организациях. Например, CiteScore — это метрика серийных изданий в Scopus , запущенная в декабре 2016 года компанией Elsevier . [102] [103] Хотя эти показатели применимы только к журналам, существуют также показатели на уровне автора , такие как индекс Хирша , которые применимы к отдельным исследователям. Кроме того, метрики на уровне статьи измеряют влияние на уровне статьи, а не на уровне журнала.
Другие более общие альтернативные показатели, или « альтметрики », включающие просмотры статей, загрузки или упоминания в социальных сетях , предлагают другой взгляд на влияние исследований, уделяя больше внимания непосредственному социальному воздействию в научных кругах и за их пределами. [61] [104]
Поддельные импакт-факторы или поддельные импакт-факторы производятся определенными компаниями или отдельными лицами. [105] Согласно статье, опубликованной в журнале Electronic Physician , к ним относятся Global Impact Factor, Citefactor и Universal Impact Factor. [105] Джеффри Билл составил список таких вводящих в заблуждение показателей. [106] [107] Еще одна мошенническая практика — сообщать об «альтернативных импакт-факторах», рассчитанных как среднее количество цитирований на статью с использованием индексов цитирования, отличных от JCR, таких как Google Scholar (например, «Импакт-фактор журнала на базе Google») или Microsoft. Академический . [108]
Издатели-хищники часто используют ложные импакт-факторы . [109] [110] Главный список журналов Consulting Journal Citation Reports может подтвердить, индексируется ли публикация в Journal Citation Reports . [111] Использование ложных показателей воздействия считается тревожным сигналом . [112]
Мера скорости, с которой контент конкретного журнала просматривается и на него ссылаются.
Индекс оперативности — это среднее количество цитирований статьи в год ее публикации.
Индекс оперативности журнала показывает, насколько быстро цитируются статьи в журнале.
Совокупный индекс оперативности показывает, насколько быстро цитируются статьи в определенной тематической категории.