Лейденский манифест по показателям исследований ( LM ) представляет собой список «десяти принципов, которыми следует руководствоваться при оценке исследований» [1], опубликованный в качестве комментария в выпуске 7548 тома 520 журнала Nature 22 апреля 2015 года. Он был сформулирован профессором государственной политики Дианой Хикс, профессором наукометрии Полом Воутерсом и их коллегами на 19-й Международной конференции по показателям науки и технологий, которая прошла с 3 по 5 сентября 2014 года в Лейдене , Нидерланды. [2]
LM был предложен в качестве руководства по борьбе с неправильным использованием библиометрии при оценке научной исследовательской литературы. Примерами обычно используемой библиометрии для науки, или наукометрии , являются индекс Хирша , импакт-фактор и веб-сайты, отображающие такие показатели , как Altmetrics . По словам Хикса и др., эти метрики часто глубоко вводят в заблуждение при оценке научного материала. [3]
Мотивы кодификации Лейденского манифеста возникли из-за растущего беспокойства о том, что «одержимость импакт-фактором» [1] приводит к неадекватной оценке научного материала, который должен быть достоин справедливой оценки. Ведущий автор LM, Диана Хикс, надеялась, что публикация в Nature расширит идеи, уже общеизвестные в сфере наукометрии, на более широкое научное сообщество. [4] Хотя принципы LM не являются новыми для наукометристов, Хикс и др. хотели создать объединение идей, чтобы направлять будущих редакторов и рецензентов научной литературы.
Интерес к реформе того, как проводится оценка исследований, является продолжающейся дискуссией в научном сообществе. Хорошо известная декларация, направленная на прекращение использования импакт-фактора, Сан-Францисская декларация об оценке исследований была опубликована примерно за два года до манифеста. LM расширила идеи, представленные в DORA, который с тех пор подписали более 2000 организаций и более 15000 человек. [5]
Одной из главных проблем, связанных с чрезмерным использованием показателей эффективности, основанных на цитировании, стало наблюдение, что более мелкие исследовательские организации и институты могут быть негативно затронуты своими метрическими индексами. В одной из публичных дискуссий в Центре исследований науки и технологий Лейденского университета было признано, что показатели, измеряющие цитирование, могут придавать «больший вес публикациям из областей с высоким ожидаемым числом цитирований, чем публикациям из областей с низким ожидаемым числом цитирований». [6]
Хотя основное внимание в LM уделяется использованию наукометрии для оценки исследований, в своих работах Хикс и др. также объясняют, почему чрезмерное использование метрик может негативно повлиять на более широкое научное сообщество, например, на положение университетов в мировых рейтингах. [7] [8] По мнению Хикса и др., такие научные метрики, как уровень цитирования, слишком часто используются для оценки качества университетов (и, следовательно, качества их исследовательских результатов).
Предыстория LM описывает, почему неправильное использование метрик становится все большей проблемой в научном сообществе. Фактор импакт-фактора журнала , изначально созданный Юджином Гарфилдом как метод для библиотекарей по сбору данных для облегчения выбора журналов для покупки, теперь в основном используется как метод оценки качества журнала. [9] Хикс и др. рассматривают это как злоупотребление данными с целью слишком поспешного изучения исследований. Например, фактор импакт-фактор, хотя и является хорошей метрикой для измерения размера и опыта журнала, может быть или не быть достаточным для точного описания качества его статей, и тем более для отдельной статьи.
Состоящий из десяти кратких принципов, вместе с описанием каждого из них, Лейденский манифест направлен на реконструкцию способа, которым проводятся оценки исследований академическими издательствами и научными учреждениями. Его акцент делается на детальной и тщательной оценке исследований, а не на чрезмерном использовании количественных данных в оценках. Он направлен на содействие академическому совершенству и справедливости с помощью тщательного контроля, а также на устранение возможных порочных стимулов использования наукометрии, таких как оценка академических возможностей и качества университета. [10]
Десять принципов Лейденского манифеста следующие: [1]
В 2016 году Лейденский манифест был удостоен премии Джона Зимана Европейской ассоциацией по изучению науки и технологий за его усилия по расширению знаний о наукометрии для научного сообщества в целом. Президент EASST Фред Стюард заявил, что LM «подчеркивает ситуативность с точки зрения различных когнитивных областей и исследовательских миссий, а также более широкого социально-экономического, национального и регионального контекста». [13] Эта награда способствовала укреплению LM как продолжающейся публичной дискуссии для научного сообщества. Награда была хорошо принята ведущим автором Дианой Хикс. [4]
Лейденский манифест приобрел популярность после его публикации, в основном среди академического издательского сообщества, которое стремилось реформировать свою практику. LM часто цитируется наряду с другими похожими публикациями; это DORA и британский академический обзор The Metric Tide . [4] [14] В публичном заявлении Университета Лидса была высказана поддержка приверженности использованию принципов LM вместе с DORA и The Metric Tide в целях дальнейшего совершенствования исследований. [15]
LIBER, сотрудничество европейских исследовательских библиотек, опубликовало обширный обзор LM в 2017 году. В нем сделан вывод о том, что LM является «прочной основой», на которой академические библиотеки могут основывать свою оценку показателей. [16]
Elsevier , мировой лидер в области научных публикаций и информационной аналитики, объявил 14 июля 2020 года, что он должен одобрить LM для руководства своей разработкой улучшенной оценки исследований. Elsevier заявил, что принципы манифеста уже близки по своей природе к их метрикам CiteScore 2019 года , которые вкратце были «улучшенной методологией расчета» для «более надежного, справедливого и быстрого показателя воздействия исследований». [17] Такое соответствие еще больше популяризировало LM, а также проиллюстрировало сдвиг в практике оценки в известных исследовательских публикациях.
Комитет Loughborough University LIS -Bibliometrics решил основывать свои принципы на принципах LM, а не DORA, поскольку, по словам их менеджера по политике Элизабет Гэдд, LM принимает «более широкий подход к ответственному использованию всех библиометрических данных в различных дисциплинах и условиях». [18] Стивен Карри, председатель руководящего комитета DORA, прокомментировал это заявление, подчеркнув, что DORA стремится расширить свой «дисциплинарный и географический охват». [19] Однако он все же ясно дал понять, что университет должен иметь право выбирать, следовать ли ему либо DORA, либо LM, либо ни одному из них, при условии предоставления разумного обоснования.
Дэвид Мохер и др. ссылались на LM в перспективе для Issues in Science and Technology , что «правильные вопросы» (т. е. планирование исследований, временные рамки, воспроизводимость и результаты) для оценки ученых не задавались академическими учреждениями. Мохер и др. критикуют одержимость импакт-факторами журналов и «игру» исследователей наукометрии. [20] Вместо этого Мохер и др. выступают за использование DORA и LM при оценке отдельных ученых и исследований.
Т. Канчан и К. Кришан описывают в письме в Science and Engineering Ethics , почему LM является «одним из лучших критериев» для оценки научных исследований, особенно учитывая «крысиные бега» за публикации в научном сообществе. Канчан и Кришан подчеркивают, что использование LM приведет к «прогрессу науки и общества в целом». [21]