stringtranslate.com

Библиометрия

Пример сети совместного цитирования, обычно используемой в библиометрическом анализе.

Библиометрия — это использование статистических методов для анализа книг, статей и других публикаций, особенно научного содержания. Библиометрические методы широко используются в области библиотечного дела и информатики . Библиометрия тесно связана с наукометрикой , анализом научных показателей и показателей, до такой степени, что обе области во многом пересекаются.

Библиометрические исследования впервые появились в конце 19 века. Они пережили значительное развитие после Второй мировой войны в контексте «периодического кризиса» и новых технических возможностей, предлагаемых вычислительными инструментами. В начале 1960-х годов Индекс научного цитирования Юджина Гарфилда и анализ сети цитирования Дерека Джона де Соллы Прайса заложили фундаментальную основу структурированной исследовательской программы по библиометрии.

Анализ цитирования — это широко используемый библиометрический метод, основанный на построении графа цитирования , [1] сетевого или графического представления цитирований, общих для документов. Во многих областях исследований используются библиометрические методы для изучения влияния своей области, влияния группы исследователей, влияния конкретной статьи или для выявления особенно влиятельных статей в конкретной области исследований. Инструменты библиометрии обычно интегрируются в описательную лингвистику , разработку тезаурусов и оценку использования читателями. Помимо специализированного научного использования, популярные поисковые системы в Интернете, такие как алгоритм PageRank , реализованный Google, в значительной степени сформированы библиометрическими методами и концепциями.

Появление Интернета и движения за открытую науку постепенно изменило определение и цель «библиометрии». В 2010-х годах исторические запатентованные инфраструктуры для данных цитирования, такие как Web of Science или Scopus, столкнулись с проблемой новых инициатив в пользу открытых данных цитирования. Лейденский манифест по метрикам исследований (2015 г.) открыл широкую дискуссию по поводу использования и прозрачности метрик.

Определение

Определения различных областей, связанных с библиометрией.

Термин «библиометрия» впервые был использован Полом Отлетом в 1934 году [2] и определен как «измерение всех аспектов, связанных с публикацией и чтением книг и документов». [3] Англизированная версия библиометрии была впервые использована Аланом Причардом в статье, опубликованной в 1969 году, под названием «Статистическая библиография или библиометрия? » [4] Он определил этот термин как «применение математических и статистических методов к книгам и другим средствам коммуникации». Библиометрия была задумана как замена статистической библиографии , основного названия, использовавшегося до этого в публикациях в этой области: для Притчарда статистическая библиография была слишком «неуклюжей» и не давала ясного понимания того, что является основным объектом исследования. [5]

Концепция библиометрии «подчеркивает материальную сторону дела: подсчет книг, статей, публикаций, цитирований». [6] Теоретически библиометрия представляет собой отдельную область от наукометрии (от русской наукометрии ), [7] которая опирается на анализ небиблиографических показателей научной деятельности. На практике библиометрические и наукометрические исследования, как правило, используют схожие источники и методы данных, поскольку данные цитирования стали ведущим стандартом количественной научной оценки в середине 20-го века: «Поскольку библиометрические методы применяются к научной и технической литературе, два области наукометрии и библиометрии в значительной степени пересекаются». [6] Развитие Интернета и распространение библиометрического подхода к ненаучной продукции повлекло за собой введение более широких ярлыков в 1990-х и 2000-х годах: инфометрика, вебометрика или киберметрика. [8] Эти термины не получили широкого распространения, поскольку они частично совпадают с ранее существовавшими исследовательскими практиками, такими как поиск информации.

История

Научные труды, исследования и изыскания, имеющие библиометрический характер, можно выделить, в зависимости от определения, уже для XII века в виде еврейских указателей. [9]

Ранние эксперименты (1880–1914)

Библиометрический анализ появился на рубеже XIX и XX веков. [10] [11] [12] [13] Эти разработки предшествовали первому появлению концепции биобиометрии на несколько десятилетий. Обычно использовались альтернативные обозначения: библиографическая статистика стала особенно распространенной после 1920 года и продолжала использоваться до конца 1960-х годов. [13] Ранние статистические исследования научных метаданных были мотивированы значительным расширением научных результатов и параллельным развитием служб индексации баз данных, которые в первую очередь сделали эту информацию более доступной. [14] Индекс цитирования впервые был применен к прецедентному праву в 1860-х годах, и их самый известный пример, Цитаты Шепарда (впервые опубликованные в 1873 году), послужат прямым источником вдохновения для Индекса научного цитирования столетие спустя. [15]

Появление социальных наук вдохновило новые спекулятивные исследования науки о науке и возможности изучения самой науки как научного объекта: «Вера в то, что социальная деятельность, включая науку, может быть сведена к количественным законам, подобно тому, как траектория пушечного ядра и вращения небесных тел восходит к позитивистской социологии Огюста Конта , Уильяма Огберна и Герберта Спенсера ». [16] Библиометрический анализ задумывался не как отдельный орган исследования, а как один из доступных методов количественного анализа научной деятельности в разных областях исследования: история науки ( Histoire des Sciences et des savants depuis deux siècles Альфонса де Кандоля в 1885 г. , История сравнительной анатомии, статистический анализ литературы Фрэнсиса Джозефа Коула и Нелли Б. Илс в 1917 году), библиография ( Теория национальной и международной библиографии Фрэнсиса Берберри Кэмпбелла в 1896 году) или социология науки ( Статистика американской Психологи Джеймса Маккина Кеттелла в 1903 году).

Ранние работы по библиометрии и наукометрии были не просто описательными, но и выражали нормативные взгляды на то, какой должна быть наука и как она может развиваться. Основной целью было измерение эффективности отдельных исследователей, научных учреждений или целых стран. [14] Статистический анализ Джеймса Маккина Кеттела послужил подготовительной работой для крупномасштабной оценки американских исследователей с евгеническим оттенком: «Американские люди науки» (1906 г.), «с ее поразительно упрощенной системой рейтингов звездочек, прикрепленных к отдельным записям пропорционально к предполагаемому авторитету знаменитого ученого». [10]

Развитие библиографической статистики (1910–1945).

Ранний пример библиометрического анализа научного корпуса по анатомии , проведенного Фрэнсисом Джозефом Коулом и Нелли Б. Илс в 1917 году, с разбивкой по темам и странам.

После 1910 года библиометрический подход все чаще стал основным направлением исследований научной деятельности, а не одним количественным методом среди других. [17] В 1917 году Фрэнсис Джозеф Коул и Нелли Б. Илс высказались в пользу первичной статистической ценности публикаций, поскольку публикация «представляет собой изолированную и определенную часть работы, она постоянна, доступна и о ней можно судить, и в в большинстве случаев нетрудно установить, когда, где и кем это было сделано, и отобразить результаты на квадратной бумаге». [18] Пять лет спустя Эдвард Уиндем Хьюм расширил этот аргумент до такой степени, что публикации можно рассматривать как стандартную меру всей цивилизации: «Если цивилизация — это всего лишь продукт человеческого разума, действующего на изменяющейся платформе окружающей среды, в отношении библиографии мы можем утверждать, что она не только является опорой в структуре здания, но и может функционировать как мера различных сил, которым эта структура постоянно подвергается». [19] Этот сдвиг в сторону публикаций имел ограниченное влияние: вплоть до 1970-х годов национальная и международная оценка научной деятельности «пренебрегала библиометрическими показателями», которые считались слишком упрощенными, в пользу социологических и экономических показателей. [20]

Возросшая ценность научных публикаций как меры знаний и трудности, с которыми столкнулись библиотеки при управлении растущим потоком академических периодических изданий, повлекли за собой разработку первых индексов цитирования. [21] В 1927 году П. Гросс и Э. М. Гросс собрали 3633 ссылки, цитируемые Журналом Американского химического общества за 1926 год, и ранжировали журналы в зависимости от уровня цитирования. Два автора создали набор инструментов и методов, которые до сих пор широко используются академическими поисковыми системами, включая приписывание бонусов недавним цитированиям, поскольку «в первую очередь следует учитывать нынешнюю тенденцию , а не прошлые результаты журнала». [22] Тем не менее, измеренная академическая среда заметно отличалась: немецкий, а не английский, был признан основным языком химической науки, на который приходилось более 50% всех ссылок. [23]

В тот же период фундаментальные алгоритмы, метрики и методы библиометрии были впервые идентифицированы в нескольких несвязанных друг с другом проектах, [24] большинство из которых были связаны со структурным неравенством научного производства. Альфред Лотка ввел свой закон продуктивности на основе анализа авторских публикаций в журналах « Chemical Abstracts» и « Geschichtstafeln der Physik» : количество авторов, сделавших n статей, равно 1/n^2 числу авторов, которые только произвели одна публикация. [25] Главный библиотекарь Лондонского музея науки Сэмюэл Брэдфорд вывел закон рассеяния на основе своего опыта в библиографическом индексировании: отдача от поиска ссылок в научных журналах экспоненциально уменьшается, поскольку необходимо просматривать все больше и больше работ . найти соответствующую работу. И закон Лотки, и закон Брэдфорда подвергались критике, поскольку они далеки от универсальности и скорее раскрывают грубую зависимость степенного закона , представленную обманчиво точными уравнениями. [26]

Периодический кризис, цифровизация и индекс цитируемости (1945–1960)

После Второй мировой войны растущая проблема управления научными публикациями и доступа к ним превратилась в полноценный «периодический кризис»: существующие журналы не могли справиться с быстро растущей научной работой, стимулируемой крупными научными проектами. [27] [7] Этот вопрос стал политически актуальным после успешного запуска « Спутника» в 1957 году: «Кризис «Спутника» превратил проблему библиографического контроля библиотекарей в национальный информационный кризис.» [28] В контексте быстрых и драматических событий В то время как развивающаяся область библиометрии была связана с крупномасштабными реформами академических публикаций и почти утопическими представлениями о будущем науки. В 1934 году Поль Отле представил в рамках концепции библиометрии или библиологии амбициозный проект измерения воздействия текстов на общество. В отличие от ограниченного определения библиометрии , которое станет преобладающим после 1960-х годов, видение Отле не ограничивалось научными публикациями и фактически публикациями как фундаментальной единицей: оно стремилось «путем разделения текстов на атомарные элементы или идеи, которые он помещал в отдельные абзацы (alinéa, verse, articulet), составляющие книгу». [29] В 1939 году Джон Десмонд Бернал задумал создать сеть научных архивов, которая была кратко рассмотрена Королевским обществом в 1948 году: «Научная статья, отправленная в центральное издательство, после одобрения рецензентской коллегией, будет микрофильмирована, и после этого в действие вступила своего рода система печати по требованию». [30] Не используя концепцию библиометрии , Бернал оказал формирующее влияние на ведущих деятелей этой области, таких как Дерек Джон де Солла Прайс.

Появляющиеся компьютерные технологии сразу же рассматривались как потенциальное решение, позволяющее сделать больший объем научной продукции читабельной и доступной для поиска. В 1950-х и 1960-х годах нескоординированная волна экспериментов в области технологий индексирования привела к быстрому развитию ключевых концепций компьютерного поиска результатов исследований. [31] В 1957 году инженер IBM Ханс Питер Лун представил влиятельную парадигму статистического анализа частот слов, поскольку «передача идей посредством слов осуществляется на основе статистической вероятности». [32] Автоматический перевод неанглоязычных научных работ также внес значительный вклад в фундаментальные исследования по обработке естественного языка библиографических ссылок, поскольку в этот период значительное количество научных публикаций еще не было доступно на английском языке, особенно из СССР. блокировать. Влиятельные члены Национального научного фонда, такие как Джошуа Ледеберг, выступали за создание «централизованной информационной системы» SCITEL, частично под влиянием идей Джона Десмонда Бернала. Эта система сначала сосуществовала с печатными журналами, а постепенно полностью вытеснила их из-за своей эффективности. [33] Согласно плану, изложенному Ледебергом Юджину Гарфилду в ноябре 1961 года, централизованное хранилище должно было индексировать до 1 000 000 научных статей в год. Помимо полнотекстового поиска, инфраструктура также обеспечит индексацию цитирования и других метаданных, а также автоматический перевод статей на иностранных языках. [34]

Первый рабочий прототип онлайн-поисковой системы, разработанный в 1963 году Дугом Энгельбартом и Чарльзом Борном в Стэнфордском исследовательском институте, доказал осуществимость этих теоретических предположений, хотя он был сильно ограничен проблемами с памятью: не более 10 000 слов из нескольких документов могли быть сохранены. быть проиндексированы. [35] Ранние научные вычислительные инфраструктуры были сосредоточены на более конкретных областях исследований, таких как MEDLINE для медицины, NASA/RECON для космической техники или OCLC Worldcat для поиска в библиотеках: «большинство первых онлайн-поисковых систем предоставляли доступ к библиографической базе данных и остальные использовали файл, содержащий информацию другого рода — энциклопедические статьи, данные инвентаризации или химические соединения». [36] Исключительное внимание к анализу текста оказалось ограниченным по мере расширения оцифрованных коллекций: запрос мог дать большое количество результатов, и было трудно оценить релевантность и точность результатов. [37]

Периодический кризис и ограничения технологий индексного поиска мотивировали разработку библиометрических инструментов и больших индексов цитирования, таких как Индекс научного цитирования Юджина Гарфилда . Первоначально работа Гарфилда была в первую очередь связана с автоматизированным анализом текстовой работы. В отличие от продолжающейся работы, в основном сосредоточенной на внутренних семантических отношениях, Гарфилд подчеркнул «важность метатекста в анализе дискурса», такого как вводные предложения и библиографические ссылки. [38] Вторичные формы научной продукции, такие как обзоры литературы и библиографические примечания, стали центральными в видении Гарфилда, как они уже были в видении научных архивов Джона Десмонда Бернала . [39] К 1953 году внимание Гарфилда было постоянно переключено на анализ цитирования: в частном письме Уильяму Адэру, вице-президенту издателя индекса цитирования Шепарда, «он предложил хорошо опробованное решение проблемы автоматического индексирование, а именно «шепардизация» биомедицинской литературы, распутывание клубка ее содержания путем отслеживания нити ссылок на цитирование точно так же, как это делал юридический цитатор с судебными приговорами». [40] В 1955 году Гарфилд опубликовал свою основополагающую статью «Индексы научного цитирования», в которой изложена схема Индекса научного цитирования и которая оказала большое влияние на будущее развитие библиометрии. [40] Общий индекс цитирования, предложенный Гарфилдом, изначально был одним из основных элементов амбициозного плана Джошуа Ледерберга по компьютеризации научной литературы. [41] Из-за отсутствия финансирования план так и не был реализован. [42] В 1963 году Юджин Гарфилд создал Институт научной информации , целью которого было превратить проекты, первоначально задуманные с Ледербергом, в прибыльный бизнес.

Библиометрический редукционизм, метрика и структурирование исследовательской области (1960–1990).

Область библиометрии возникла параллельно с разработкой Индекса научного цитирования, который должен был стать ее фундаментальной инфраструктурой и ресурсом данных: [43] «в то время как начало двадцатого века создавало методы, необходимые для измерения результатов исследований, середина двадцатого века характеризовалось развитием институтов, которые мотивировали и облегчали измерение результатов исследований». [44] Значительное влияние зарождающейся области включало наряду с Джоном Десмондом Берналом и Полом Отлетом социологию науки Роберта К. Мертона , которая была переинтерпретирована в неэтической манере: Эффект Мэтью , то есть возрастающая концентрация внимание, уделяемое уже известным исследователям, теперь рассматривалось не как производное (?), а как особенность нормальной науки. [45]

Последователь Бернала, британский историк науки Дерек Джон де Солла Прайс оказал большое влияние на дисциплинарное формирование библиометрии: «публикацией книг « Наука со времен Вавилона» (1961), « Маленькая наука, большая наука» (1963) и «Сети» . В «Научных статьях» (1965) Дерека Прайса наукометрия уже располагала надежным эмпирическим и концептуальным инструментарием». [43] Прайс был сторонником библиометрического редукционизма . [46] Как и Фрэнсис Джозеф Коул и Нелли Б. Илс в 1917 году, он утверждал, что публикация является наилучшим стандартом для количественного исследования науки: они «подобны куче кирпичей (…), которые остаются навечно как интеллектуальное здание, построенное мастерством и хитростью и опирающееся на примитивный фундамент». [47] Прайс удвоил этот редукционистский подход, ограничив, в свою очередь, большой набор существующих библиографических данных данными цитирования.

Модель Прайса, как и теория Гарфилда, принимает как должное структурное неравенство научного производства, поскольку меньшинство исследователей создает большую долю публикаций, а еще меньшая доля оказывает реально измеримое влияние на последующие исследования (всего лишь 2% статей имеют 4 или более цитат за раз). [48] ​​Несмотря на беспрецедентный рост послевоенной науки, Прайс утверждал, что продолжает существовать невидимый колледж элитных ученых, которые, как и во времена Роберта Бойля, брали на себя наиболее ценную работу. [49] Хотя Прайс знал о властных отношениях, которые обеспечивали доминирование такой элиты, в библиометрических исследованиях существовала фундаментальная двусмысленность, которая подчеркивала концентрацию академических публикаций и престижа, но также создавала инструменты, модели и показатели, которые нормализовали предыдущую эпоху. -существующее неравенство. [49] Центральное положение в Индексе научного цитирования усилило этот перформативный эффект. В конце 1960-х годов Юджин Гарфилд сформулировал закон концентрации , который формально представлял собой новую интерпретацию закона рассеяния Сэмюэля Брэдфорда , с существенным отличием: в то время как Брэдфорд говорил о перспективе конкретного исследовательского проекта, Гарфилд обобщил закон на всю совокупность научных публикаций: «основная литература по всем научным дисциплинам включает группу журналов, насчитывающую не более 1000, а может включать и всего 500». Такой закон также был оправданием практического ограничения индекса цитирования ограниченным набором основных журналов, с основополагающим предположением, что любое расширение за счет журналов второго уровня будет приносить уменьшающуюся прибыль. [50] Вместо того, чтобы просто наблюдать структурные тенденции и закономерности, библиометрия имеет тенденцию расширять и стратифицировать их еще больше: «Индексы цитирования Гарфилда довели бы до логического завершения историю стратифицированной научной литературы, созданной (…) несколькими высокопоставленными -качественные международные журналы, которые «обязательно покупать», принадлежащие все меньшему числу транснациональных корпораций, господствующих на мировом информационном рынке». [51]

Под влиянием Гарфилда и Прайса библиометрия стала одновременно областью исследований и испытательным полигоном для количественной политической оценки исследований. Этот второй аспект не был основным направлением индекса научного цитирования, но был прогрессивным развитием: знаменитый импакт-фактор был первоначально разработан в 1960-х годах Гарфилдом и Ирвингом Шером для отбора основной группы журналов, которые должны были быть включены в « Текущее содержание» и « Текущий контент ». Индекс научного цитирования и регулярно публиковался только после 1975 года. [52] Сам показатель представляет собой очень простое соотношение между общим количеством цитирований, полученных журналом за последний год, и его продуктивностью за последние два года, чтобы оценить плодовитость. некоторых публикаций. [53] Например, в 2017 году импакт-фактор Nature составил 41,577: [54]

Простота импакт-фактора, вероятно, стала основным фактором его широкого внедрения научными учреждениями, журналами, спонсорами и оценщиками: «ни одна из пересмотренных версий или заменителей ISI IF не получила всеобщего признания, за исключением ее сторонников, вероятно, потому, что предполагаемые альтернативы не хватает степени интерпретируемости исходной меры». [55]

Наряду с этими упрощенными измерениями Гарфилд продолжал поддерживать и финансировать фундаментальные исследования в области истории науки и социологии науки. Книга «Использование данных цитирования при написании истории науки» , впервые опубликованная в 1964 году, объединяет несколько экспериментальных тематических исследований, основанных на сети цитирования Индекса научного цитирования, включая количественную реконструкцию открытия ДНК. [56] Интерес к этой области сохранялся и после продажи Индекса компании Thomson Reuters: еще в 2001 году Гарфилд представил HistCite , программное обеспечение для «алгоритмической историографии», созданное в сотрудничестве с Александром Пудовкиным и Владимиром Истоминым. [57]

Веб-поворот (1990–…)

График из трех полей, показывающий отношения авторов между их учреждениями и цитируемыми источниками в полученной литературе. Создано с помощью «Библиошины» — онлайн-инструмента для визуализации библиометрических данных.

Развитие Всемирной паутины и цифровая революция оказали комплексное влияние на библиометрию.

Сама сеть и некоторые ее ключевые компоненты (например, поисковые системы) частично были продуктом теории библиометрии. В своей первоначальной форме он был получен на основе библиографической научной инфраструктуры, заказанной ЦЕРН Тиму Бернерсу-Ли для конкретных нужд физики высоких энергий, INQUIRE . Структура INQUIRE была ближе к внутренней сети данных: она соединяла «узлы», которые «могли относиться к человеку, программному модулю и т. д. и которые могли быть связаны с различными отношениями, такими как «сделано», «включить», «описать» и т. д. ." [58] Обмен данными и документирование данных было основным направлением первоначальной коммуникации во Всемирной паутине, когда проект был впервые представлен в августе 1991 года: «Проект WWW был начат, чтобы позволить физикам высоких энергий обмениваться данными, новостями и документации. Мы очень заинтересованы в распространении Интернета на другие области и создании серверов-шлюзов для других данных». [59] Сеть быстро вытеснила существовавшую ранее онлайн-инфраструктуру, даже когда она включала в себя более продвинутые вычислительные функции. [60] Основная ценность, придаваемая гиперссылкам при проектировании сети, похоже, подтверждает интуицию цифр финансирования библиометрии: «Появление Всемирной паутины в середине 1990-х годов сделало цитационистскую мечту Гарфилда более вероятной для осуществления. В мировой сети гипертекстов не только библиографическая ссылка является одной из возможных форм гиперссылки внутри электронной версии научной статьи, но и сама Сеть демонстрирует структуру цитирования, при этом ссылки между веб-страницами формально аналогичны библиографическим. цитаты». [61] Следовательно, концепции библиометрии были включены в основные коммуникационные технологии — поисковый алгоритм Google: «концепция релевантности, основанная на цитировании, примененная к сети гиперссылок между веб-страницами, произвела бы революцию в том, как поисковые системы позволяют пользователям быстро выбирать полезные материалы». из анархической вселенной цифровой информации». [62]

Хотя Интернет расширил интеллектуальное влияние библиометрии за пределы специализированных научных исследований, он также разрушил основные принципы этой области. В отличие от широких утопических представлений Бернала и Отле, которые отчасти вдохновили его, Индекс научного цитирования всегда задумывался как закрытая инфраструктура не только с точки зрения пользователей, но и с точки зрения индекса коллекции: логическое завершение Теория невидимого колледжа Прайса и закон концентрации Гарфилда должны были сосредоточиться исключительно на ограниченном наборе основных научных журналов. С быстрым распространением Интернета многочисленные формы публикаций (особенно препринтов), научной деятельности и сообществ внезапно стали заметными и контрастно подчеркнули ограничения прикладной библиометрии. [63] Другой фундаментальный аспект библиометрического редукционизма, исключительное внимание к цитированию, также становится все более хрупким из-за умножения альтернативных источников данных и беспрецедентного доступа к полнотекстовому корпусу, который позволил возродить крупномасштабный семантический анализ, впервые предусмотренный Гарфилдом в начале 1950-х годов: «Тогда одних только ссылок, как и одних только библиографических цитат, по-видимому, недостаточно, чтобы определить критически важные модели коммуникации в Интернете, и их статистический анализ, вероятно, в ближайшие годы пойдет по тому же пути». анализа цитирования, установления плодотворных союзов с другими появляющимися качественными и количественными взглядами на веб-ландшафт». [64]

Тесные отношения между библиометрией и коммерческими поставщиками данных и показателей цитирования стали более напряженными с 1990-х годов. Ведущие научные издательства диверсифицировали свою деятельность за пределы издательской деятельности и перешли «от предоставления контента к бизнесу по анализу данных». [65] К 2019 году Elsevier либо приобрела, либо создала большой портфель платформ, инструментов, баз данных и индикаторов, охватывающих все аспекты и этапы научных исследований: «крупнейший поставщик академических журналов также отвечает за оценку и проверку качества и воздействия исследований». (например, Pure, Plum Analytics, Sci Val), выявление научных экспертов для потенциальных работодателей (например, Expert Lookup5), управление исследовательскими сетевыми платформами для сотрудничества (например, SSRN, Hivebench, Mendeley), управление инструментами, с помощью которых можно найти финансирование (например, Plum X, Mendeley, Sci Val) и контролировать платформы, с помощью которых можно анализировать и хранить данные исследователей (например, Hivebench, Mendeley)». [66] Метрики и индикаторы являются ключевыми компонентами этой вертикальной интеграции: «Дальнейший переход Elsevier к предложению принятия решений на основе показателей является одновременно шагом к получению дальнейшего влияния на весь процесс производства знаний, а также к дальнейшей монетизации его право собственности на контент». [67] Новый рынок научных публикаций и научных данных сравнивают с бизнес-моделями социальных сетей, поисковых систем и других форм платформенного капитализма . [68] [69] [70] Хотя доступ к контенту бесплатен, он косвенно платный. путем извлечения данных и наблюдения. [71] В 2020 году Рафаэль Болл предвидел мрачное будущее для библиометристов, где их исследования будут способствовать возникновению крайне агрессивной формы «наблюдательного капитализма»: ученым «получится целый ряд оценок, которые не только дадут более полную картину академическая успеваемость, но также восприятие, поведение, манера поведения, внешний вид и (субъективная) достоверность (…) В Китае этот вид анализа личных данных уже внедряется и используется одновременно в качестве системы поощрений и наказаний». [72]

Лейденский манифест по исследовательским метрикам (2015 г.) подчеркнул растущий разрыв между коммерческими поставщиками научных метрик и библиометрическими сообществами. Подписавшиеся стороны подчеркнули потенциальный социальный ущерб от неконтролируемой оценки и надзора на основе показателей: «Как наукометристы, социологи и руководители исследований, мы с растущей тревогой наблюдаем за повсеместным неправильным применением показателей для оценки научной деятельности». [73] Предлагается несколько структурных реформ библиометрических исследований и оценки исследований, в том числе усиление опоры на качественную оценку и опору на «открытый, прозрачный и простой» сбор данных . [73] Лейденский манифест вызвал важные дебаты в библиометрии/научометрике/инфометрике, причем некоторые критики утверждают, что разработка количественных показателей не несет ответственности за их неправильное использование на коммерческих платформах и в оценке исследований. [74]

Применение

Исторически библиометрические методы использовались для отслеживания взаимосвязей между цитированиями академических журналов . Анализ цитирования , который включает в себя изучение ссылающихся документов на предмет, используется для поиска материалов и анализа их достоинств. [75] Индексы цитирования , такие как Web of Science Института научной информации , позволяют пользователям осуществлять поиск вперед во времени от известной статьи до более поздних публикаций, в которых цитируется известный элемент.

Данные индексов цитирования можно анализировать, чтобы определить популярность и влияние конкретных статей, авторов и публикаций. [76] [77] Например, использование анализа цитирования для оценки важности своей работы было обычным явлением в практике найма в конце 20 века. [78] [79] Ученые-информатики также используют анализ цитирования для количественной оценки названий основных журналов и переломных публикаций в конкретных дисциплинах; взаимоотношения между авторами разных учреждений и школ; и соответствующие данные о социологии академических кругов. Некоторые более прагматичные применения этой информации включают планирование ретроспективных библиографий , «дающих некоторое представление как о возрасте материала, используемого в дисциплине, так и о степени, в которой более поздние публикации заменяют старые»; указание посредством высокой частоты цитирования, какие документы следует заархивировать; сравнение охвата вторичных услуг может помочь издателям оценить свои достижения и конкуренцию, а библиотекарям может помочь оценить «эффективность их фонда». [80] Существуют также некоторые ограничения на ценность данных о цитировании. Они часто неполны или предвзяты; данные в основном собираются вручную (что обходится дорого), хотя можно также использовать индексы цитирования; постоянно происходит неправильное цитирование источников; таким образом, необходимы дальнейшие исследования, чтобы по-настоящему понять причину цитирования и позволить его уверенно применять. [81]

Библиометрия теперь используется в упражнениях по количественной исследовательской оценке академических результатов, что начинает угрожать исследованиям, основанным на практике. [82] Правительство Великобритании рассмотрело возможность использования библиометрии в качестве возможного вспомогательного инструмента в своей системе Research Excellence Framework , процессе, который будет оценивать качество результатов исследований британских университетов и на основе результатов оценки выделять финансирование исследований. [83] Это было встречено со значительным скептицизмом, и после пилотного исследования маловероятно, что оно заменит нынешний процесс экспертной оценки. [84] Кроме того, чрезмерное использование библиометрии при оценке ценности академических исследований побуждает систему манипулировать различными способами, включая публикацию большого количества работ с низким содержанием нового содержания (см. наименее публикуемую единицу ), публикацию преждевременных исследований для удовлетворения количества, сосредоточение внимания на популярность темы, а не научная ценность и авторский интерес, часто имеющий пагубную роль для исследования. [85] Некоторые из этих явлений рассматриваются в ряде недавних инициатив, в том числе в Сан-Франциской декларации по оценке исследований .

Были написаны рекомендации по использованию библиометрии в академических исследованиях в таких дисциплинах, как менеджмент, [86] образование, [87] и информатика. [88] Другие приложения библиометрии включают: создание тезаурусов; измерение частот терминов; как метрики в наукометрическом анализе, исследующие грамматическую и синтаксическую структуру текстов; измерение использования читателями; количественная оценка ценности онлайн-сред общения; в контексте анализа технологических тенденций; [89] измеряли кластерный анализ Жаккара и интеллектуальный анализ текста на основе бинарной логистической регрессии. [90] [91]

В контексте отмены крупных сделок несколькими библиотечными системами в мире [92] инструменты анализа данных, такие как Unpaywall Journals, используются библиотеками для оказания помощи в отмене крупных сделок: библиотеки могут избежать подписки на материалы, уже предоставленные в мгновенном открытом доступе через открытый доступ . архивы , такие как PubMed Central. [93]

Библиометрия и открытая наука

Распределение авторов-корреспондентов научных статей по SARS-CoV-2 и COVID-19 в период с января по март 2020 г.

Движение за открытую науку было признано наиболее важной трансформацией, с которой столкнулась библиометрия с момента появления этой области в 1960-х годах. [94] [95] Свободный обмен широким спектром научных результатов в сети повлиял на практику библиометрии на всех уровнях: определение и сбор данных, инфраструктура и показатели.

До кристаллизации области вокруг индекса научного цитирования и редукционистских теорий Дерека де Соллы Прайса библиометрия находилась под сильным влиянием утопических проектов расширения обмена знаниями за пределами специализированных академических сообществ. Научные сети, задуманные Полом Отлетом или Джоном Десмондом Берналом, приобрели новую актуальность с развитием Интернета: «Однако философское вдохновение пионеров, проводивших вышеуказанные направления исследований, постепенно отошло на второй план (…) В то время как идеи Бернала вклад в конечном итоге нашел идеальное продолжение в движении за открытый доступ, машина цитирования, запущенная Гарфилдом и Смоллом, привела к распространению отраслевых исследований фундаментально эмпирического характера». [96]

От альтметрики к открытым метрикам

На ранних стадиях развития движение за открытую науку частично использовало стандартные инструменты библиометрии и количественной оценки: «Тот факт, что метаданные не упоминались в основных декларациях открытого доступа (Будапешт, Берлин, Бетесда), привел к парадоксальной ситуации. (…) именно с помощью Web of Science сторонники открытого доступа стремились показать, насколько доступность приводит к преимуществу цитирования по сравнению со статьями с платным доступом». [97] После 2000 года важная библиометрическая литература была посвящена преимуществу цитирования публикаций открытого доступа. [98]

К концу 2000-х годов импакт-фактор и другие показатели все чаще возлагали ответственность за системную блокировку престижных недоступных источников. Ключевые фигуры движения за открытую науку, такие как Стеван Харнад, призвали к созданию «наукометрики открытого доступа», которая бы использовала «преимущества богатства показателей использования и воздействия, обеспечиваемых умножением онлайновых полнотекстовых цифровых архивов с открытым доступом». [99] Поскольку общественность открытой науки вышла за пределы академических кругов, новые показатели должны быть направлены на «измерение более широкого социального воздействия научных исследований». [100]

Концепция альтернативных метрик была представлена ​​в 2009 году Кэмероном Нейлоном и Ширли Ву как метрика уровня статьи . [101] В отличие от ориентированности ведущих метрик на журналы (импакт-фактор) или, в последнее время, на отдельных исследователей (индекс Хирша), метрики на уровне статей позволяют отслеживать тиражи отдельных публикаций: ) статья, которая раньше жила на полке, теперь живет в Mendeley , CiteULike или Zotero – где мы можем ее увидеть и посчитать» [102] . Как таковые, они более совместимы с разнообразием стратегий публикации, характерным для открытой науки: препринты, отчеты или даже нетекстовые результаты, такие как наборы данных или программное обеспечение, также могут иметь связанные показатели. [100] В своем первоначальном исследовательском предложении Нейлон и Ву предпочитали использовать данные из программного обеспечения для управления справочными данными, такого как Zotero или Mendeley. [101] Концепция альтметрики развивалась и стала охватывать данные, извлеченные «из приложений социальных сетей, таких как блоги, Twitter, ResearchGate и Mendeley». [100] Источники в социальных сетях оказались особенно более надежными в долгосрочной перспективе, поскольку специализированные академические инструменты, такие как Mendeley, стали интегрированы в собственную экосистему, разработанную ведущими научными издателями. Основные индикаторы альтметрики, появившиеся в 2010-х годах, включают Altmetric.com , PLUMx и ImpactStory .

По мере того как значение альтметрики менялось, дебаты о положительном влиянии метрик развивались в сторону их переопределения в экосистеме открытой науки: «Дискуссии о неправильном использовании метрик и их интерпретации ставят сами метрики в центр практики открытой науки». [103] Хотя альтметрики изначально задумывались для открытых научных публикаций и их широкого распространения за пределами академических кругов, их совместимость с возникающими требованиями к открытым метрикам была поставлена ​​под сомнение: данные социальных сетей, в частности, далеки от прозрачности и легкодоступности. [104] [105] В 2016 году Ульрих Херб опубликовал систематическую оценку показателей ведущих публикаций в отношении принципов открытой науки и пришел к выводу, что «ни метрики воздействия, основанные на цитировании, ни альтернативные метрики не могут быть названы открытыми метриками. Всем им не хватает научных показателей». фундамент, прозрачность и проверяемость». [106]

Херб заложил альтернативную программу открытых метрик, которую еще предстоит разработать. [108] [109] К основным критериям относились:

Это определение было реализовано в исследовательских программах, таких как ROSI ( Эталонная реализация открытых наукометрических показателей ). [110] В 2017 году Экспертная группа Европейской комиссии по альтернативным метрикам расширила программу открытых метрик Ульриха Херба в рамках новой концепции « Метрики следующего поколения ». Эти показатели должны управляться «открытой, прозрачной и связанной инфраструктурой данных». [111] Экспертная группа подчеркивает, что не все следует измерять и не все показатели актуальны: «Измеряйте то, что важно: следующее поколение показателей должно начинаться с тех качеств и воздействий, которые европейские общества больше всего ценят и для которых нужны индексы, а не тех, которые которые легче всего собрать и измерить». [111]

Инфраструктура данных открытого цитирования

До 2010-х годов влияние движения за открытую науку в основном ограничивалось научными публикациями: оно «имело тенденцию игнорировать важность социальных структур и системных ограничений при разработке новых форм инфраструктур знаний». [112] В 1997 году Роберт Д. Кэмерон призвал к разработке открытых баз данных цитирования, которые полностью изменили бы условия научной коммуникации: «Представьте себе универсальную библиографическую и цитирующую базу данных, связывающую каждую когда-либо написанную научную работу – независимо от того, насколько она была опубликована – к каждой работе, в которой цитируется, и к каждой работе, в которой она цитируется. Представьте себе, что такая база данных цитирования находится в свободном доступе в Интернете и каждый день пополняется всеми новыми работами, опубликованными в этот день, включая статьи в традиционных и электронных журналах, статьи на конференциях, диссертации , технические отчеты, рабочие документы и препринты». [113] Несмотря на разработку специальных индексов, ориентированных на работы в открытом доступе, таких как CiteSeer , большая открытая альтернатива Индексу научного цитирования не была реализована. В сборе данных о цитировании по-прежнему доминировали крупные коммерческие структуры, такие как прямой потомок Индекса научного цитирования, Web of Science . Это привело к поддержанию формирующейся экосистемы открытых ресурсов на периферии академических сетей: «общий пул ресурсов не регулируется и не управляется текущей инициативой научного сообщества. Специальной жесткой инфраструктуры нет, и хотя может возникнуть зарождающееся сообщество , формального членства нет». [114]

С 2015 года открытые научные инфраструктуры, платформы и журналы объединились в создание цифровых академических достояний, все больше структурированных вокруг общей экосистемы услуг и стандартов, возникшей через сеть зависимостей от одной инфраструктуры к другой. Это движение обусловлено все более критической позицией по отношению к ведущим частным базам данных. В 2012 году Сан-Францисская декларация по оценке исследований (DORA) призвала «прекратить использование импакт-факторов журналов при принятии решений о финансировании, найме и продвижении по службе». [115] Лейденский манифест по метрикам исследований (2015 г.) поощрял развитие «открытого, прозрачного и простого» сбора данных. [73]

Сотрудничество между академическими и неакадемическими субъектами, коллективно заинтересованными в создании и поддержании общих знаний, стало определяющим фактором в создании новой инфраструктуры для данных открытого цитирования. С 2010 года набор данных открытого цитирования, Open Citation Corpus , был собран несколькими исследователями из различных источников открытого доступа (включая PLOS и Pubmed). [116] Эта коллекция стала исходным ядром Инициативы OpenCitations, созданной в 2017 году в ответ на проблемы доступности данных, с которыми столкнулся проект Викимедиа Wikidata . Конференция, проведенная Дарио Тараборелли, руководителем исследований Фонда Викимедиа , показала, что только 1% статей в Crossref имели метаданные цитирования, которые были в свободном доступе, а ссылки, хранящиеся в Викиданных, не могли включать очень большой сегмент несвободных данных. Когда Elsevier наконец присоединился к инициативе в январе 2021 года, этот охват расширился до более половины зарегистрированных статей. [117]

С 2021 года OpenAlex стала крупной открытой инфраструктурой научных метаданных. Первоначально созданный в качестве замены прекращенного Microsoft Academic Graph , OpenAlex проиндексировал в 2022 году 209 миллионов научных работ от 213 миллионов авторов, а также связанных с ними учреждений, площадок и концепций в графе знаний, интегрированном в семантическую сеть (и Викиданные ). [118] Благодаря большому охвату и большому объему данных, правильно перенесенных из Microsoft Academic Graph (MAG), OpenAlex «кажется, по крайней мере, так же подходит для библиометрического анализа, как и MAG для публикации за несколько лет до 2021 года». [119] В 2023 году исследование охвата журналов данных в научных индексах показало, что OpenAlex, наряду с Dimensions, «имеет сильное преимущество перед двумя более традиционными базами данных, WoS и Scopus» [120] и в целом особенно подходит для индексация нежурнальных публикаций, таких как книги [121] или исследователей из незападных стран [122]

Открытие научных данных стало основной темой дебатов в библиометрическом и наукометрическом сообществе и имело широкий спектр социальных и интеллектуальных последствий. В 2019 году весь научный совет журнала Infometrics подал в отставку и создал новый журнал открытого доступа Quantitative Science Studies . Журнал издавался издательством Elsevier с 2007 года, и члены правления все чаще критиковали отсутствие прогресса в открытом обмене данными открытого цитирования: «Наша область зависит от высококачественных научных метаданных. Чтобы сделать нашу науку более надежной и воспроизводимой. , эти данные должны быть максимально открытыми. Поэтому наша редакция была глубоко обеспокоена отказом Elsevier участвовать в Инициативе открытого цитирования (I4OC)». [123]

Библиометрия без оценки: переход к количественным научным исследованиям

Беспрецедентная доступность широкого спектра научной продукции (публикации, данные, программное обеспечение, конференции, обзоры...) повлекла за собой более радикальное переопределение библиометрического проекта. Для новых альтернативных работ, закрепленных в открытой научной среде, необходимо переосмыслить принципы библиометрии, определенные Гарфилдом и Прайсом в 1960-х годах. Предварительный отбор ограниченного корпуса важных журналов не кажется ни необходимым, ни целесообразным. В 2019 году сторонники проекта «Матильда» «не хотят просто «открыть» существующую закрытую информацию, но хотят вернуть справедливое место всему академическому контенту, который был исключен из таких инструментов, в «всех текстах». рождаются равными «модными». [124] Они стремятся «переопределить библиометрические инструменты как технологию», сосредоточив внимание на исследовании и картировании научного корпуса. [125]

Вопросы инклюзивности и более критического подхода к структурному неравенству в науке стали более распространенными в наукометрии и библиометрии, особенно в отношении гендерного дисбаланса. [126] [127] [128] После 2020 года одна из самых горячих дебатов в этой области [129] вращалась вокруг получения исследования о гендерном дисбалансе в фундаментальной физике. [130]

Структурный сдвиг в определениях библиометрии, наукометрии или инфометрики повлек за собой необходимость в альтернативных обозначениях. Концепция количественных научных исследований была первоначально введена в конце 2000-х годов в контексте новой критической оценки классических библиометрических данных. [131] В конце 2010-х годов оно стало более распространенным. Покинув Elsevier , редакторы журнала Infometrics выбрали этот новый лейбл и создали журнал количественных научных исследований . Первая редакционная статья удалила все ссылки на метрику и была направлена ​​на более широкое включение количественных и качественных исследований в области науки:

Мы надеемся, что те, кто идентифицирует себя под такими ярлыками, как наукометрия, наука о науке и метанаука, найдут приют в QSS. Мы также признаем разнообразие дисциплин, для которых наука является объектом исследования: мы приветствуем в нашем журнале историков науки, философов науки и социологов науки. Хотя мы носим прозвище количественных, мы включаем в себя широту эпистемологических перспектив. Количественные научные исследования не могут работать изолированно: надежная эмпирическая работа требует интеграции теорий и идей всех метанаук. [132]

Смотрите также

Рекомендации

  1. ^ Хатчинс и др. 2019.
  2. ^ Отлет 1934.
  3. ^ Руссо 2014.
  4. ^ Причард 1969.
  5. ^ Герцель 2003, с. 288.
  6. ^ ab Bellis 2009, с. 3.
  7. ^ ab Bellis 2009, с. 12.
  8. ^ Беллис 2009, с. 4.
  9. ^ Йованович 2012.
  10. ^ ab Bellis 2009, с. 2.
  11. ^ Годин 2006.
  12. ^ Данеш и Мардани-Неджад 2020.
  13. ^ аб Герцель 2003, с. 292.
  14. ^ ab Bellis 2009, с. 6.
  15. ^ Беллис 2009, с. 23.
  16. ^ Беллис 2009, с. 1.
  17. ^ Беллис 2009, с. 7.
  18. ^ Коул и Илз 1917, с. 578.
  19. ^ Хьюм 1923, с. 43.
  20. ^ Беллис 2009, с. 14.
  21. ^ Беллис 2009, с. 9.
  22. ^ Гросс и Гросс 1927, с. 387.
  23. ^ Гросс и Гросс 1927, с. 388.
  24. ^ Беллис 2009, с. 75.
  25. ^ Беллис 2009, с. 92.
  26. ^ Беллис 2009, с. 99.
  27. ^ Воутерс 1999, с. 61.
  28. ^ Воутерс 1999, с. 62.
  29. ^ Беллис 2009, с. 10.
  30. ^ Беллис 2009, с. 52.
  31. ^ Беллис 2009, с. 27.
  32. ^ Лун 1957.
  33. ^ Воутерс 1999, с. 60.
  34. ^ Воутерс 1999, с. 64.
  35. ^ Борн и Хан 2003, стр. 16.
  36. ^ Борн и Хан 2003, стр. 12.
  37. ^ Беллис 2009, с. 30.
  38. ^ Беллис 2009, с. 34.
  39. ^ Беллис 2009, с. 53.
  40. ^ ab Bellis 2009, с. 35.
  41. ^ Беллис 2009, с. 36.
  42. ^ Беллис 2009, с. 37.
  43. ^ ab Bellis 2009, с. 49.
  44. ^ Сугимото и Ларивьер 2018, с. 8.
  45. ^ Беллис 2009, с. 57.
  46. ^ Беллис 2009, с. 62.
  47. ^ Прайс 1975, с. 162.
  48. ^ Беллис 2009, с. 65.
  49. ^ ab Bellis 2009, с. 67.
  50. ^ Беллис 2009, с. 103.
  51. ^ Беллис 2009, с. 104.
  52. ^ Беллис 2009, с. 187.
  53. ^ Беллис 2009, с. 186.
  54. ^ «Природа». Отчеты о цитировании в журналах за 2017 год (PDF) (Отчет). Web of Science (Наука под ред.). Томсон Рейтер . 2018.[ нужна проверка ]
  55. ^ Беллис 2009, с. 194.
  56. ^ Беллис 2009, с. 153.
  57. ^ Беллис 2009, с. 173.
  58. ^ Хоган 2014, с. 20.
  59. ^ Тим Бернерс-Ли, «Квалификаторы гипертекстовых ссылок», письмо отправлено 6 августа 1991 г. на alt.hypertext.
  60. ^ Стар и Руледер 1996, стр. 131.
  61. ^ Беллис 2009, с. 285.
  62. ^ Беллис 2009, стр. 31–32.
  63. ^ Беллис 2009, с. 289.
  64. ^ Беллис 2009, с. 322.
  65. ^ Аспези и др. 2019, с. 5.
  66. ^ Чен и др. 2019, пар. 25.
  67. ^ Чен и др. 2019, пар. 29.
  68. ^ Мур 2019, с. 156.
  69. ^ Чен и др. 2019.
  70. ^ Уэйнрайт и Бервейльо, 2021.
  71. ^ Уэйнрайт и Бервейльо, 2021, с. 211.
  72. ^ Бал 2020, с. 504.
  73. ^ abc Hicks et al. 2015, с. 430.
  74. ^ Дэвид и Франгополь 2015.
  75. ^ Шаер 2013.
  76. ^ «Библиотечные справочники: Управление цитированием и исследованиями: Передовая практика: Библиометрия, Анализ цитирования». Библиотеки Беркли. Архивировано из оригинала 27 июля 2020 года . Проверено 30 мая 2020 г.
  77. ^ «Библиометрия и анализ цитирования: Дом». Руководства по исследованиям . Библиотеки Университета Висконсин-Мэдисон . Проверено 30 мая 2020 г.
  78. ^ Стив Колович (15 декабря 2009 г.). «Владение-о-метр». Внутри высшего образования .В этой статье речь идет об инструменте библиометрии, ныне известном как Scholarometer.
  79. ^ Хоанг, Каур и Менцер 2010.
  80. ^ Николас и Ричи 1978, стр. 12–28.
  81. ^ Николас и Ричи 1978, стр. 28–29.
  82. ^ Хендерсон, Шервилл и Фернстром 2009.
  83. ^ Совет по финансированию высшего образования Англии (3 июля 2009 г.). «Система исследовательского совершенства». www.hefce.ac.uk . Архивировано из оригинала 4 июля 2009 года . Проверено 20 июля 2009 г.
  84. ^ Совет по финансированию высшего образования Англии (8 июля 2015 г.). «Метрики не могут заменить экспертную оценку в следующем REF». www.hefce.ac.uk . Архивировано из оригинала 19 июля 2018 года . Проверено 20 марта 2016 г.
  85. ^ Бьяджоли 2020, с. 18.
  86. ^ Линненлюке, Марроне и Сингх 2020.
  87. ^ Дием и Вольтер 2012.
  88. ^ Курц и Боллен 2010.
  89. ^ Йованович 2020.
  90. ^ Ховден 2013.
  91. ^ Аристовник, Равшель и Умек 2020.
  92. ^ Фернандес-Рамос и др. 2019.
  93. Дениз Вулф (7 апреля 2020 г.). «SUNY ведет переговоры о новом измененном соглашении с Elsevier». Центр новостей библиотек . Библиотеки Университета Буффало . Проверено 18 апреля 2020 г.
  94. ^ Беллис 2009, с. 288 кв..
  95. ^ Черт возьми, 2020.
  96. ^ Беллис 2009, с. 336.
  97. ^ Торни, Капелли и Данжан, 2019, с. 1.
  98. ^ Сугимото и Ларивьер 2018, с. 70.
  99. ^ Беллис 2009, с. 300.
  100. ^ abc Wilsdon et al. 2017, с. 9.
  101. ^ ab Нейлон и Ву 2009.
  102. ^ Прием и др. 2011, с. 3.
  103. ^ Черт возьми, 2020, с. 513.
  104. ^ Борнманн и Хауншильд, 2016.
  105. ^ Тунгер и Мейер, 2020.
  106. ^ Херб 2016, с. 60.
  107. ^ Херб 2016.
  108. ^ Херб 2012, с. 29.
  109. ^ abcdef Herb 2016, стр. 70.
  110. ^ Хаушке и др. 2018.
  111. ^ аб Уилсдон и др. 2017, с. 15.
  112. ^ Окуне и др. 2018, с. 13.
  113. ^ Кэмерон 1997.
  114. ^ Босман и др. 2018, с. 19.
  115. ^ Уилсдон и др. 2017, с. 7.
  116. ^ Перони и др. 2015.
  117. Уолтман, Людо (22 декабря 2020 г.). «Вопросы и ответы о решении Elsevier открыть цитаты». Лейден Мэтрикс . Университет Лейдена . Проверено 11 июня 2021 г.
  118. ^ Прием, Piwowar & Orr 2022, с. 1-2.
  119. ^ Шайдстегер и Хауншильд 2022, с. 10.
  120. ^ Цзяо, Ли и Фан 2023, с. 14.
  121. ^ Лааксо 2023, с. 166.
  122. ^ Акбаритабар, Тайле и Загени, 2023.
  123. ^ Уолтман и др. 2020, с. 1.
  124. ^ Торни, Капелли и Данжан, 2019, с. 2.
  125. ^ Торни, Капелли и Данжан, 2019, с. 7.
  126. ^ Ларивьер и др. 2013.
  127. ^ Торни, Капелли и Данжан, 2019.
  128. ^ Чари и др. 2021.
  129. ^ Гинграс 2022.
  130. ^ Струмия 2021.
  131. ^ Глензель 2008.
  132. ^ Уолтман и др. 2020.

Библиография

Книги и диссертации

Журнальная статья

Разделы книги

Отчеты

Конференции

Внешние ссылки