Рекурсивные метрики - Eigenfactor и Scimago Journal Rank

Еще один важный подход к нормализации журнальных метрик также ставит задачу сделать более сравнимыми журналы разных областей, но опирается на сетевые и рекурсивные методы, вдохновленные алгоритмом PageRank. Этот алгоритм был разработан создателями Google для ранжирования сайтов в поисковой выдаче и основывался на идее, что гиперссылки с сайтов, на которые много ссылаются другие сайты, должны "весить" больше. Примечательно, что впервые подобные идеи появились как раз в наукометрии - еще в 1970-е (doi), но тогда их ограничивало развитие технологий.

Один из авторов включенной в продукты WoS журнальной метрики Eigenfactor Джевин Уэст пишет в своей статье про нее, рассчитанной на широкий круг читателей-ученых:

We were inspired by the effectiveness of PageRank in ranking websites so we decided to develop a variant of PageRank for journals. ... The underlying philosophy was that highly influential journals will be cited by other influential journals.

Принцип PageRank и подобных ему журнальных алгоритмов изображен на картинке ниже (источник):

Размер каждого шарика здесь можно считать пропорциональным общему размеру указывающих на него шариков. Значение метрики рассчитывается итеративно: на первом шаге все сайты (журналы) получают одинаковые значения "престижа", а на последующих шагах они делятся этим "престижем" с другими сайтами путем ссылок, получают изменяющиеся значения собственного "престижа" с учетом "престижа" сославшихся на них. Все это повторяется до определенного момента, когда система считается пришедшей к нужному состоянию, и фиксируются итоговые значения "престижа" для всех участников сети. Расчет ведется на основе random walk - алгоритм переходит по сайтам (журналам), выбирая для движения исходящие ссылки случайным образом. В детали математики вдаваться не будем, для желающих упрощенное изложение PageRamk с формулами и примерами кода есть на википедии.

Популярные в наукометрии журнальные метрики - Eigenafactor (WoS) и SJR (Scopus) - в целом построены на описанном принципе. Здесь есть некоторое сходство с ранее описанной нормализацией SNIP, делающее более сравнимыми журналы из разных тематик: если у журнала длинные списки литературы, то у алгоритма меньше шанс проследовать по каждой отдельной из его исходящих ссылок.

Ниже мы рассмотрим особенности этих двух показателей, важные для практического применения.

Eigenfactor и Article Influence Score

Первым PageRank-подобным журнальным алгоритмом, получившим распространение в наукометрии, стал Eigenfactor, разработанный в середине 2000-х годов эпидемиологами и наукометристами Карлом Бергстромом и Джевином Уэстом. Данные для расчета они взяли из Web of Science, и в 2007 г. Eigenfactor был интегрирован в Journal Citation Reports, где публикуется рядом с импакт-фактором и новой метрикой JCI.

Для расчета используется пятилетнее окно публикации и однолетнее окно цитирования (для 2020 окно публикации = 2015-2019, окно цитирования = 2020), причем журнальные самоцитирования исключаются полностью. Какие типы документов учитываются в роли адресатов или источников ссылок, неясно: официальная документация в WoS у Eigenfactor крайне скупая.

Важно, что Eigenfactor не нормализован по размеру журнала и отражает его общую влиятельность, так что сумма всех показателей всех журналов равна 100. Из-за этого у журналов, публикующих больше статей при прочих равных, он пропорционально выше. Так, у популярного мегажурнала открытого доступа PLOS One, публикующего многие тысячи статей в год, и у суперселективного журнала Nature этот показатель одинаковый, в районе единицы. Упрощая, это можно трактовать так: каждый из двух журналов в сумме дал науке примерно 1% "важных знаний" за пять лет. Для нормализации по размеру Eigenfactor делится на число выпущенных за пять лет публикаций, и такой показатель называется Article Influence Score. У Nature этот показатель за 2020 г. в 24 раза выше, чем у PLOS One.

Вслед за исследователями мы рекомендуем для сравнения журналов из разных областей использовать именно Article Influence Score:

Surprisingly, the eigenfactor is also the most variable indicator when computed across different fields of science and social science, while article influence is the most stable in this respect, and hence the most suitable metric to be used interdisciplinarily. (doi)

Ранее значения Eigenfactor публиковались открыто на специальном сайте, но теперь доступны только подписчикам Journal Citation Reports, аналогично классическому импакт-фактору. В свободном доступе сохранился лишь архив за 2007-2015 гг. Для журналов по гуманитарным наукам или включенных в младший индекс ESCI использовать Eigenfactor и AI не рекомендуется.

Scimago Journal Rank

Показатель SJR разработан и рассчитывается испанскими учеными на основе данных Scopus и интегрирован в эту базу наравне с CiteScore и SNIP. Кроме того, значения SJR и квартилей на его основе публикуются в открытом доступе на сайте проекта, что, по всей видимости, стало одним из факторов популярности этой метрики, особенно в России.

По сути это алгоритм на основе PageRank с рядом важных особенностей. Детали его расчета (для обновленной версии, т.н. SJR2) описываются в соответствующей научной статье (doi).

Публикационное окно составляет три года, окно цитирования - один год (для 2020 окно публикации = 2017-2019, окно цитирования - 2020), учитываются типы документов "статья", "научный обзор", "труды конференции" и "короткое исследование" (short survey).

На старте расчетов все журналы получают не одинаковые, а разные значения "престижа": они пропорциональны числу публикаций в журнале. Далее работает PageRank, но с двумя важными отличиями от Eigenfactor:

• Журнальные самоцитирования учитываются, но только до предела, когда на них приходится не более половины накопленного журналом "престижа".

• Вес ссылок определяется не только "престижем" ссылающегося журнала, но и тематической близостью этого журнала и журнала-адресата. Для этого используется метрика социтирования, показывающая, насколько часто два журнала цитируются вместе (в одних и тех же публикациях). Чем ближе два журнала, тем больше вес ссылок одного на другой. Почему так? Слово разработчикам:

We believe that it stands to reason that citations to scientific journals of related disciplines should have greater weight because of their greater capacity to evaluate a study, than citations to journals of very different disciplines. And it is then to be expected that this should have a normalizing effect on the various Subject Areas.

Так как на старте расчетов кусочек престижа получают все журналы, в SJR нередко возникает странная ситуация, когда у множества журналов с нулем цитирований есть ненулевые - и отличающиеся друг от друга - показатели SJR, а значит, и квартили. Ненулевые значения SJR имеют даже журналы, у которых равно нулю не только число цитирований, но и число публикаций за последний год. Вдобавок, SJR рассчитываются и для журналов, исключенных из Scopus за недобросовестность, в т.ч. спустя годы после прекращения их индексации - и, естественно, продолжают сдвигать квартили остальных изданий.

Мы рекомендуем использовать SJR - и особенно квартили на его основе - с осторожностью только для оценки достаточно крупных журналов по естественным и общественным наукам, и не использовать эту метрику для всех остальных изданий, особенно из гуманитарных дисциплин.