Импакт-фактор WoS и его аналоги

Импакт-фактор (ИФ) - заведомо самая обсуждаемая и популярная наукометрическая метрика. Принципиально важно, что, несмотря на всю интенсивную и многогранную критику, популярность ИФ как инструмента навигации, сопоставления журналов и оценки публикаций в них не убывает. Корень такой устойчивой популярности кроется прежде всего в восприятии ИФ самими учеными, а не в использовании "внешними силами" (менеджерами и чиновниками). Вторая составляющая успеха ИФ - его простота и понятность.

Составлять рейтинги журналов по их цитируемости начали еще в 1927 г. (doi) для целей выбора журналов в комплектовании библиотек химических колледжей США. В 1960-е г. Ирвинг Шэр и Юджин Гарфильд предложили делить число входящих цитирований на число статей в журнале, чтобы корректно сравнивать издания разного размера, и таким образом родился импакт-фактор. Полноценный коммерческий продукт Journal Impact Factor был запущен в 1975, и в последующие десятилетия вышел далеко за пределы сферы комплектования библиотек. В 2005 сам Гарфильд уже выступал с лекцией (pdf) "Агония и экстаз: история и смысл импакт-фактора", которая начинается так:

I had considered as an alternative title for my talk “Citation Sanity and Insanity - the Obsession and Paranoia of Citations and Impact Factors.” Others might have preferred “Uses and Abuses of Impact Factors.”

Официальный источник информации об ИФ, а также массы сопутствующих показателей называется Journal Citation Reports (JCR), он обычно включается в стандартную подписку на Web of Science. Кажется, это единственный современный журнальный индикатор, еще не находящийся в открытом доступе.

Классический импакт-фактор WoS

Классический импакт-фактор за год N это дробь A\B, где:

A = число входящих цитирований всех публикаций в журнале, вышедших в годы N-1 и N-2, любыми публикациями, индексируемыми в WoS Core Collection (включая ESCI) и вышедшими в год N
B = число публикаций типов "статья", "научный обзор", "труды конференции" (citable items: article, review, proceedings paper), вышедших в журнале в годы N-1 и N-2, и проиндексированных в WoS Core Collection.

Кажется, все очень просто: цитирования за год делим на число публикаций за два предыдущих. На деле здесь есть ряд особенностей:

Классический импакт-фактор учитывает самоцитирования на уровне журнала. WoS также публикует импакт-фактор без самоцитирования, но он не пользуется популярностью. Журналы, злоупотребляющие самоцитированиями на уровне журнала или издательства, могут быть лишены импакт-фактора на год, их список публикуется открыто.
В числителе и знаменателе дроби - разные типы публикаций. В числителе - все типы, в знаменателе только citable items, как именно они определяются - большой вопрос, ибо документация туманна. Это позволяет журналам манипулировать импакт-фактором, меняя привязку публикаций к типам, прежде всего за счет перевода части "статей" в "редакционные материалы", занижая знаменатель. Список citable items по каждому журналу можно посмотреть в JCR.
Временное окно публикации (два года) и цитирования (один год) очень небольшие и недостаточны для части наук типа математики, где цитирования накапливаются медленно. WoS также публикует пятилетний импакт-фактор (окно публикации увеличено с двух до пяти лет, окно цитирования неизменно), более точно отражающий положение дел, но он не получил сопоставимой популярности.

Альтернатива от Scopus: CiteScore

База Scopus от компании Elsevier - главный конкурент Web of Science, и из множества журнальных индикаторов на основе Scopus активнее всего продвигается аналог импакт-фактора, называемый CiteScore.

CiteScore за год N это дробь A\B, где:

A = число входящих цитирований публикаций в журнале, относящихся к учитываемым типам (article, review, conference proceedings, data papers, book chapters), сделанных из документов любых типов, входящих в Scopus.
B = число опубликованных журналом документов тех же типов
Окно цитирования = окно публикации = 4 года (N, N-1, N-2, N-3)

Таким образом, CiteScore существенно отличается от импакт-фактора:

Другие типы учитываемых публикаций-адресатов ссылок в числителе и знаменателе (но источники ссылок аналогичны, это любые публикации в Scopus)
Другие, гораздо более широкие окно публикации и окно цитирования
Другая база данных для расчета

К числу достоинств CiteScore можно отнести его лучшую воспроизводимость и большую прозрачность, а также доступность: метрики на странице https://www.scopus.com/sources открыты для всех, в том числе не имеющих доступа к самой базе Scopus.

И ИФ, и CiteScore за год N публикуются обычно в июне года N+1. Как правило, журналу, впервые попавшему в базу, приходится подождать 1-2 года в WoS и 1 год в Scopus, чтобы успели накопиться хоть какие-то данные для расчетов. Scopus также публикует предварительное значение CiteScore для текущего года под названием CiteScore Tracker.

Недостатки импакт-фактора и схожих метрик

Критике импакт-фактора и последствиям его популярности посвящены десятки тысяч публикаций разной степени научности. Мы рекомендуем хороший вводный обзор известных наукометристов Венсана Ларивье и Кессиди Сугимото (doi).

Самый популярный аргумент против ИФ и особенно против его использования в оценке отдельных статей связан с неравномерностью распределения цитирований по публикациям. Работа Пера Сеглена c говорящим названием Why the impact factor of journals should not be used for evaluating research (doi) - самая цитируемая в WoS публикация про ИФ. Сеглен убедительно показывает то, что и так всем очевидно: даже в лучших журналах большая часть цитирований приходится на меньшую часть статей, поэтому ИФ нельзя корректно использовать как метрику ожидаемой цитируемости публикаций в журнале.

Как правило, лишь около 30% статей в журнале цитируется на уровне или выше импакт-фактора. Значит ли это, что импакт-факторы для оценки отдельных статей использовать нельзя? Не совсем так. Вряд ли кто-то из ученых или администраторов всерьез считает, что статья в журнале X наберет цитирования в районе его импакт-фактора. Всё сложнее: журналы с высоким ИФ во все большем числе областей считаются престижнее: попасть туда строже, а читают их чаще, соответственно, если у человека есть там статья, это значит, что она прошла строгий отбор сильными независимыми рецензентами и войдет в научный оборот, а уж будет ли много цитироваться - дело десятое. Конечно, на практике тут масса исключений, подчас вопиющих, но чем больше сами ученые начинают "думать индикаторами" (doi) и придавать значение ИФ, тем сильнее становится эта зависимость.

Еще один ключевой аргумент против ИФ и подобных ему метрик касается различий в дисциплинах. В разных областях очень отличаются среднее число позиций в списках литературы, возраст этих позиций (число лет с момента выхода) и процент позиций, индексируемых в наукометрических базах. В таблице из работы Ларивье и Сугимото это показано на примере ряда областей и метрик за 2016 г. :

область	средний ИФ	макс ИФ	среднее число исходящих ссылок	среднее число исходящих ссылок на работы в WoS	средний возраст цитируемых публикаций
Biology	1.683	22.81	48.99	34.45	14.72
Biomedical research	3.526	46.60	48.94	43.19	10.26
Chemistry	2.768	47.93	46.37	41.31	10.37
Clinical medicine	2.976	187.04	41.94	34.78	9.77
Earth and space	2.173	30.73	53.71	38.67	13.06
Engineering and technology	1.989	39.74	36.35	24.77	10.44
Health	1.647	17.69	39.08	24.52	9.86
Mathematics	1.017	9.44	26.56	16.53	16.65
Physics	2.699	37.85	36.57	29.58	12.55
Professional fields	1.565	11.12	53.51	27.68	13.09
Psychology	2.050	19.95	54.56	38.30	13.00
Social sciences	1.199	6.66	49.09	21.74	15.12

Вкупе эти различия говорят о том, что сравнивать журналы из разных тематик по значению ИФ ни в коем случае нельзя.

Причем, если с неравномерностью распределения цитирований по статьям ничего сделать пока не удалось (метрики типа медианного ИФ не прижились), то с нормализацией по тематикам всё гораздо лучше: в WoS и Scopus для этого есть специальные индикаторы, которые мы рассмотрим в следующем разделе.