Квартили

Квартили журналов - наиболее простой вариант нормализации метрик по тематикам, получивший особое распространение в ряде стран мира.

Идея, которая стоит за их применением, такова: если метрики, пусть даже нормализованные, плохо годятся для сравнения журналов из разных тематик, нужно сравнивать не абсолютные значения, а относительное положение журналов в рамках своих тематик.

В математической статистике такие метрики называют процентилями: журнал X находится в пятом процентиле по математике по величине импакт-фактора, если в ранжированном по величине ИФ списке журналов по математике, разделенном на сто равных частей, он попадает в пятую часть сверху. Квартили (четверти) - грубый вариант процентилей: первый квартиль означает, что журнал по данной области попадает в верхнюю четверть списка, ранжированного по выбранной метрике, а четвертый квартиль - в нижнюю четверть.

В теории такая тактика нормализации звучит логично, но на практике квартильные метрики очень проблематичны и не рекомендуются для формализованного использования. Часть недостатков характерна для квартилей в целом, часть - специфична для конкретных метрик - ИФ и SJR (считать квартили по метрике SNIP из-за его особенностей в принципе недопустимо). Так как механистическое использование квартилей в управлении российской наукой приняло очень большие масштабы, приходится рассказать об этих недостатках подробнее. Отметим, большинство изложенного ниже относится не только к квартилям по ИФ и SJR, но и к квартилям по CiteScore или JCI.

1. Проблемы с классификаторами тематик. Как уже отмечалось в разделе о базах, применяющиеся ныне в WoS и Scopus классификаторы архаичны и несопоставимы. Так, в Scopus на одном и том же уровне находятся "математика" и ""хиропрактика", "биотехнология" и "подиатрия" (раздел медицины, изучающий ступни и лодыжки), а социология вообще объединена в один раздел с политологией. В WoS "экономика", "математика" и "прикладная физика" соседствуют с "андрологией" и "математической психологией".

2. Точность привязки к тематикам. Почему тот или иной журнал попал в ту или иную область, неясно: ни WoS, ни Scopus процесс классификации не раскрывают. Но очевидно, что часто эта привязка сомнительна, об этом говорят исследования ведущих наукометристов. Так, на примере ряда направлений WoS отмечается (doi):

“Normalizations using [the WoS] categories might seriously harm the quality of the evaluation. There is no reason to see these [two surveyed] fields as exceptions.”

Еще более серьезные проблемы в этом отношении в Scopus: как показывает широкомасштабное исследование фактической цитируемости (doi), точность привязки изданий к тематикам зачастую неприемлема: более 3000 журналов практически не связаны сетями входящих и исходящих цитирований с теми тематиками, к которым они приписаны (менее 10% цитирований журнала приходится на соответствующую область). В 76 из 300 с лишним тематик Scopus более половины всех журналов соответствуют этому критерию (в WoS таких тематик в четыре раза меньше, что тоже очень много). Хрестоматийный пример - журнал Mobilization, посвященный социальным движениям (забастовкам, митингам и т.д.). В Scopus он попал в категорию "Transport", после выхода исследования (2016 г.) это исправили.

Но история на этом не закончилась: квартили SJR считает по контракту с Elsevier лаборатория Scimago и публикует на своем сайте, откуда их обычно и берут (в частности, в России). Там Mobilization по-прежнему приписан к Transportation, где и имеет второй квартиль. Дошло до абсурда: на странице журнала на сайте Scimago его выпускающий редактор взывает о помощи:

As managing editor/publisher, please be advised that our journal is NOT a transportation journal. As the scope statement above make quite clear, our research articles have nothing to do with transportation. Mobilization is the leading research review of social movements, protest, and contentious politics. Could we get this fixed?

В ответ он получает длинный и запутанный рассказ, почему исправить ничего нельзя. Scimago кивает на Scopus, говоря, что не может менять приходящие оттуда данные.

1. Множественность квартилей у одного и того же журнала. Тяжесть проблем с самим классификатором и точностью привязки умножается в несколько раз из-за того, что у каждого журнала в WoS и Scopus может быть сразу несколько тематик, и, соответственно, разных квартилей. В одной области журнал в первом квартиле, в другой в четвертом. Как это трактовать? Увы, никак. Из вышеизложенного следует, что брать высший квартиль из имеющихся откровенно ненаучно. Проблема более характерна для Scopus, так как тематик там больше и среднее число тематик на журнал выше.

2. Междисциплинарные области. Наиболее успешный формат научных журналов последних лет - т.н. мегажурналы открытого доступа (PLOS One, Scientific Reports и т.д.). Эти платные для авторов издания с быстрым и не очень строгим циклом рецензирования в последние годы стали очень популярными на фоне совмещения трендов на publish or perish и открытый доступ к научным результатам. Это издания огромного размера (один только Scientific Reports публикует в районе 20-30 тысяч статей в год), объединяющие под одной обложкой публикации на совершенно разные, никак не связанные друг с другом темы. В WoS и Scopus всех их сгружают в специальную категорию Multidisciplinary, где они и соревнуются в квартильной гонке, что, конечно, само по себе лишено научного смысла в силу огромных различий в традициях, скорости и числе цитирований по областям. Еще проблематичней выглядят квартили по этой категории, если взглянуть на конкретный состав ее участников. Так, в Scimago\Scopus журналы Nature, Science, а также вышеупомянутые мегажурналы почему-то соревнуются с журналами с явной дисциплинарной спецификой: биоинформатика, материаловедение, биотехнология, сразу несколько журналов по теологии и т.д. На 94 строчке рейтинга по SJR за 2020 г. находится журнал Liguistics in the Netherlands, на 95 - журнал Movement and Sport Sciences, на 96 - выходящий дважды в месяц журнал обо всех науках сразу из университета Валайлак (небольшой тайский вуз, основанный в 1990-е г. и названный в честь одной из местных принцесс).

3. Качество индексируемых изданий и рост базы. На фоне роста формального применения метрик из коммерческих баз данных и соревнования этих баз по охвату максимально возможного числа изданий уровень журналов стал очень неравномерен. Многие издания носят локальный характер: так, помимо журнала "обо всем" от университета Валайлак в SJR имеется еще порядка десятка тайских журналов "обо всем", в которых публикуются преимущественно жители этой страны. Помимо локальных и низкоцитируемых изданий есть и откровенно недобросовестные лица, продающие через псевдожурналы публикации в WoS\Scopus. Число потенциально недобросовестных изданий в Scopus и ESCI может исчисляться сотнями (doi). Такие издания сначала искажают метрики других журналов при расчете ИФ и SJR, а затем (в случае SJR) дополнительно сдвигают их в квартильных списках. Число изданий, которые сам Scopus прекратил индексировать c формулировкой "due to quality issues", уже превышает 650. WoS аналогичные списки не обнародует.

4. Расчет квартилей для изданий с недостаточным числом публикаций и цитирований. Наукометрические показатели, особенно характеризующие цитируемость объекта изучения, не могут быть осмысленными, когда число публикаций и\или цитирований слишком мало - они будут нерелевантны, а дополнительная "квартилизация" таких метрик вызовет еще большую путаницу. Увы, именно это и происходит для массы журналов, особенно для гуманитарных наук. Например, отечественный журнал по литературоведению и культурологии "Новое литературное обозрение" имеет по SJR такие квартили: 2017 - Q1, 2018 - Q2, 2019 - Q4, 2020 - Q3. При этом число цитирований для расчета за эти годы составляет соответственно 2, 10, 6 и 17 единиц. Ясно, что такого рода бессмысленные скачки квартилей никак не отражают уровень журнала, который, отметим, среди специалистов котируется весьма высоко.

5. Квартили порождают иллюзии. Завершая, обратимся к, пожалуй, наиболее фундаментальному недостатку квартилей: они создают искусственные - и зачастую ложные - различия там, где никаких сопоставимых различий в реальности нет. Недавно проведенное исследование на примере квартилей по ИФ WoS (doi) убедительно высветило эту проблему: при восприятии значений ИФ в глазах пользователя нет никакой разницы между журналом с ИФ = 3.273 и журналом с ИФ = 3.272. Но если на эти же издания навешены ярлыки Q1 и Q2, разница в восприятии сразу становится значительной. Таких пограничных случаев очень много, порядка 10-30%, особенно в общественных науках (напомним, для гуманитарных ИФ не рассчитываются). Авторы заключают:

Conceptually there is a fundamental problem in the fact that JIF quartile classes artificially magnify underlying differences that can be insignificant. We in fact argue that the singular use of JIF quartiles is a second order ecological fallacy. We recommend the abandonment of the quartiles reification as an independent method for the research assessment of individual scholars.

Остается только присоединиться к этой рекомендации. Используйте квартили крайне осторожно и только для анализа больших массивов публикаций в мейнстримных естественных и общественных науках вместе с другими метриками.