Введение. Какие показатели применять

Индикаторы – главное оружие наукометриста. Они делают характеристики публикаций, авторов и прочих объектов измеримыми, сравнимыми и пригодными для анализа – но только если Вы выбрали и рассчитали их правильно, а использованные базы адекватно отражают реальность. В этом разделе мы рассказываем об особенностях и ограничениях основных индикаторов - числа публикаций, цитируемости, сотрудничества, и отдельно останавливаемся на журнальных метриках как наиболее важных на практике. Но сначала необходимо вкратце остановиться на проблеме выбора показателей в целом.

Специфика науки заключается в ее огромной сложности и многообразии с одной стороны, и огромным - и прежде всего внутренним - запросом на объективную измеримость с другой. Для ученых естественно стремление научно обустроить науку, и без метрик сделать это невозможно. Не менее силен запрос на измеримость и подотчетность - accountability - со стороны тех, кто науку финансирует, особенно если речь идет о средствах налогоплательщиков. Наконец, само современное общество с его приматом личной эффективности и рационального планирования жизни, карьеры и отдыха всё больше опирается на индикаторы - от числа подписчиков и лайков до рейтингов врачей, ресторанов, школ и всего на свете. Эти метрики усилиями тысяч и тысяч коммерческих компаний все глубже встраиваются в потребительское поведение.

Как правило, большинство сценариев употребления метрик не предполагает серьезного осмысления их методологической корректности или последствий применения. Метрики должны быть просты для восприятия и сопоставления и давать результаты, относительно соответствующие ожиданиям - и этого часто достаточно. Люди знают "приемлемый" рейтинг кино на IMDB или metacritic, вина на vivino, индекса Хирша в физике - и колоссальная редукция характеристик реальности в этих метриках их не смущает. По словам философа Петера Далера-Ларсена, мы оказались в обществе, где оценка ритуализирована:

In our society, the pressure to do evaluation is stronger than the pressure to do good evaluation.

К наукометрии это относится в полной мере. При этом есть основания полагать, что в силу своей внутренней сложности наука как объект измерения может особенно существенно страдать от метрического редукционизма. Неправильно построенные упрощенные практики прикладной наукометрии могут привести к хроническому отставанию национальной науки, утере локально значимых тематик и целых дисциплин, расцвету псевдонауки и прочим тяжелым последствиям, от которых в конечном счете проигрывает общество в целом.

Ответственное и компетентное применение наукометрии - дело непростое в условиях такого давления со всех сторон - и со стороны академического сообщества, все больше "думающего импакт-факторами" (doi), и со стороны эффективных менеджеров, и со стороны коммерческих поставщиков инструментов оценки. Подать начальнику запрошенную им табличку с рейтингом профессоров по Хиршу или попробовать объяснить, почему она некорректна, предложив другой вариант - каждый решает сам в зависимости от обстоятельств.

Общие рекомендации по применению наукометрии выработаны ведущими мировыми науковедами и опубликованы в самом престижном научном журнале Nature (doi), документ называется Leiden Manifesto по месту его подготовки. Мы полностью поддерживаем его положения. Для России с учетом нашей специфики был выработан дополнительный свод рекомендаций, основные положения которого мы приводим ниже. В его подготовке под эгидой Совета по этике Ассоциации научных редакторов и издателей принимали участие представители ведущих университетов и научных организаций (включая автора этого руководства), а также всех трех ведущих наукометрических баз - WoS, Scopus и РИНЦ.

Любое использование количественных индикаторов должно быть обосновано. Сначала четкое описание того, что хочется измерить, затем выбор наилучших метрик, а не наоборот.
Несколько индикаторов лучше одного, при условии, что эти индикаторы разные по смыслу, а не только по названию наукометрической базы.
Все метрики должны быть однозначно определены, дабы избежать ситуации, когда разные субъекты оценки и потребители метрик трактуют их по-своему.
При выборе метрик для оценки необходимо ориентироваться на имеющийся мировой и российский опыт, тщательно изучать дизайн и последствия применения существующих наукометрических решений перед разработкой собственных.
Библиометрические показатели следует поручать рассчитывать профессионалам, а не собирать с самих субъектов оценки в рамках самообследования. При этом все списки учтенных публикаций и показатели их цитируемости должны быть доступны для проверки субъектами оценки. Для государственных организаций все эти сведения настоятельно рекомендуется публиковать в открытом доступе.
Метрики, предполагаемые для самообследования, допустимо вводить только при наличии у обследуемых должной квалификации и доступа к базам данных, с обязательной оценкой возникающих трудозатрат.
Информативность библиометрических оценок для разных наук неодинакова. Недопустимо использование одних и тех же абсолютных показателей для оценки публикаций организаций или ученых, занятых в разных областях. Особенно вреден перенос наукометрических методов оценки “статейных” англоязычных естественных наук на гуманитарные области. Для сравнительной оценки достаточно крупных массивов публикаций по различным естественнонаучным, медицинским и техническим дисциплинам рекомендуется использование нормализованных метрик цитируемости.
Ценность библиометрических метрик прямо зависит от числа публикаций, возраста исследователя, давности публикаций. Именно поэтому никто из специалистов не рекомендует их применение для формализованной оценки молодых исследователей на старте карьеры. Метрики логично применять для оценки больших объёмов публикаций. Недопустимо механически переносить метрики, разработанные для оценки организаций и журналов, на оценку отдельных исследователей.
Метрики дают опасную иллюзию сравнимости. Индекс Хирша и аналогичные показатели уместно использовать для сопоставления состоявшихся ученых одного возраста, работающих в одной предметной области.
Ключевой и наиболее популярный библиометрический показатель - число публикаций - при применении в качестве KPI приводит к смещению потока публикаций в сторону наименее требовательных журналов, что может быть губительно для науки. Широко распространившееся сейчас использование квартилей журналов допустимо с оговорками только для ряда дисциплин. Более оправдано использование “белых списков” лучших журналов, конференций и книжных издательств, составленных ведущими независимыми экспертами. Именно такой подход широко используется, в частности, в Скандинавии (The Norwegian Register for Scientific Journals, финский Publication Forum, проект Nordic List и т.д.), являясь оптимальным в качестве барьера против псевдонауки.
Необходимо учитывать специфические особенности ряда научных областей, форматы соавторства и авторских ролей. Статью, у которой тысячи соавторов из сотни научных организаций со всего мира, следует оценивать иначе, чем статью в том же журнале, опубликованную одним автором без соавторов.
При дизайне и внедрении наукометрических индикаторов и методик оценки особое внимание нужно уделять оценке возможных последствий для российских научных журналов. Следует избегать дискриминации научных изданий по географическому или языковому признаку.

Принимая во внимание эти рекомендации, вы сможете выбирать и применять наукометрические индикаторы ответственно и с пользой. Но одних общих рекомендаций для этого мало, нужно знать особенности самих индикаторов. Об этом читайте в следующих разделах.