Ответственное использование метрик в академическом резюме (DORA и Лейденский манифест)
Как ответственно представлять исследовательские метрики в резюме: почему импакт-фактор журнала и индекс Хирша вводят в заблуждение, что добавляют нормализованные по области показатели и что рекомендуют DORA и Лейденский манифест.
Метрики кажутся соблазнительным сокращением в резюме, однако их легко использовать некорректно — и комиссии всё настойчивее ожидают от исследователей ответственного обращения с ними. В этом руководстве объясняется, какие метрики вводят в заблуждение, какие более обоснованны и что рекомендуют основные концепции ответственной оценки.
Почему импакт-фактор журнала — неподходящий инструмент
Импакт-фактор журнала (JIF) измеряет среднее число цитирований журнала, а не качество или воздействие вашей конкретной статьи. Распределения цитирований существенно скошены, поэтому одна статья в журнале с высоким JIF практически ничего не говорит читателю об этой статье. DORA — Сан-Францисская декларация об оценке исследований — прямо не рекомендует использовать JIF для оценки отдельных исследований или исследователей.
Ограничения индекса Хирша и абсолютных показателей
Индекс Хирша и абсолютное число цитирований в значительной мере зависят от области и длины карьеры, поэтому они несопоставимы между дисциплинами и ставят в невыгодное положение исследователей на начальных этапах карьеры. Они также поддаются завышению. Если вы их приводите, давайте контекст; никогда не представляйте их как самостоятельный показатель ценности.
Отдавайте предпочтение нормализованным по области показателям
Нормализованные по области показатели — такие как FWCI (Field-Weighted Citation Impact) или NIH iCite Relative Citation Ratio (RCR) — учитывают различия в интенсивности цитирования между областями и в динамике времени, поэтому они более сопоставимы, чем абсолютные значения. Они также несовершенны и должны восприниматься в контексте, а не как единственный показатель.
Что рекомендуют DORA и Лейденский манифест
- DORA — не использовать журнальные метрики (такие как JIF) для оценки индивидуального вклада; оценивать исследования по их собственным достоинствам.
- Лейденский манифест — использовать количественные показатели для поддержки экспертного суждения, а не его замены; учитывать различия между областями; обеспечивать прозрачность данных и методов; избегать ложной конкретности.
Практические рекомендации для вашего резюме
- Делайте акцент на самих работах — что вы сделали и почему это важно, — а не на цифрах.
- Если вы включаете метрики, отдавайте предпочтение нормализованным по области показателям и давайте контекст (область, временной интервал, перцентиль).
- Рассмотрите краткое нарративное описание ваших ключевых вкладов вместо цифр или в дополнение к ним.
- Никогда не указывайте импакт-фактор журналов, в которых опубликованы ваши статьи.
Ответственные метрики по умолчанию
SigmaCV создан с учётом этой позиции: метрики по умолчанию отключены и включаются добровольно, предпочтительны нормализованные по области показатели вместо абсолютных значений, а импакт-фактор журналов не отображается никогда — в соответствии с DORA. Вы полностью контролируете, будет ли вообще отображаться какая-либо метрика в вашем резюме.
Создать резюме, соответствующее DORA, бесплатно
Часто задаваемые вопросы
Стоит ли указывать индекс Хирша в резюме?
Необязательно и зависит от области. Если вы его включаете, давайте контекст и дополняйте нормализованными по области показателями, а не представляйте его в одиночестве; многие комиссии не рекомендуют чрезмерно на него опираться.
Допустимо ли указывать импакт-факторы журналов в резюме?
Не рекомендуется. DORA прямо не советует использовать импакт-фактор журнала для оценки отдельных исследований, поскольку он измеряет журнал, а не вашу статью.