Газета Троицкий Вариант 45 (19_01_2010)
Шрифт:
Особенно, если в стране проблемы с коррупцией, а внешнюю экспертизу по каким-то причинам проводить не хотят. В такой ситуации хочется целиком перейти в «цифровой формат» — на систему начисления баллов. В нашей стране результатом такого желания стало поручение Президента двум уважаемым министрам подготовить предложения по использованию индекса цитируемости при оценке результативности работы ученых. Здесь есть рациональное зерно — в России, по всей видимости, без формальной оценки пока не обойтись. Но все ли можно свести к ней?
Вернемся к нашим спортивным аналогиям. Если наука хоть в чем-то похожа на спорт, то уж точно не на бег или другие «простые», в смысле оценки, дисциплины. К тому же даже при оценке результатов легкоатлетов нельзя пользоваться одним критерием: кто-то толкнул ядро на 20 м, кто-то прыгнул
Но все равно ученые — не бегуны. Они... они ... — сочетание чего-то противоречивого. Они ... Летающие лыжники! Как же начисляют очки прыгунам с трамплина? В итоговую оценку входит и формальный критерий (как далеко улетел), и несколько оценок судей, которые особым образом складываются и усредняются. Оцениваются полет, приземление и «руление» до остановки. Вот и в науке хочется иметь разумное сочетание формального критерия (ведь победителем по прыжкам не должен становиться тот, кто прыгнул красиво, но ближе всех) с оценкой экспертов. О том, какие подходы можно использовать при использовании формальных критериев в оценке результативности научной работы, в следующей статье 25 рассуждают авторы ТрВ.
25
/2010/01/19/chto-delat-s-indeksom-citirovaniya/
Что делать с индексом цитирования?
Как известно, в ноябре 2009 г. Президент РФ дал поручение министру образования и науки Андрею Фурсенко и министру экономического развития и торговли Эльвире Набиуллиной до 1 февраля 2010 г. представить предложения по использованию индекса цитирования для оценки эффективности работы ученых. В предлагаемом ниже материале Михаил Гельфанд, Евгений Онищенко и Сергей Попов рассуждают о том, как и в каких случаях разумно применять разные библиометрические критерии.
50
http://trv-science.ru/2010/01/19/chto-delat-s-indeksom-citirovaniya/#respond
Неоднократно обсуждалось, в том числе и в «Троицком варианте», что в российской ситуации, когда организовать полноценную научную экспертизу зачастую достаточно сложно, в качестве временного средства можно использовать формальные критерии. Действительно, в настоящее время никакие научные регалии (вплоть до докторских степеней и членства в Академии наук) не гарантируют высокого научного уровня потенциального эксперта: докторами наук порой становятся люди без публикаций в нормальных рецензируемых журналах, а в члены РАН иногда избираются (даже в области естественных наук!) ученые, чей индекс цитирования не превышает 20. Если в ряде научных направлений еще сохраняются дееспособные сообщества, то во многих других направлениях специалистов мирового уровня очень мало, а то и вовсе нет. При этом внешние признаки научной активности — статьи, диссертации, монографии — вполне могут наличествовать.
В таких условиях библиометрические показатели (в частности, индекс цитирования — citation index), извлекаемые из общепризнанных международных баз данных, являются мощным инструментом при экспертной оценке работы отдельных ученых и научных коллективов, в первую очередь для естественных наук. Они позволяют также независимо контролировать результаты экспертизы. Однако следует понимать, что эффективное применение этого инструмента требует как тщательно разработанных процедур и регламента,
Особенно важно это для России. Опыт последних лет показывает, что в сфере науки в России даже правильные идеи иногда воплощаются в жизнь половинчато и бессистемно, что снижает эффективность принимаемых мер и дискредитирует идею разумных реформ, которые на самом деле остро необходимы. Ярким примером такого «государственного» подхода является реализация ФЦП «Научные и научно-педагогические кадры инновационной России». В условиях существующей нормативной базы (в первую очередь — непригодного для регулирования научных конкурсов Федерального закона 94-ФЗ) и неспособности государственных заказчиков Программы разработать удобный для заявителя и эксперта комплект конкурсных документов не удалось обеспечить поддержку именно лучших научных групп и отдельных молодых исследователей. Об этом также неоднократно писалось на страницах ТрВ-Наука, см., например, [1].
www.elsevier.com/framework_editors/pdfs/Perspectives1.pdf
Применение библиометрических показателей требует специфической осторожности. Кажущаяся простота численных индикаторов в комбинации со слабостью системы научной экспертизы в России создает искушение полностью заменить библиометрией экспертную оценку. Свести оценку результативности научной работы к одному — «международно признанному» — числу, что может быть проще и удобнее для чиновника? Как показывают исследования ряда специалистов в странах, где такая тенденция сильна [2], это неправильный подход. Библиометрические показатели должны использоваться не столько сами по себе, сколько в качестве элемента экспертной оценки: индекс цитирования — хороший слуга, но плохой хозяин. Кроме того, следует учитывать особенности структуры цитирований в различных областях науки, что часто проще делать в «ручном режиме».
51
http://trv-science.ru/2010/01/19/chto-delat-s-indeksom-citirovaniya/45n-2/
Ключевым моментом для выработки разумных правил использования библиометрических показателей является отход от стандартной чиновничьей практики выработки решений. Для разработки методических основ и регламентов применения библиометрических показателей следует создать рабочие группы с существенным представительством ведущих ученых из разных областей науки, в том числе имеющих опыт работы за рубежом. Проекты должны пройти общественное обсуждение, причем не только на специально подобранных круглых столах, но и в научной периодике, в профильных научных сообществах, на форумах и т.д.
Нам кажется, что в качестве отправного пункта для обсуждений можно было бы использовать следующие соображения.
Во-первых, необходимо использование всей совокупности библиометрических показателей: индекса цитирования, числа публикаций в зависимости от импакт-фактора журнала, индекса Хирша и т.д. Некорректно сводить научную репутацию к одному числу.
Во-вторых, эксперт должен быть обеспечен не только суммарными и интегрированными показателями, но и доступом к исходным данным о цитировании, т.е. к ведущим мировым базам данных (Web of Science, Scopus). В качестве дополнительных источников, специально оговаривая и мотивируя это, можно использовать другие базы, особенно открытые, в частности базу AMS в математике, NASA ADS — в астрономии, SPIRES SLAC — в физике высоких энергий, PubMed — в биологии и медицине. Использование базы РИНЦ (Российский индекс научного цитирования) в настоящий момент недопустимо, поскольку она неполна и составлена несистематическим образом. Как показывает выборочный анализ по отдельным институтам и авторам, в этой базе данных могут отсутствовать наиболее цитируемые статьи, даже опубликованные в отечественных журналах [3]. Встречаются вопиющие различия в данных о российских ученых в РИНЦ и базами Scopus и Web of Science, когда цитирование российских ученых в РИНЦ занижено (иногда в сотни раз!). Эти же данные должны быть общедоступны для мониторинга экспертизы и ее контроля.