Научная эффективность в работе
Шрифт:
Третья группа проявлений кризиса представляет собой закономерную реакцию научного сообщества на то разрушительное воздействие, которое производит одностороннее использование формализованной сети научных публикаций в качестве универсального критерия оценки. К этой реакции относятся различного рода игры с показателями, например публикационная инфляция, не всегда оправданное увеличение числа соавторов, известный метод salami slicing и т. п. 38 Здесь имеет место зеркальная ситуация относительно первой группы проявлений. Если управляющие наукой субъекты перестают видеть за публикацией интересы ученых и научные практики ее создающие, то научное сообщество также начинает относиться к публикации скорее как к объекту цитирования, чем как к посреднику, позволяющему сделать собственную мысль доступной другому. Конечно же, данная тенденция отнюдь не доминирует в современном научном сообществе, но присутствие ее сложно отрицать. Непосредственно связано с указанной реакцией пренебрежительное отношение ученых к требованию эффективности, отсутствие серьезной рефлексии возможностей применения и общественного воздействия результатов собственных исследований. Негативное восприятие теперь уже внешнего требования эффективности, в свою очередь, выражается в проблематичности диалога научного сообщества с любыми аутсайдерами, будь то научный менеджмент или публика, относительно которой часто сохраняется позиция элитарного экспертного сообщества.
38
Elliott D. B. Salami slicing and the SPU: Publish or Perish? // Ophthalmic and Physiological Optics. 2013. N 33 (6). P. 625–626; Фуллер
Первым знаком того, что научное сообщество стоит на пути решения проблемы становится его ответственная работа над обнаружением для управляющих наукой субъектов, судящих о науке извне, тех скрытых отношений, кои являются условием создания публикации 39 , а также формирование предложений по уменьшению искажений, связанных с использованием наукометрии. Предложения эти можно условно разделить на три группы: 1) усовершенствование существующих метрик (уточнение показателей, в том числе с целью учета вариативности различных направлений исследования) 40 ; 2) работа над качественной экспертной оценкой – обоснование ее предпочтительной значимости и возможностей сравнения результатов экспертизы 41 ; 3) предложения альтернативной (дополнительной) метрики, связанной с общественной видимостью результатов научных исследований 42 .
39
Даже простое перечисление всех источников, критикующих воздействие наукометрии на научную деятельность и обнаруживающих то существенное, что остается неучтенным, представляет собой почти бесконечную задачу. Отчасти вклад в ее выполнение был внесен созданием «Аналитического обзора состояния проблемы эффективности научных исследований». URL:.pdf (дата обращения: 20.12.2017).
40
Mingers J. Leydesdorff L. A Review of Theory and Practice in Scientometrics // European Journal of Operational Research. 2015. Vol. 246, N 1. P. 1–19; Руководство по наукометрии: индикаторы развития науки и технологий / М. А. Акоев, В. А. Маркусова, О. В. Москалева, В. В. Писляков. Екатеринбург: Изд-во Уральского ун-та, 2014.
41
Hicks D., Wouters P., Waltman L., Rijcke S., Rafols I. Bibliometrics: The Leiden Manifesto for Research Metrics // Nature. 2015. Vol. 520, N 7548. P. 429–431; Левин В. И. Библиометрические показатели или экспертные оценки: как оценивать результаты научной деятельности // Современное образование. 2016. № 4. С. 11–28.
42
Priem J., Taraborelli P., Groth P., Neylon C. Altmetrics: A manifesto. 2010. URL:(дата обращения: 20.06. 2017); Чеботарева Е. Э. Научные исследования в контексте цифровой экономики // International Journal of Open Information Technologies. 2017. Vol. 5, N 11. P. 36–40.
Для успешности этой работы необходима корректировка целевых ориентаций актуальной научной политики. Вопрос об эффективности и ответ на него должны учитывать интересы всех субъектов и конкретные пути развития научных исследований. Распределение финансирования или достижение международного признания государства не могут быть единственными целями научной политики, хотя и должны быть включены в общее поле интересов. Признание общности целей на словах на деле означает обращение к предложениям консолидированного гражданского общества (и научного сообщества как его части) в принятии решений, обязательность открытых обсуждений процедур, связанных с оценкой эффективности, использование в управлении тех форм представления результатов научной деятельности, которые сами ученые признают значимыми. Метрики эффективности должны отвечать интересам различных общественных субъектов: распределяющих государственное и негосударственное финансирование, принимающих кадровые решения, изучающих науку, репрезентирующих собственные исследования для публики и коллег, заинтересованных в научных экспертизах и т. п. Следует, однако, заметить, что, если тенденции осуществления научной политики в современной России будут определяться укреплением властной вертикали и увеличением бюрократического аппарата, реализация данного условия останется достаточно проблематичной.
Поскольку для восстановления медиального статуса репрезентации науки необходимо обеспечить учет всех заинтересованных субъектов, она должна быть такой, чтобы, с одной стороны, представлять многообразие различные направлений исследований, а с другой – предполагать возможность их сравнения в целях изучения и управления наукой. Ниже будет представлен эскиз такой возможной системы репрезентации научной деятельности, которая одновременно может служить и инструментом оценки. О том, что данное представление не является утопией, свидетельствует использование в качестве его основания уже описанных критических исследований, а также некоторых действующих и планируемых к использованию систем 43 .
43
В первую очередь задействованы системы репрезентации и оценки, используемые в Великобритании. Во-первых, Research Excellence Framework, которая была введена для оценки научных и образовательных организаций в 2014 году и с этого момента активно обсуждается ее участниками и наблюдателями (URL:(дата обращения: 20.12.2017)). Экспертная оценка – основное орудие этой системы. Во- вторых, система Snowball Metrics. Главной особенностью ее является то, что она вводится снизу и служит прежде всего интересам самого научного сообщества, его внутренней и внешней репрезентации. Характерно, что продвижение этой системы для использования фондами и администраторами с целью оценки научных исследований и распределения финансирования также признается делом самого научного сообщества (Snowball Metrics Recipe Book / L. Colledge. URL:(дата обращения: 20.12.2017)). Нельзя не отметить одну любопытную деталь, относящуюся к применению основных элементов этой системы в России – позиционирование ее в первую очередь в качестве основания управления (Соболев В. А. PURE: Централизованная система управления научными исследованиями. Презентация. URL:ru/blog/wp-content/uploads/2015/04/PUREHostedEditionValueStory2014. pdf (дата обращения: 10.12.2017)).
В основе данной системы первый уровень – личный профиль ученого, репрезентирующий содержание и результаты его исследований. В него включаются все группы показателей эффективности, признаваемые самим научным сообществом. Среди них: награды и иные показатели репутации, полученное финансирование, аннотации исследований и проектов, группы различных публикаций, научное сотрудничество (конференции и общества), экспертная деятельность, патенты и свидетельства применения, выпускники и т. п. Публикации оказываются одним из показателей, причем обязательно предполагается их дифференциация: группы монографий, статей в рецензируемых журналах, статей в сборниках материалов конференций, архивных публикаций, переводов. Значимость той или иной группы определяется каждым конкретным сообществом. Особое место среди этих показателей занимает популяризация научной деятельности, представленная публикациями и выступлениями в различных СМИ. Группы показателей могут дополняться и изменяться в результате достигнутого в научном сообществе консенсуса и заполняются каждым ученым. Содержание этого уровня в первую очередь служит самим ученым, обеспечивая репрезентацию их деятельности и облегчая осуществление некоторых бюрократических процедур. Так, оно используется для автоматического генерирования отчетов, подбора экспертов для работы в фондах и журналах (методом структурно-семантического анализа текстов публикаций), нахождения коллег для сотрудничества. Оно же должно служить основанием для оценки, производимой на следующих уровнях. При этом оказываются представленными все возможные сферы деятельности ученого,
44
Отчасти такая полнота показателей представлена в действующей в МГУ системе ИСТИНА (Интеллектуальная Система Тематического Исследования НАукометрических данных) (URL:(дата доступа: 20.12.2017)). Однако в связи с ограниченной видимостью материалов данной системы за пределами самого сообщества ее функции репрезентации недостаточны. Среди конструктивных моментов разработки и использования ИСТИНЫ следует отметить то, что в формировании групп значимых показателей действительно принимало участие научное сообщество МГУ и что эти показатели различаются в зависимости от направления исследований.
Второй уровень – экспертная оценка содержания первого уровня (индивидуальной работы ученого или коллективов), которая может быть использована при решении кадровых вопросов, а также при выделении дополнительного финансирования. Параметры этой оценки квантифицируются как в любой экспертной анкете, однако сама эта квантификация (уровни оценки каждой группы показателей) подлежит предварительному обсуждению в научном сообществе 45 . При этом учитываются все аспекты эффективности ученого, а сравнение осуществляется между показателями одной и той же группы. Количественное значение каждой группы показателей различается соответственно направлению научных исследований 46 , причем устанавливается единое суммарное максимальное значение всех групп показателей. Вариативность групп показателей важна не только для ученых. Например, принятие во внимание только группы формализованной публикационной активности создает так называемую публикационную инфляцию, вряд ли служащую интересам науки и управляющих наукой структур. Кроме того, условием высоких показателей репутации, играющих роль в международных рейтингах, в которых соответственно заинтересовано и государство, часто в большей степени служит неформальная научная коммуникация.
45
На данном уровне речь идет о качественном измерении, позволяющем сравнивать индивидуальных ученых или коллективы, «выстраивая их в ряд относительно измеряемого свойства» (Хайтун С. Д. Наукометрия. Состояние и перспективы. М.: Наука, 1983. С. 15).
46
Например, одно сообщество придает большее значение монографиям, другое – статьям в журналах. Для одного больший вес имеют объемы привлеченного финансирования, для другого – экспертная деятельность.
Третий уровень относится к оценке работы организаций. В этой ситуации также имеет значение сравнение одних и тех же групп показателей, поскольку это дает возможность увидеть сильные и слабые стороны каждой организации, вычленить основное направление ее деятельности. Квантификация показателей, обеспечивающая уже количественное, а не качественное измерение и сравнение, оказывается предметом работы специалистов, но не самих ученых. Следует подчеркнуть, что цели такого рода оценки могут быть различны: распределение финансирования может быть ориентировано на уничтожение слабых организаций и на поддержку сильных, на развитие того направления, которое на данный момент репрезентирует в большей степени деятельность организации. Однако слабая организация может и не быть слабой в полной мере, если принимать в расчет вариативность показателей. Важным дополнительным, но не альтернативным ресурсом подсчета является альтметрика, позволяющая учитывать различные пути влияния той или иной работы – ее упоминания и обсуждения в социальных сетях, просмотры и скачивания. Именно альтметрика в большей степени демонстрирует репутацию того или иного ученого, функционирование его работ в качестве «мягкой силы», способствующей формированию общественного сознания, восприятия конкретного направления исследования, имиджа государства в целом 47 .
47
Чеботарева Е. Э. Гуманитарные исследования как ресурс мягкой силы: новый критерий эффективности? // Конфликтология. 2017. Т. 1. С. 239–250.
Существенная проблема при формировании указанной системы заключается в действительной связи уровней, поскольку они задаются интересами различных субъектов: учеными в первом случае, фондами и администрацией во втором и государством в третьем. В случае использования властного ресурса интересы государства могут проводиться и на втором уровне, как отчасти это происходит в современной России. Адекватное использование всего содержания первого уровня на втором и третьем – вряд ли достижимый идеал, поскольку в каждом случае на основании конкретного интереса выдвигается критерий оценки и основное измеряемое свойство. Движение к идеалу хотя и проблематично, но возможно, и в создании его условий ведущая роль также принадлежит научному сообществу. Приведем в завершение пример, демонстрирующий возможное пересечение интересов ученых и государства. Оценка его опять же ускользает от традиционной наукометрии и принадлежит исключительно качественной экспертизе.
Речь идет о том эффекте, который оказывает наука на формирование национальной идентичности. Он обеспечивал неслучайную связь науки и государства еще во времена реформы научных и образовательных учреждений Наполеоном после Французской революции и в эпоху создания немецкого классического университета. Именно ожидаемый общественный эффект, связанный с формированием национального самосознания, лежал тогда в основе признания автономии научных исследований государством. Такого же рода понимание роли науки в модернизации общества, причем не только в экономическом, но и в социальном и культурном контексте, движет научной политикой развивающихся государств XX века 48 . Вместе с тем совместной задачей науки и государства, особенно если речь идет об обществах, преодолевших колониальную зависимость, оказывается рационализация мышления, создание условий для восприятия научного эффекта, образование и просвещение, осознание цельности и достоинства собственного общества 49 .
48
Конкретные примеры значения научных исследований для формирования национальной идентичности в истории и современности см. в тематическом номере журнала Osiris (Osiris. 2009. Vol. 24, N 1), включая вводную статью: Harrison C. E., Johnson A. Introduction: Science and National Identity // Ibid. P. 1–14.
49
Любопытен возможный вклад, который вносит в формирование национальной идентичности, например, картографирование. Исследователи отмечают, что создание политических и экономических карт может служить условием формирования образа целостной, независимой государственной территории и самосознания нации на ней проживающей (Harrison C. E., Johnson A. Introduction: Science and National Identity. P. 7).
Конечно, для многих современных обществ формирование национальной идентичности – требование, звучащее из прошлого. Именно с утратой его актуальности связываются по преимуществу изменения в академическом мире и кризис классического университета 50 . Однако здесь можно говорить о формировании новой, постколониальной идентичности. В этом случае репрезентация научной деятельности производит иной, но тем не менее значимый эффект, если исследователями, например, подчеркивается не только и не столько очевидная связь науки с «фабрикой колониализма», сколько участие местных жителей, обладающих специфическим знанием мира в формировании научного знания 51 .
50
См.: Риддингс Б. Университет в руинах. М.: Издательский дом ГУ ВШЭ, 2010. 304 с.
51
Harrison C. E., Johnson A. Introduction: Science and National Identity. P. 9. О значении внимания к так называемому туземному, локальному знанию в формировании научной коммуникации, а также среды, в которой научной знание может производить эффект, см. главу 2 настоящей монографии.