В последнее время интерес к разработке методологии оценки результативности научной деятельности увеличивается во всем мире. Примером тому может служить выполненный в 2013 году организацией RAND Europe проект для ассоциации американских медицинских колледжей [17].
Разработки подобных методологий ведутся в ряде российских ВУЗов (ВШЭ, МГУ), организациях, осуществляющих мониторинг программы «5–100» [10, 14].
В настоящее время можно констатировать необходимость создания развитой системы для оценки результативности научной деятельности и рейтинга на уровне медицинского вуза (далее организация).
Объективными предпосылками выполнения проектирования системы являются [1, 2, 5, 7, 8, 12]:
- конкуренция за государственное финансирование (число исследований растет, доступные бюджеты уменьшаются);
- конкуренция за ключевые позиции в университетах также растет;
- необходимость контроля затрат на исследования и рентабельности инвестиций;
- необходимость доказательства качества исследований в вузе (для привлечения новых студентов, новых научных сотрудников, инвестиций).
Как результат – организация нуждаются в объективных данных для оценки медицинской науки, для принятия решений о дальнейшем развитии [3, 4, 6,].
Проект направлен на технические решения по созданию системы оценки результативности научной деятельности и рейтинга организации на полном массиве публикаций объекта исследования (автор, структурное подразделение, научная организация, научный журнал) в индексах научного цитирования РИНЦ и SCOPUS.
Рабочая гипотеза исследования: формализация измерений по набору показателей публикационной активности организации и авторов, использование стандартных операций и процедур нормирования, ранжирования и их алгоритмизация повысят объективность и адекватность оценки, устойчивость к изменениям данных.
Цель исследования – обоснование подходов к проектированию аналитической системы оценки результативности научных исследований и рейтинга организации на принципах стандартизации технологий и иных технологических решений, систематизированных для обработки с помощью программы ЭВМ.
Задачи исследования:
1. Формирование базы данных организации по совокупности систематизированных данных научных публикаций в РИНЦ и SCOPUS и ее государственная регистрация.
2. Научное обоснование и разработка полезной модели оценки научной деятельности и рейтинга организации и авторов по совокупности существенных признаков, влияющих на результат, и относящейся к программному устройству.
3. Разработка программы ЭВМ для получения результата и построения аудиовизульных отображений.
Методы, которые будут использоваться для решения задач проектирования: системный подход и системный анализ, организационное моделирование, тестирование [13, 16].
Основные результаты реализации проекта направлены на:
- формирование и стабилизацию базы данных организации по полному массиву публикаций;
- построение модели и разработку автоматизированной системы рейтинговой оценки результативности научно-инновационной деятельности;
- разработку программы развития научного потенциала организации (положение об аттестации НПР, положение о материальном стимулировании, формирование дорожной карты);
- формирование системы индикаторов публикационной активности для аттестации научно-педагогических работников;
- создание перечня рекомендуемых авторитетных журналов для научных публикаций и их ранжирование.
Значимость ожидаемых результатов реализации проекта для организации заключается:
- в объективизации оценки научно-инновационной деятельности по совокупности индикаторов, влияющих на конечный результат;
- в создании системы инновационного менеджмента и программы развития организации.
К приоритетам научных исследований и разработок следует отнести [9, 11, 15]:
- разработку метрик индекса цитирования и позиционирования автора и организации по показателям продуктивности, наблюдаемым и ожидаемым показателям воздействия;
- разработку методики расчета интегрального показателя (рейтинга) научного журнала в рейтинге РИНЦ, гармонизированного с показателями международных индексов цитирования SCOPUS;
- разработку системы рейтинга авторов и организации по набору нормированных и средних значений параметров оценки;
- разработку технологии организации электронного репозитария публикаций для оптимизации управления организацией.
Подходы, которые будут использоваться для реализации технологических решений:
На I этапе:
- научная постановка задачи, которая содержит формулировку проблемы, цели и рабочую гипотезу исследований;
- изучение лучших российских и международных практик по созданию систем для оценки результативности научной деятельности организаций;
- формирование набора библиометрических показателей, которые будут включены в алгоритмы обработки данных. Предполагается использование как существующих показателей в наукометрических системах РИНЦ и SCOPUS, так и разработка на их основе интегральных мультикритериальных индикаторов;
- для публикаций сотрудников университета из журналов, индексируемых в базе данных SCOPUS, предлагается учитывать квартиль журнала в его предметной рубрике, показатели SJR и SNIP2;
- для публикаций из журналов, индексируемых в РИНЦ, предлагается учитывать вхождение журнала в «ядро РИНЦ» (тысяча лучших российских журналов; данный список в данный момент находится в разработке), значение интегрального показателя Science Index для научного журнала и другие;
- для данных из обеих систем предполагается проведение нормирования по цитированию (среднему и/или медианному) в рамках предметной области;
- для дополнительного ранжирования журналов возможно проведение экспертного опроса. На основе ее результатов предлагается также сформировать «стоп-лист» журналов, публикации в которых не будут учитываться при расчете результативности научной деятельности. Создание такого списка журналов будет иметь ряд позитивных последствий для университета: концентрация усилий сотрудников на публикациях в более сильных журналах, повышение имиджа университета.
На II этапе:
- формирование и стабилизация базы данных в РИНЦ по публикациям авторов, структурных подразделений, научной организации, публикаций в научных журналах;
- разработка полезной модели и алгоритма рейтинга организации по темпоральным индикаторам оценки, проверка по критериям «надежность», «валидность», «адекватность»;
На III этапе:
- разработка программы ЭВМ для обработки полного массива публикаций, относящихся к динамическим объектам (автор, научная группа, научная организация, научные журналы).
Новизна проекта заключается:
- в соответствии полезной модели условию патентноспособности «новизна» по условиям промышленной применимости и новизни совокупности существенных признаков, влияющих на конечный результат (отсутствие сведений об идентичном техническом решении);
- в использовании методологии темпорального анализа индикаторов для произвольного массива научных публикаций во взаимосвязи с описанием динамических объектов (автор, группа, организация, научные журналы);
- в разработке адекватной измерительной шкалы (шкала наименований, порядков, интервалов, отношений и их модификации), при этом при построении агрегативных показателей следует учитывать информационные различия в шкалах базовых показателей.
В рамках данного проекта планируется создание соответствующей мировым стандартам аналитической системы оценки результативности научной деятельности в научной медицинской организации с перспективой внедрения в других научных медицинских организациях страны (впервые в России).
Заключение
1. Научно обоснованы задачи развития проекта «Разработка аналитической системы оценки результативности научной деятельности и рейтинга медицинского вуза» на принципах единой технологии стандартизации, нормирования и ранжирования показателей в рамках предметной области для повышения объективности и адекватности оценки, устойчивости к изменениям данных.
2. Показано, что наиболее перспективным направлением в решении комплекса задач проекта является разработка модели, формирование набора библиометрических показателей, их алгоритмизация, разработка на их основе интегральных мультикритериальных индикаторов, применяемых для анализа публикаций автора, публикаций научной организации, публикаций в научном журнале.
3. Разработаны требования к выбору показателей оценки результативности научной деятельности: измеримые и достоверные данные, достижимые и предсказуемые результаты, с акцентом на действенность, продуктивность и эффективность.
4. Разработка аналитической системы на основе стандартизованных методов позволит провести сравнительный анализ результативности научной деятельности между подразделениями, научными группами, дисциплинами как внутри медицинского вуза, так и между медицинскими вузами в контексте стратегических решений развития и распределения ресурсов.
Библиографическая ссылка
Вялков А.И., Глухова Е.А., Орлова Н.А. ПРОЕКТИРОВАНИЕ АНАЛИТИЧЕСКОЙ СИСТЕМЫ ОЦЕНКИ РЕЗУЛЬТАТИВНОСТИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ И РЕЙТИНГА МЕДИЦИНСКОГО ВУЗА: ТЕХНИЧЕСКИЕ РЕШЕНИЯ // Успехи современного естествознания. – 2015. – № 3. – С. 31-34;URL: https://natural-sciences.ru/ru/article/view?id=34731 (дата обращения: 17.08.2024).