Научный журнал

Успехи современного естествознания

ISSN 1681-7494

"Перечень" ВАК

ИФ РИНЦ = 0,775

• Авторы
• Резюме
• Файлы
• Ключевые слова
• Литература

Вялков А.И. 1 Глухова Е.А. 1 Орлова Н.А. 1

---

1 ФГБОУ «Первый Московский государственный медицинский университет им. И.М. Сеченова»

В работе обоснованы задачи разработки аналитической системы результативности научной деятельности и рейтинга государственного медицинского вуза на принципах системного подхода и совокупности технических решений, относящихся к программному комплексу, для оптимизации управления эффективностью научной деятельности.

Статья в формате PDF

254 KB

научная медицинская организация

программный комплекс

информационно-коммуникационные технологии

технические решения

1. Бедный Б.И., Сорокин Ю.М. О показателях научного цитирования и их применении // Высшее образование в России. – 2012. – № 3. – С. 17–28.

2. Вялков А.И., Глухова Е.А. Проектирование системы менеджмента качества научной медицинской деятельности: единая технология улучшения процессов. Здравоохранение Российской Федерации. – 2012. – № 3. – С. 3–6.

3. Вялков А.И., Глухова Е.А. Стандартизованная аналитическая технология оценки результативности и потенциала научно-инновационной деятельности на уровне организации. Проблемы стандартизации в здравоохранении. – 2013. – № 1–2. – С. 3–8.

4. Вялков А.И., Глухова Е.А. Оценка качества научно-исследовательской деятельности медицинской организации с помощью наукометрических показателей. Здравоохранение Российской Федерации. – 2013. – № 3. – С. 3–5.

5. Глыбочко П.В., Свистунов А.А., Николенко В.Н., Логинов Б.Р. Стратегия развития инновационной системы «Электронные информационные ресурсы» для медицинского образования и вузовской науки // Медицинское образование и вузовская наука. – 2013. – № 1. – С. 20–26.

6. Горохов В.Г. Проблема измерения продуктивности отдельных ученых и целых институтов // Управление большими системами. – 2013. – № 44 – С. 190–209.

7. Иванченко Д.А. Оптимизация построения информационной системы управления вузом: концептуальные подходы // Университетское управление: практика и анализ. – 2011. – № 2. – С. 40–48.

8. Ищук Т.Л. Дорожные карты российских вузов как инструмент повышения их конкурентоспособности. Проблемы учета и финансов. – 2013. – № 3 (11). – С. 53–55.

9. Мартынчик С.А., Глухова Е.А., Галустова Л.Р. Требования к построению системы для оценки результативности и потенциала научной деятельности на уровне организации. Социальные аспекты здоровья населения. – 2013. – Т. 32, № 4 (32). – С. 10.

10. Москалева О.В. Использование наукометрических показателей для оценки научной деятельности. Науковедческие исследования. – 2013. – № 2013. – С. 85–109.

11. Николенко В.Н., Вялков А.И., Мартынчик С.А., Глухова Е.А., Фомичева О.А. Индексы научного позиционирования для оценки публикационной активности и рейтинга медицинского вуза. Методические рекомендации. Москва, Первый МГМУ им. И.М. Сеченова, 2013. – 30 с.

12. Николенко В.Н., Вялков А.И., Мартынчик С.А., Глухова Е.А. Подходы к оценке эффективности и способы стимулирования публикационной активности в крупном медицинском вузе // Высшее образование в России. – 2014. – № 10. – С. 18–25.

13. Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ. – М., 1989. – 367 с.

14. Писляков В.В. Методы оценки научного знания по показателям цитирования // Социологический журнал. – 2007. – № 1. – С. 128–140.

15. Штовба С.Д., Штовба Е.В. Обзор наукометрических показателей для оценки публикационной деятельности ученого // Управление большими системами. – 2013. – № 44. – С. 262–278.

16. Яблонский А.И. Модели и методы исследования науки. – М., 2001. – 400 с.

17. Measuring research. A guide to research evaluation frameworks and tools (http://www.rand.org/pubs/monographs/MG1217.html).

В последнее время интерес к разработке методологии оценки результативности научной деятельности увеличивается во всем мире. Примером тому может служить выполненный в 2013 году организацией RAND Europe проект для ассоциации американских медицинских колледжей [17].

Разработки подобных методологий ведутся в ряде российских ВУЗов (ВШЭ, МГУ), организациях, осуществляющих мониторинг программы «5–100» [10, 14].

В настоящее время можно констатировать необходимость создания развитой системы для оценки результативности научной деятельности и рейтинга на уровне медицинского вуза (далее организация).

Объективными предпосылками выполнения проектирования системы являются [1, 2, 5, 7, 8, 12]:

• конкуренция за государственное финансирование (число исследований растет, доступные бюджеты уменьшаются);
• конкуренция за ключевые позиции в университетах также растет;
• необходимость контроля затрат на исследования и рентабельности инвестиций;
• необходимость доказательства качества исследований в вузе (для привлечения новых студентов, новых научных сотрудников, инвестиций).

Как результат – организация нуждаются в объективных данных для оценки медицинской науки, для принятия решений о дальнейшем развитии [3, 4, 6,].

Проект направлен на технические решения по созданию системы оценки результативности научной деятельности и рейтинга организации на полном массиве публикаций объекта исследования (автор, структурное подразделение, научная организация, научный журнал) в индексах научного цитирования РИНЦ и SCOPUS.

Рабочая гипотеза исследования: формализация измерений по набору показателей публикационной активности организации и авторов, использование стандартных операций и процедур нормирования, ранжирования и их алгоритмизация повысят объективность и адекватность оценки, устойчивость к изменениям данных.

Цель исследования – обоснование подходов к проектированию аналитической системы оценки результативности научных исследований и рейтинга организации на принципах стандартизации технологий и иных технологических решений, систематизированных для обработки с помощью программы ЭВМ.

Задачи исследования:

1. Формирование базы данных организации по совокупности систематизированных данных научных публикаций в РИНЦ и SCOPUS и ее государственная регистрация.

2. Научное обоснование и разработка полезной модели оценки научной деятельности и рейтинга организации и авторов по совокупности существенных признаков, влияющих на результат, и относящейся к программному устройству.

3. Разработка программы ЭВМ для получения результата и построения аудиовизульных отображений.

Методы, которые будут использоваться для решения задач проектирования: системный подход и системный анализ, организационное моделирование, тестирование [13, 16].

Основные результаты реализации проекта направлены на:

• формирование и стабилизацию базы данных организации по полному массиву публикаций;
• построение модели и разработку автоматизированной системы рейтинговой оценки результативности научно-инновационной деятельности;
• разработку программы развития научного потенциала организации (положение об аттестации НПР, положение о материальном стимулировании, формирование дорожной карты);
• формирование системы индикаторов публикационной активности для аттестации научно-педагогических работников;
• создание перечня рекомендуемых авторитетных журналов для научных публикаций и их ранжирование.

Значимость ожидаемых результатов реализации проекта для организации заключается:

• в объективизации оценки научно-инновационной деятельности по совокупности индикаторов, влияющих на конечный результат;
• в создании системы инновационного менеджмента и программы развития организации.

К приоритетам научных исследований и разработок следует отнести [9, 11, 15]:

• разработку метрик индекса цитирования и позиционирования автора и организации по показателям продуктивности, наблюдаемым и ожидаемым показателям воздействия;
• разработку методики расчета интегрального показателя (рейтинга) научного журнала в рейтинге РИНЦ, гармонизированного с показателями международных индексов цитирования SCOPUS;
• разработку системы рейтинга авторов и организации по набору нормированных и средних значений параметров оценки;
• разработку технологии организации электронного репозитария публикаций для оптимизации управления организацией.

Подходы, которые будут использоваться для реализации технологических решений:

На I этапе:

• научная постановка задачи, которая содержит формулировку проблемы, цели и рабочую гипотезу исследований;
• изучение лучших российских и международных практик по созданию систем для оценки результативности научной деятельности организаций;
• формирование набора библиометрических показателей, которые будут включены в алгоритмы обработки данных. Предполагается использование как существующих показателей в наукометрических системах РИНЦ и SCOPUS, так и разработка на их основе интегральных мультикритериальных индикаторов;
• для публикаций сотрудников университета из журналов, индексируемых в базе данных SCOPUS, предлагается учитывать квартиль журнала в его предметной рубрике, показатели SJR и SNIP2;
• для публикаций из журналов, индексируемых в РИНЦ, предлагается учитывать вхождение журнала в «ядро РИНЦ» (тысяча лучших российских журналов; данный список в данный момент находится в разработке), значение интегрального показателя Science Index для научного журнала и другие;
• для данных из обеих систем предполагается проведение нормирования по цитированию (среднему и/или медианному) в рамках предметной области;
• для дополнительного ранжирования журналов возможно проведение экспертного опроса. На основе ее результатов предлагается также сформировать «стоп-лист» журналов, публикации в которых не будут учитываться при расчете результативности научной деятельности. Создание такого списка журналов будет иметь ряд позитивных последствий для университета: концентрация усилий сотрудников на публикациях в более сильных журналах, повышение имиджа университета.

На II этапе:

• формирование и стабилизация базы данных в РИНЦ по публикациям авторов, структурных подразделений, научной организации, публикаций в научных журналах;
• разработка полезной модели и алгоритма рейтинга организации по темпоральным индикаторам оценки, проверка по критериям «надежность», «валидность», «адекватность»;

На III этапе:

• разработка программы ЭВМ для обработки полного массива публикаций, относящихся к динамическим объектам (автор, научная группа, научная организация, научные журналы).

Новизна проекта заключается:

• в соответствии полезной модели условию патентноспособности «новизна» по условиям промышленной применимости и новизни совокупности существенных признаков, влияющих на конечный результат (отсутствие сведений об идентичном техническом решении);
• в использовании методологии темпорального анализа индикаторов для произвольного массива научных публикаций во взаимосвязи с описанием динамических объектов (автор, группа, организация, научные журналы);
• в разработке адекватной измерительной шкалы (шкала наименований, порядков, интервалов, отношений и их модификации), при этом при построении агрегативных показателей следует учитывать информационные различия в шкалах базовых показателей.

В рамках данного проекта планируется создание соответствующей мировым стандартам аналитической системы оценки результативности научной деятельности в научной медицинской организации с перспективой внедрения в других научных медицинских организациях страны (впервые в России).

Заключение

1. Научно обоснованы задачи развития проекта «Разработка аналитической системы оценки результативности научной деятельности и рейтинга медицинского вуза» на принципах единой технологии стандартизации, нормирования и ранжирования показателей в рамках предметной области для повышения объективности и адекватности оценки, устойчивости к изменениям данных.

2. Показано, что наиболее перспективным направлением в решении комплекса задач проекта является разработка модели, формирование набора библиометрических показателей, их алгоритмизация, разработка на их основе интегральных мультикритериальных индикаторов, применяемых для анализа публикаций автора, публикаций научной организации, публикаций в научном журнале.

3. Разработаны требования к выбору показателей оценки результативности научной деятельности: измеримые и достоверные данные, достижимые и предсказуемые результаты, с акцентом на действенность, продуктивность и эффективность.

4. Разработка аналитической системы на основе стандартизованных методов позволит провести сравнительный анализ результативности научной деятельности между подразделениями, научными группами, дисциплинами как внутри медицинского вуза, так и между медицинскими вузами в контексте стратегических решений развития и распределения ресурсов.

Библиографическая ссылка