Scientific journal
Advances in current natural sciences
ISSN 1681-7494
"Перечень" ВАК
ИФ РИНЦ = 0,775

Personal portfolio

OBJECTIVES DEVELOPMENT OF ANALYTICAL PERFORMANCE APPRAISAL SYSTEM AND RATING SCIENTIFIC ACTIVITY OF SCIENTIFIC MEDICAL ORGANIZATION: TECHNICAL SOLUTIONS

Vyalkov A.I. 1 Glukhova E.A. 1 Orlova N.A. 1
1 First Moscow State Medical University I.M. Sechenov
We justify the task of developing analytical system performance scientific innovation and the rating of the state of the medical school on the principles of a systematic approach and a set of technical solutions related to the software package to optimize the performance management of scientific activities.
scientific medical organization
program complex
information and communication technologies
technical solutions
1. Bednyj B.I., Sorokin Ju.M. O pokazateljah nauchnogo citirovanija i ih primenenii // Vysshee obrazovanie v Rossii. 2012. no. 3. рр. 17–28.
2. Vjalkov A.I., Gluhova E.A. Proektirovanie sistemy menedzhmenta kachestva nauchnoj medicinskoj dejatel’nosti: edinaja tehnologija uluchshenija processov. Zdravoohranenie Rossijskoj Federacii. 2012. no. 3. рр. 3–6.
3. Vjalkov A.I., Gluhova E.A. Standartizovannaja analiticheskaja tehnologija ocenki rezul’tativnosti i potenciala nauchno-innovacionnoj dejatel’nosti na urovne organizacii. Problemy standartizacii v zdravoohranenii. 2013. no. 1–2. рр. 3–8.
4. Vjalkov A.I., Gluhova E.A. Ocenka kachestva nauchno-issledovatel’skoj dejatel’nosti medicinskoj organizacii s pomoshh’ju naukometricheskih pokazatelej. Zdravoohranenie Rossijskoj Federacii. 2013. no. 3. рр. 3–5.
5. Glybochko P.V., Svistunov A.A., Nikolenko V.N., Loginov B.R. Strategija razvitija innovacionnoj sistemy «Jelektronnye informacionnye resursy» dlja medicinskogo obrazovanija i vuzovskoj nauki // Medicinskoe obrazovanie i vuzovskaja nauka. 2013. no. 1. рр. 20–26.
6. Gorohov V.G. Problema izmerenija produktivnosti otdel’nyh uchenyh i celyh institutov // Upravlenie bol’shimi sistemami. 2013. no. 44 рр. 190–209.
7. Ivanchenko D.A. Optimizacija postroenija informacionnoj sistemy upravlenija vuzom: konceptual’nye podhody // Universitetskoe upravlenie: praktika i analiz. 2011. no. 2. рр. 40–48.
8. Ischuk T.L. Dorozhnye karty rossijskih vuzov kak instrument povyshenija ih konkurentosposobnosti. Problemy ucheta i finansov. 2013. no. 3 (11). рр. 53–55.
9. Martynchik S.A., Gluhova E.A., Galustova L.R. Trebovanija k postroeniju sistemy dlja ocenki rezul’tativnosti i potenciala nauchnoj dejatel’nosti na urovne organizacii. Social’nye aspekty zdorov’ja naselenija. 2013. T. 32. no. 4 (32). р. 10.
10. Moskaleva O.V. Ispol’zovanie naukometricheskih pokazatelej dlja ocenki nauchnoj dejatel’nosti. Naukovedcheskie issledovanija. 2013. no. 2013. рр. 85–109.
11. Nikolenko V.N., Vjalkov A.I., Martynchik S.A., Gluhova E.A., Fomicheva O.A. Indeksy nauchnogo pozicionirovanija dlja ocenki publikacionnoj aktivnosti i rejtinga medicinskogo vuza. Metodicheskie rekomendacii. Moskva, Pervyj MGMU im. I.M. Sechenova, 2013. 30 р.
12. Nikolenko V.N., Vjalkov A.I., Martynchik S.A., Gluhova E.A. Podhody k ocenke jeffektivnosti i sposoby stimulirovanija publikacionnoj aktivnosti v krupnom medicinskom vuze // Vysshee obrazovanie v Rossii. 2014. no. 10. рр. 18–25.
13. Peregudov F.I., Tarasenko F.P. Vvedenie v sistemnyj analiz. M., 1989. 367 р.
14. Pisljakov V.V. Metody ocenki nauchnogo znanija po pokazateljam citirovanija // Sociologicheskij zhurnal. 2007. no. 1. рр. 128–140.
15. Shtovba S.D., Shtovba E.V. Obzor naukometricheskih pokazatelej dlja ocenki publikacionnoj dejatel’nosti uchenogo // Upravlenie bol’shimi sistemami. 2013. no. 44. рр. 262–278.
16. Jablonskij A.I. Modeli i metody issledovanija nauki. M., 2001. 400 р.
17. Measuring research. A guide to research evaluation frameworks and tools (http://www.rand.org/pubs/monographs/MG1217.html).

В последнее время интерес к разработке методологии оценки результативности научной деятельности увеличивается во всем мире. Примером тому может служить выполненный в 2013 году организацией RAND Europe проект для ассоциации американских медицинских колледжей [17].

Разработки подобных методологий ведутся в ряде российских ВУЗов (ВШЭ, МГУ), организациях, осуществляющих мониторинг программы «5–100» [10, 14].

В настоящее время можно констатировать необходимость создания развитой системы для оценки результативности научной деятельности и рейтинга на уровне медицинского вуза (далее организация).

Объективными предпосылками выполнения проектирования системы являются [1, 2, 5, 7, 8, 12]:

  • конкуренция за государственное финансирование (число исследований растет, доступные бюджеты уменьшаются);
  • конкуренция за ключевые позиции в университетах также растет;
  • необходимость контроля затрат на исследования и рентабельности инвестиций;
  • необходимость доказательства качества исследований в вузе (для привлечения новых студентов, новых научных сотрудников, инвестиций).

Как результат – организация нуждаются в объективных данных для оценки медицинской науки, для принятия решений о дальнейшем развитии [3, 4, 6,].

Проект направлен на технические решения по созданию системы оценки результативности научной деятельности и рейтинга организации на полном массиве публикаций объекта исследования (автор, структурное подразделение, научная организация, научный журнал) в индексах научного цитирования РИНЦ и SCOPUS.

Рабочая гипотеза исследования: формализация измерений по набору показателей публикационной активности организации и авторов, использование стандартных операций и процедур нормирования, ранжирования и их алгоритмизация повысят объективность и адекватность оценки, устойчивость к изменениям данных.

Цель исследования – обоснование подходов к проектированию аналитической системы оценки результативности научных исследований и рейтинга организации на принципах стандартизации технологий и иных технологических решений, систематизированных для обработки с помощью программы ЭВМ.

Задачи исследования:

1. Формирование базы данных организации по совокупности систематизированных данных научных публикаций в РИНЦ и SCOPUS и ее государственная регистрация.

2. Научное обоснование и разработка полезной модели оценки научной деятельности и рейтинга организации и авторов по совокупности существенных признаков, влияющих на результат, и относящейся к программному устройству.

3. Разработка программы ЭВМ для получения результата и построения аудиовизульных отображений.

Методы, которые будут использоваться для решения задач проектирования: системный подход и системный анализ, организационное моделирование, тестирование [13, 16].

Основные результаты реализации проекта направлены на:

  • формирование и стабилизацию базы данных организации по полному массиву публикаций;
  • построение модели и разработку автоматизированной системы рейтинговой оценки результативности научно-инновационной деятельности;
  • разработку программы развития научного потенциала организации (положение об аттестации НПР, положение о материальном стимулировании, формирование дорожной карты);
  • формирование системы индикаторов публикационной активности для аттестации научно-педагогических работников;
  • создание перечня рекомендуемых авторитетных журналов для научных публикаций и их ранжирование.

Значимость ожидаемых результатов реализации проекта для организации заключается:

  • в объективизации оценки научно-инновационной деятельности по совокупности индикаторов, влияющих на конечный результат;
  • в создании системы инновационного менеджмента и программы развития организации.

К приоритетам научных исследований и разработок следует отнести [9, 11, 15]:

  • разработку метрик индекса цитирования и позиционирования автора и организации по показателям продуктивности, наблюдаемым и ожидаемым показателям воздействия;
  • разработку методики расчета интегрального показателя (рейтинга) научного журнала в рейтинге РИНЦ, гармонизированного с показателями международных индексов цитирования SCOPUS;
  • разработку системы рейтинга авторов и организации по набору нормированных и средних значений параметров оценки;
  • разработку технологии организации электронного репозитария публикаций для оптимизации управления организацией.

Подходы, которые будут использоваться для реализации технологических решений:

На I этапе:

  • научная постановка задачи, которая содержит формулировку проблемы, цели и рабочую гипотезу исследований;
  • изучение лучших российских и международных практик по созданию систем для оценки результативности научной деятельности организаций;
  • формирование набора библиометрических показателей, которые будут включены в алгоритмы обработки данных. Предполагается использование как существующих показателей в наукометрических системах РИНЦ и SCOPUS, так и разработка на их основе интегральных мультикритериальных индикаторов;
  • для публикаций сотрудников университета из журналов, индексируемых в базе данных SCOPUS, предлагается учитывать квартиль журнала в его предметной рубрике, показатели SJR и SNIP2;
  • для публикаций из журналов, индексируемых в РИНЦ, предлагается учитывать вхождение журнала в «ядро РИНЦ» (тысяча лучших российских журналов; данный список в данный момент находится в разработке), значение интегрального показателя Science Index для научного журнала и другие;
  • для данных из обеих систем предполагается проведение нормирования по цитированию (среднему и/или медианному) в рамках предметной области;
  • для дополнительного ранжирования журналов возможно проведение экспертного опроса. На основе ее результатов предлагается также сформировать «стоп-лист» журналов, публикации в которых не будут учитываться при расчете результативности научной деятельности. Создание такого списка журналов будет иметь ряд позитивных последствий для университета: концентрация усилий сотрудников на публикациях в более сильных журналах, повышение имиджа университета.

На II этапе:

  • формирование и стабилизация базы данных в РИНЦ по публикациям авторов, структурных подразделений, научной организации, публикаций в научных журналах;
  • разработка полезной модели и алгоритма рейтинга организации по темпоральным индикаторам оценки, проверка по критериям «надежность», «валидность», «адекватность»;

На III этапе:

  • разработка программы ЭВМ для обработки полного массива публикаций, относящихся к динамическим объектам (автор, научная группа, научная организация, научные журналы).

Новизна проекта заключается:

  • в соответствии полезной модели условию патентноспособности «новизна» по условиям промышленной применимости и новизни совокупности существенных признаков, влияющих на конечный результат (отсутствие сведений об идентичном техническом решении);
  • в использовании методологии темпорального анализа индикаторов для произвольного массива научных публикаций во взаимосвязи с описанием динамических объектов (автор, группа, организация, научные журналы);
  • в разработке адекватной измерительной шкалы (шкала наименований, порядков, интервалов, отношений и их модификации), при этом при построении агрегативных показателей следует учитывать информационные различия в шкалах базовых показателей.

В рамках данного проекта планируется создание соответствующей мировым стандартам аналитической системы оценки результативности научной деятельности в научной медицинской организации с перспективой внедрения в других научных медицинских организациях страны (впервые в России).

Заключение

1. Научно обоснованы задачи развития проекта «Разработка аналитической системы оценки результативности научной деятельности и рейтинга медицинского вуза» на принципах единой технологии стандартизации, нормирования и ранжирования показателей в рамках предметной области для повышения объективности и адекватности оценки, устойчивости к изменениям данных.

2. Показано, что наиболее перспективным направлением в решении комплекса задач проекта является разработка модели, формирование набора библиометрических показателей, их алгоритмизация, разработка на их основе интегральных мультикритериальных индикаторов, применяемых для анализа публикаций автора, публикаций научной организации, публикаций в научном журнале.

3. Разработаны требования к выбору показателей оценки результативности научной деятельности: измеримые и достоверные данные, достижимые и предсказуемые результаты, с акцентом на действенность, продуктивность и эффективность.

4. Разработка аналитической системы на основе стандартизованных методов позволит провести сравнительный анализ результативности научной деятельности между подразделениями, научными группами, дисциплинами как внутри медицинского вуза, так и между медицинскими вузами в контексте стратегических решений развития и распределения ресурсов.