В последнее десятилетие в России активно внедряется компетентностный подход в образовательной сфере. Дано не одно определение «компетенции» [1–4] и «компетентности» [5–7]. Федеральный образовательный стандарт третьего поколения (ФГОС-3) для вузов регламентирует подход к подготовке специалистов (бакалавров и магистров) именно с точки зрения компетенций.
С одной стороны, преподаватели вуза, разрабатывая рабочие программы дисциплин, достаточно свободно формулируют компетенции, которые студент получит в результате изучения дисциплины и программы обучения в целом.
С другой стороны, до сих пор отсутствует механизм измерения и оценки компетенций студента на выходе дисциплины и/или программы и выявления действий, направленных на развитие компетенций в процессе обучения.
Работа всего исследования посвящена исследованию проблемы оценки компетенций на примере существующих решений, их сравнительному анализу, исследованию подходов, применяемых в них для оценки компетенций, разработке алгоритмов оценки компетенций студента на примере программы элитного технического образования (ЭТО) Национального исследовательского Томского политехнического университета (НИ ТПУ).
В рамках данной работы поставлена цель разработки алгоритмов для системы оценки и повышения уровня компетенций студентов. Для достижения поставленной цели необходимо решить следующие задачи:
– провести сравнительный анализ ИТ рынка существующих программных средств и подходов, применяемых в них для оценки компетенций студента. Выделить достоинства и недостатки;
– разработать собственные алгоритмы работы с компетенциями студента.
Решение этих задач ляжет в основу разработки полнофункциональной информационной системы мониторинга, измерения и оценки компетенций.
Описание предметной области
В качестве заказчика такой информационной системы (поиска готового решения или разработки нового) выступили сотрудники, обеспечивающие программу элитного технического образования ТПУ, являющуюся экспериментальной образовательной площадкой в университете и существующей с 2004 года. Программа элитного технического образования – система подготовки специалистов, обладающих глубокими фундаментальными знаниями, развитыми личностными качествами, навыками исследовательской и предпринимательской деятельности, опытом командной проектной работы [8–10].
Рис. 1. Модули программы ЭТО
В ходе образовательного процесса такие студенты развивают компетенции, которые наполняются дополнительным содержанием и консолидируются за счет освоения специально разработанных дисциплин и модулей образовательной программы. Каждый модуль имеет набор дисциплин и мероприятий, направленных на формирование индивидуальной образовательной и далее карьерной траектории. Модули изображены на рис. 1.
На младших курсах при выполнении проектов базового уровня у студентов начинают формироваться компетенции в пределах освоения изученных дисциплин [8]. На старших курсах при выполнении проектов более высокого уровня акценты смещаются на формирование профессиональных компетенций.
Реализация компетентностного подхода предусматривает широкое использование в учебном процессе интерактивных форм проведения занятий: семинары в диалоговом режиме, дискуссии, компьютерные симуляции, деловые и ролевые игры, разбор конкретных ситуаций, социально-психологические тренинги, групповые дискуссии. Большинство дисциплин образовательной программы ЭТО имеют игровые образовательные элементы, т.к. ведется геймификация программы ЭТО в целом. Весь образовательный процесс построен на принципах проектно-организованного и проблемно-ориентированного обучения [17, 18].
Согласно описанию предметной области и работам, рассмотренным в [9, 11–18] определим блочно состав программного обеспечения, внедрение которого позволит достигнуть цели по разработке системы оценки компетенций студента:
– база компетенций;
– база проектов и мероприятий;
– блок оценки компетенций;
– блок предложения мероприятий.
Рассмотрим более подробно требования к системе, а также существующие на ИТ рынке готовые решения.
Выявление требований. Сравнительный анализ существующих решений
В процессе исследования предметной области и работы с ключевыми стейхолдерами (заказчик, студенты, преподаватели) были выдвинуты требования к разрабатываемой системе:
1. Возможность экспертной оценки компетенций на основании прецедентов.
2. Возможность бесплатного использования. Открытость системы. Возможность доработки.
3. Построение карты развиваемых компетенций студента на основе интересов.
4. Просмотр статистики компетентностного роста студента в виде графиков, профессиограмм.
5. Возможность управления деревом компетенций в системе. Возможность группировки компетенций и установления веса в группе.
6. Связывание компетенций с интересами студента. Предложение мероприятий для развития компетенций студента.
Методом экспертной оценки произведен поиск существующих на ИТ рынке решений, отвечающих поставленным требованиям. В результате поиска и оценки были найдены три наиболее подходящие системы:
1. Сервер компетенций СОЛИНГ.
2. РЕСУРС-К.
3. Облачная система образования детей (ОСОД) «Exterium».
Проведено детальное сравнение этих систем с помощью метода анализа иерархий. Для каждого из требований (критерия) экспертным путем составлена матрица попарного сравнения, позволяющая определить приоритет каждого критерия при принятии решения. Матрица попарного сравнения критериев представлена в табл. 1.
Таблица 1
Матрица попарного сравнения критериев
|
№ п/п |
1 |
2 |
3 |
4 |
5 |
6 |
Приоритет |
|
1 |
1 |
1/5 |
1/3 |
1/3 |
1/7 |
1/7 |
0,0328 |
|
2 |
5 |
1 |
3 |
3 |
1/3 |
1/3 |
0,155 |
|
3 |
3 |
1/3 |
1 |
1 |
1/5 |
1/5 |
0,0693 |
|
4 |
3 |
1/3 |
1 |
1 |
1/5 |
1/5 |
0,0693 |
|
5 |
7 |
3 |
5 |
5 |
1 |
1 |
0,3367 |
|
6 |
7 |
3 |
5 |
5 |
1 |
1 |
0,3367 |
Для каждого из критериев составлена матрица попарного сравнения альтернатив и рассчитаны приоритеты альтернатив при выборе. Учитывая приоритеты критериев при выборе решения и приоритеты альтернатив для каждого критерия, рассчитаны итоговые приоритеты для альтернатив при заданных критериях, представленные в табл. 2.
Таблица 2
Итоговые приоритеты для альтернатив при заданных критериях
|
Решение |
Приоритет |
|
СОЛИНГ |
0,5655 |
|
РЕСУРС-К |
0,1369 |
|
Exterium |
0,2973 |
По результатам исследования систем был сделан вывод, что решение от СОЛИНГ простое в использовании, позволяет оценивать компетенции экспертным сообществом. Не обладает специализированными алгоритмами расчета уровня развития компетенций студента и с точки зрения подхода к оценке является простым хранилищем данных, позволяющим содержать данные об оценке в структурированной форме.
Решение ОСОД «Exterium» от Томского Открытого Молодежного Университета является сложным и комплексным. В основе подхода, применяемого в решении, лежит полная автоматизация процессов оценки компетенций студента. Используются сложные математические алгоритмы, которые, основываясь на результатах выполнения действий пользователем на портале, предлагают карьерную траекторию для ученика. В системе отсутствует возможность оценки компетенций на практике, например, в процессе участия студента в ролевой игре или проекте, оцениваемых экспертом. Exterium является платным решением и предназначено для школьников.
Решение от РЕСУРС-К является инструментом узкоспециализированным и в большей степени направлено на работу с кадрами компаний. В основе подхода оценки компетенций лежат тесты, при выполнении которых, кандидаты проявляют уровень развития компетенций. Такой подход не позволяет оценивать компетенции, проявленные в результате практической (не в процессе выполнения тестов) деятельности, что лишает возможности оценки компетенций в рамках образовательного процесса описанной предметной области, где одним из важных элементов программы является активная проектная деятельность.
Несмотря на высокие показатели удовлетворения требованиям предметной области ни одно из решений комплексно не решает задачи предметной области. Каждая из систем решает одну из задач, а в остальном является избыточной. В связи с этим принято решение о разработке системы, в основе которой используются собственные алгоритмы расчета уровня компетенций студента, адаптированные под специфику и задачи предметной области.
Алгоритмы расчета
В рамках создания системы оценки компетенций студентов и данной работы разработаны алгоритмы: «Расчета уровня компетенции студента» и «Предложения мероприятий на основе интересов».
В соответствии с задачами предметной области для обеспечения возможности оценки компетенций студентов автоматизированным путем произведена классификация компетенций. Классификация необходима для работы алгоритма как с индивидуально развиваемыми компетенциями, так и с группами компетенций, развиваемых студентом в процессе участия в мероприятии или проекте. Пример классификации компетенций приведен ниже.
Работа в команде:
– формировать команду для деятельности;
– доносить цель до команды;
– мотивировать и стимулировать деятельность других участников команды;
– уметь выступать посредником в разрешении конфликтов;
– делегировать обязанности и полномочия;
– определять правила и законы работы в команде;
– инвестировать свое время в развитие других членов команды;
– следить за выполнением правил и законов работы в команде.
Проектная работа [17, 18]:
– определять актуальность проблемы;
– четко определять задачи, стратегию;
– находить способы решения задач;
– адекватно оценивать имеющиеся ресурсы;
– эффективно распределять ресурсы в проекте;
– вести переговоры с целью получения ресурсов;
– рационально распределять человеческие ресурсы для выполнения задачи;
– применять теорию на практике;
– находить информацию;
– составлять план проекта.
Самоорганизация и лидерство:
– нести ответственность за принятие решения;
– планировать свое рабочее время;
– добиваться результата;
– соблюдать тайминг, контрольные точки, дедлайны;
– анализировать свои действия;
– выстраивать причинно-следственные связи;
– предоставлять конструктивный обратный отклик.
Компетенции – материал трудноформализуемый, поэтому для оценки компетенций с помощью алгоритма на первом этапе было предложено сопоставление словесной оценки эксперта и числового значения (уровня проявления компетенции):
– проявлена явно – 1;
– проявлена скорее явно – 0,75;
– проявлена скорее неявно – 0,5;
– проявлена неявно – 0,25;
– не проявлена – 0.
Второй алгоритм является элементом экспертной системы и предназначен для поиска и предложения мероприятий, участвуя в которых, студент может развить компетенции. Работа алгоритма основывается на сопоставлении списка компетенций студента, связанного со списком его интересов, и списка компетенций, развиваемых в процессе участия в мероприятии. Рассмотрим алгоритмы и их блок-схемы более подробно.
Алгоритм расчета уровня компетенции студента
Для работы алгоритма необходимы следующие данные:
– список компетенций в системе. Для каждой компетенции определен вес. Вес компетенции в системе определяется экспертным путем. На момент начала работы с системой значение веса для каждой компетенции должно быть определено;
– список групп компетенций в системе. Для каждой компетенции в группе определен вес (помимо веса в системе). Вес компетенции в группе определяется экспертным путем. На момент начала работы с системой значение веса для каждой компетенции в группе должно быть определено;
– мероприятие со списком развиваемых в нем компетенций. Список развиваемых на мероприятии компетенций формируется из списка компетенций в системе или из списка компетенций группы компетенций. На момент начала мероприятия список развиваемых в нем компетенций должен быть определен. Развиваемые компетенции проявляются студентом при участии в мероприятии. Уровень проявления таких компетенций оценивается экспертами;
– студент или группа студентов, участвующих в мероприятии и развивающих компетенции. Список студентов, участвующих в мероприятии, формируется из списка студентов в системе. На момент начала мероприятия список студентов, участвующих в мероприятии, должен быть определен. Каждый студент имеет список развиваемых компетенций с показателем уровня их развития;
– эксперт или группа экспертов, участвующих в оценке уровня проявления компетенций студентами в процессе участия в мероприятии. Список экспертов, участвующих в оценке студентов, формируется из списка экспертов в системе.
1. В ходе мероприятия (выполнение проекта, научная практическая работа и т.д.) группа экспертов оценивает и фиксирует проявление студентами компетенций из списка компетенций, развиваемых на мероприятии. Оценка ведется экспертным путем. Для каждого студента каждый эксперт оценивает каждую компетенцию и выставляет одну из оценок:
– проявлена явно;
– проявлена скорее явно;
– проявлена скорее неявно;
– проявлена неявно;
– не проявлена.
2. Для каждого студента, участвующего в мероприятии, каждый эксперт вводит оценки в систему и сохраняет результат.
3. Системой производится формализация введенных оценок в соответствии с представленной выше шкалой.
4. Для каждой оцениваемой компетенции (развиваемой на текущем мероприятии) система проверяет, развивалась ли компетенция студентом ранее на других мероприятиях:
4.1. Если компетенция не развивалась ранее, то она добавляет в список компетенций, развиваемых студентом.
5. Система производит пересчет уровня развития каждой компетенции студента по формуле:
5.1. Если компетенция, развиваемая на мероприятии, добавлена из списка компетенций системы, то для каждой i-той компетенции студента, совпадающей с компетенцией, развиваемой на мероприятии, используется формула 1:
, (1)
где 
– уровень развития компетенции студента после оценки экспертами (после участия в мероприятии);
– уровень развития компетенции студента до оценки экспертами (до участия в мероприятии);
Осmj – оценка уровня компетенции студента, выставленная j-м экспертом в ходе мероприятия и приведенная к числовому значению;
Bк – вес компетенции в системе;
Nоц – количество экспертов, оценивших уровень проявления компетенции студента в ходе мероприятия (количество оценок экспертов).
5.2. Если компетенция, развиваемая на мероприятии, добавлена из списка компетенций группы компетенций, то для каждой i-той компетенции студента, совпадающей с компетенцией, развиваемой на мероприятии, используется формула 2:
, (2)
где 
– уровень развития компетенции студента после оценки экспертами (после участия в мероприятии);
– уровень развития компетенции студента до оценки экспертами (до участия в мероприятии);
Осmj – оценка уровня компетенции студента, выставленная j-м экспертом в ходе мероприятия и приведенная к числовому значению;
Bк – вес компетенции в группе компетенций;
Nоц – количество экспертов, оценивших уровень проявления компетенции студента в ходе мероприятия (количество оценок экспертов).
Блок-схема алгоритма представлена на рис. 2. Блок схема является графическим отображением работы алгоритма для одной компетенции.
Алгоритм предложения мероприятий на основе интересов
Для работы алгоритма необходимы следующие данные:
– список компетенций в системе;
– список групп компетенций в системе;
– список интересов в системе. Каждый интерес в системе связан с несколькими компетенциями. Например, интерес «Разработка приложения» связан с компетенциями «Поиск информации в сети», «Проектирование базы данных» «Программирование на языке C++», «Тестирование приложения» и т.д.;
– для каждого студента в системе должен быть определен список интересов. Студент самостоятельно определяет список интересов, выбирая их из списка интересов в системе. На момент поиска мероприятий для студента должен быть сформирован список интересов;
– список мероприятий в системе. Каждое мероприятие содержит список компетенций, развиваемых студентом в процессе участия. Список развиваемых на мероприятии компетенций формируется из списка компетенций в системе или из списка компетенций группы компетенций. На момент поиска мероприятия список развиваемых в нем компетенций должен быть определен.
Рис. 2. Блок-схема алгоритма «Расчета уровня компетенций студента»
1. Системой просматривается список интересов студента и связанных компетенций.
2. Для каждого интереса студента просматривается список связанных компетенций и, если в списках есть повторяющиеся компетенции, считается количество их повторений. В результате получается список компетенций, связанных со списком интересов студента, где у каждой компетенции указано количество повторений.
3. Для каждой компетенции из списка вычисляется вес по формуле 3:
, (3)
где Bки – вес компетенции в списке компетенций, связанных с интересами студента.
Пки – количество повторений компетенции в списке компетенций, связанных с интересами студента;
Nки – общее количество уникальных компетенций в списке компетенций, связанных с интересами студента.
4. Системой просматривается список предстоящих мероприятий. Для каждого мероприятия просматривается список компетенций, развиваемых на мероприятии. Если в списке компетенций мероприятия содержатся компетенции, совпадающие с компетенциями из списка компетенций, связанных с интересами студента, то рассчитывается вес мероприятия по формуле 4.
, (4)
где Bм – вес мероприятия;
Скм – количество компетенции в списке компетенций мероприятия, совпавших с компетенциями из списка компетенций интересов студента;
Nкм – общее количество компетенции мероприятия.
5. На основе вычисленных весов мероприятий студенту предлагаются мероприятия для развития компетенций в порядке уменьшения веса.
Блок-схема алгоритма представлена на рис. 3.
Рис. 3. Блок-схема алгоритма «Предложения мероприятий на основе интересов студента»
Заключение
В процессе данного исследования произведено сравнение существующих программных средств и подходов, применяемых в них, для оценки компетенций студентов. Обоснована актуальность цели работы. Для её достижения в ходе теоретических исследований и практической разработки решены задачи, в том числе:
1. Выявлены требования к создаваемой системе. Произведен сравнительный анализ существующих на ИТ рынке готовых решений с помощью метода анализа иерархий, рассмотрены подходы оценки компетенций, применяемые в решениях. Принято и обосновано решение о разработке собственной системы в связи с неудовлетворением существующих решений требованиям предметной области.
2. Для создаваемой системы разработаны и подробно описаны алгоритмы: «Расчёт уровня компетенций студента» и «Предложения мероприятий на основе интересов студента».
Результаты, представленные в данной статье, являются ключевыми в рамках исследования, проведенного в процессе проектирования и разработки полнофункциональной информационной системы мониторинга, измерения и оценки компетенций студентов.