Решение проблем управления качеством высшего образования в России осуществляется в разных направлениях - развитие теоретических основ управления качеством в сфере образования (квалитология образования); стандартизация (создание государственных образовательных стандартов и систем менеджмента качества на основе международных стандартов ISO - 9001-2000); создание и развитие государственно-общественных механизмов управления качеством (аттестация, лицензирование, аккредитация); теоретико-методологические исследования в области оценки состояния образования и тенденций его развития. Приоритетная роль в развитии систем качества в высшей школе должна быть отведена объективному оцениванию результатов обучения.
В последние годы в целях аттестации вузов используются различные модели оценки качества академической подготовки студентов. Модель, разработанная специалистами Российского аккредитационного агентства и используемая при аттестации и аккредитации вузов, достаточно жесткая [1]. В настоящей работе приводится описание модели, построенной автором в рамках квалиметрического подхода. При моделировании оценки учитывается уровень сложности заданий-индикаторов, различное количество заданий, проверяющих освоение студентами разных разделов дисциплины. Модель позволяет определить качество подготовки и его уровень для студента и академической группы.
Для описания модели использованы ключевые понятия квалиметрии - продукция, качество продукции, уровни качества, измерение и оценка качества, методы оценки качества. Согласно международным стандартам ИСО 9001:2000 к продукции образовательного учреждения относятся условия для учебы, повышение уровня квалификации, знания и умения обучающихся [2]. Автор рассматривает только один из аспектов подготовки специалистов - их академическую подготовку, представляемую как совокупность знаний и умений по отдельным дисциплинам различных циклов.
Одной из ключевых задач при проведении комплексной проверки деятельности вуза является аттестация студентов, под которой согласно закону РФ «Об образовании» понимается установление уровня и качества подготовки обучающихся требованиям государственного образовательного стандарта. Под качеством продукции в квалиметрии понимается совокупность свойств, обладающих потребительской стоимостью, обуславливающих пригодность продукции удовлетворять определенные потребности в соответствии с назначением [3]. Под качеством академической подготовки студентов можно понимать совокупность знаний и умений, определяющую их объективную особенность, проявляющуюся при решении определенного круга профессиональных задач (применение профессиональных знаний и умений в различных ситуациях).
Количественная характеристика свойств продукции, входящих в состав ее качества, рассматриваемая применительно к определенным условиям ее создания и потребления, называется в квалиметрии показателем качества. Показатель качества, относящийся к одному свойству, называется единичным, сразу к нескольким свойствам - комплексным. Показатели качества количественно характеризуют степень пригодности продукции удовлетворять определенные потребности, то есть только те свойства, которые входят в состав ее качества. Знания и умения специалиста, заданные в государственном образовательном стандарте и программе учебного курса в виде требований к освоению содержания дисциплины могут быть рассмотрены как свойства, входящие в состав качества академической подготовки.
Под измерением в квалиметрии понимается однозначное количественное выражение качества в единицах и масштабе выбранной шкалы измерения. В результате такого измерения определяется количественная величина качества, выраженная показателем качества. Показателями качества академической подготовки студентов являются результаты выполнения ими совокупности заданий-индикаторов, направленных на выявление знаний и умений использовать эти знания в различных ситуациях. В тестовых технологиях, как правило, для определения единичных показателей качества (наличия у студентов определенных знаний и умений) используется шкала наименований. Результат выполнения задания-индикатора, выявляющего знания испытуемого или умение применять знания в определенной ситуации, может быть закодирован определенным числом, например, «правильно выполнил задание» - 1, «неправильно выполнил задание» - 0.
Под оценкой качества в квалиметрии понимается выраженное в процентах (или долях) отношение показателя качества рассматриваемого объекта к показателю качества объекта, принятого за эталон. Значение показателя качества, принимаемое за эталонное, называется базовым. Уровень качества продукции определяется в квалиметрии как относительная характеристика качества, получаемая путем сравнения совокупности значений показателей качества продукции с соответствующей совокупностью значений базовых показателей [3].
Выбор и описание базовых показателей определяются уровнем управления образовательным процессом (отраслевой, институциональный, индивидуальный), целями использования оценки качества, характером принимаемых управленческих решений и т.п.). В зависимости от целей базовыми показателями могут быть значения показателей качества наилучших образцов (бенчмаркинг - сравнение с лучшими); значения показателей, достигнутые ранее (мониторинг качества); планируемые значения показателей (планирование качества); значения, заданные в требованиях на продукцию (установление соответствия требованиям ГОС). Очевидно, что уровень качества определяется выбором и описанием эталона.
Цели оценки качества продукции отражаются в выборе целевой функции оценки, зависящей от отдельных показателей качества таким образом, чтобы ее экстремальное значение соответствовало наилучшему из сравниваемых вариантов решений [3]. Целевая функция используется и как критерий оптимизации при решении соответствующих задач управления качеством. Обоснование целевой функции (качественная сторона оценки - выбор показателей, вида функции, возможные варианты интерпретации результатов оценки качества и принимаемых решений) является самостоятельной проблемой в области количественной оценки качества.
Целевая функция может быть выражена через комплексный показатель качества. Именно такие целевые функции целесообразно использовать в процедурах оценки качества подготовки специалистов.
Требования государственного образовательного стандарта к уровню и качеству академической подготовки студентов (знания и умения), рассматриваемые нами как полезные профессиональные свойства будущих специалистов и включенные в состав качества, уровень принятия управленческих решений о качестве подготовки студентов (государственный, институциональный или индивидуальный), цели оценки, средства измерения качества знаний и умений, а также выбранная целевая функция являются основанием для построения модели оценки качества.
При построении модели используется комплексный метод оценки уровня качества. Комплексный показатель качества подготовки студента по дисциплине определяется через средневзвешенные показатели качества выполнения разделов теста. Уровень качества подготовки определяется так называемым оценочным числом (целевая функция), равным отношению индивидуального комплексного показателя качества к эталонному показателю качества. Уменьшение значения оценочного числа означает улучшение качества.
Исходную информацию для оценки качества подготовки студентов получаем при проведении тестирования. Все задания разбиты на группы в соответствии с разделами содержания дисциплины. Тест состоит из заданий двух уровней сложности - задания на припоминание и воспроизведение знаний и задания на применение знаний по известному алгоритму. В зависимости от количества заданий в разделах и их уровня сложности заданиям и разделам присваивается различный вес.
Коэффициенты весомости разделов определяются с помощью метода предельных и номинальных значений показателей качества. Этот метод рекомендуется использовать в тех случаях, когда известны предельно допустимые значения показателей качества оцениваемого объекта (в рассматриваемом случае - это количество заданий в разделе или максимально возможный балл за выполнение всех заданий раздела) и номинальные значения, определяющие требования к объекту оценки или принадлежность его к определенной категории (или уровню) качества [3]. Номинальное значение показателя качества соответствует заранее определенному количеству выполненных заданий из раздела или количеству баллов, набираемых при выполнении (50 % заданий и более).
Пусть k - количество разделов дисциплины, отображенных в тесте, n - общее количество заданий в тесте.
Для оценки уровня качества подготовки j-го испытуемого вводится индивидуальное оценочное число, которое рассчитывается как средний взвешенный арифметический показатель:
Nj = 
,
где pij - количество правильно выполненных заданий из i -го раздела j-ым испытуемым или соответствующее ему количество баллов, gi - коэффициент весомости раздела.
Коэффициент весомости раздела i-го раздела gi рассчитывается по формуле:
gi= 
,
где 
- предельное значение показателя качества освоения раздела, равное количеству заданий в разделе или максимальному баллу за раздел, 
- номинальное значение показателя качества освоения раздела или соответствующее ему количество баллов.
Эталоном результатов выполнения теста может быть выполнение определенного количества заданий из всех разделов (номинальные значения показателей качества). В этом случае эталонный показатель качества рассчитывается по формуле:
Nэт = 
,
где pi - номинальное количество заданий в i - ом разделе или соответствующее ему количество баллов , gi - коэффициент весомости раздела. Уровень качества подготовки j -го испытуемого можно рассчитать как отношение Nэт / Nj. Чем ближе отношение к единице, тем ближе уровень качества подготовки испытуемого к эталонному уровню (тем меньше различий между оцениваемым объектом и объектом, принятым за эталон). Использование этой модели дает возможность дифференцировать студентов по нескольким уровням качества - выше требуемого, соответствующего требуемому уровню и ниже требуемого уровня, выявлять недостатки в освоении содержания дисциплины.
Предлагаемая модель позволяет проводить оценку качества академической подготовки студентов на индивидуальном и институциональном уровнях. Результаты оценивания могут быть использованы при мониторинге качества подготовки специалистов во внутривузовской системе управления качеством, оценке эффективности принимаемых в вузе решений об улучшении качества подготовки студентов, оценке качества преподавания учебной дисциплины, корректировке содержания учебных программ.
СПИСОК ЛИТЕРАТУРЫ:
- Савельев Б.А., Масленников А.С. Оценка уровня обученности студентов в целях аттестации образовательного учреждения профессионального образования: Учеб. Пособие.- М.: Логос, 2003. - 136 с.
- Руководство по применению стандарта ИСО 9001:2000 в области обучения и образования»/пер. В англ. Л.А. Раскина. - М., РИА «Стандарты и качество», 2002. - 128 с.
- Гличев А.В., Рабинович Г.О., Примаков М.И., Синицын М.М. Прикладные вопросы квалиметрии. - М.: Издательство стандартов, 1983, 136 с.
Работа представлена на международную конференцию «Проблемы и опыт реализации Болонских соглашений», 4-11 сентября 2007г. Великобритания (Лондон, Оксфорд, Эдинбург). Поступила в редакцию 07.08.2007г.