Моделирование информационной системы оценки качества образования

• предоставления кафедрам возможностей размещения в форме систем связанных структурированных документов разнообразных предметных и профессиональных знаний, включающих тезаурус, описания известных профессиональных задач, структурные зависимости задач и подзадач, а также сценарии их решения;
• анализа фактических данных с использованием размещенных знаний и сертификатов об уровне подготовленности к профессиональной деятельности;
• формирования итоговых отчетов, заключений и рекомендаций по результатам анализа фактических данных и факторов, влияющих на образовательные достижения.

   Эта база является принципиальной частью информационной системы оценки качества образования и имеет вид хранилища структурированных связанных документов и их частей.

   Базовая классификация профессиональных задач, основанная на их функциональном назначении, состоит из трех основных классов документов для каждой специальности:

• основные типы образовательных профессиональных задач (учебные, лабораторно-практические, реальные) и их место в учебном процессе;
• профессиональные задачи, требуемые работодателями или выполняемые выпускниками вуза;
• профессиональные задачи, которыми студент может овладеть дополнительно к образовательному процессу по специальности, получая сертификат об уровне подготовленности к профессиональной деятельности.

   Создание  базы профессиональных задач по отдельным  специальностям первоочередная задача и одновременно постоянная, требующая достаточно много усилий.  

   Для решения второй задачи (разработка системы тестирования образовательных достижений студентов) создана сетевая версия подсистемы удаленного проведения опросов и тестирования, позволяющая осуществлять удаленную разработку использования опросных и тестовых форм.

   Подсистема  удаленного проведения опросов и  тестирования реализует операции регистрации  отдельных студентов и преподавателей, пользователей других категорий, регистрацию систем опросов и графиков их прохождения, архивацию результатов опроса и авторизованного доступа к результатам для администраторов и специалистов. Прототип системы интерактивного тестирования (сбора данных) реализован в форме программной подсистемы, интегрированной с документальной средой информационной системы оценки качества образования. Система опроса позволяет собирать фактическую информацию с целью последующего размещения в информационной среде системы управления образованием вуза, электронных таблицах, таблицах баз данных с целью последующего анализа и обработки. Собираемые фактические данные, размещаемые в форме системы результатов опросов пользователей, допускают визуализацию с целью просмотра отдельными категориями пользователей, а также могут передаваться для последующей обработки другим подсистемам.

   Подсистема  опроса и тестирования содержит следующие  основные модули: построения тестов и  опросных форм, регистрации пользователей  и групп пользователей, формирования систем опросных форм, прохождения опроса, просмотра результатов опроса.

   В системе реализовано размещение заданий к разным видам и формам аттестации студентов по отдельным  учебным дисциплинам. Преподаватели, разрабатывающие опросники, имеют  возможность просмотра тестов, изготовленных другими разработчиками, а также получать сведения о результатах тестирования. Просмотр результатов тестирования осуществляется специальным модулем, позволяющим пользователям просматривать предоставленные ими сведения и принимать решение о необходимости изменения или модификации таких данных. 

   Решение третьей задачи (обеспечение удаленного доступа) система обеспечивает путем регистрации пользователей разных типов и определения их прав. Регистрация пользователей разных типов и определение их прав использует следующую классификацию:

• анонимные пользователи, имеющие минимум прав доступа для работы с открытыми информационно-справочными ресурсами;
• аналитики среды, осуществляющие контроль и анализ размещаемых фактических данных, выполнение регламента предоставления информации, передачу результатов обработки данных для последующего использования в решении задачи управления вузом;
• группы специалистов, получающих права разработки и доступа к совместно создаваемым и открытым ресурсам информационной среды;
• другие зарегистрированные пользователи, обладающие правами работы с собственными (рабочими) и иными открытыми для них массивами документов и опросных форм с целью их профессионального использования или размещения фактической информации, определяемой регламентом.

   Навигация и поиск в системе осуществляются с использованием средств контекстного поиска, поддерживаемого базовой  СУБД информационной среды КубГУ.

   В системе реализованы возможности: создания пользовательских фрагментов, сбор, размещение и отображение первичной информации оценки результатов обучения студентов, учебных групп и специальностей, модификация и удаление размещенных данных. 

   Решение четвертой задачи (создание системы информационно-аналитической поддержки управления качеством подготовки специалистов) планируется в форме создания системы, составленной из взаимосвязанных компонент: текущего мониторинга, сбора и хранения результатов образования, сравнительного анализа, прогнозирования.

   Текущий мониторинг качества подготовки отдельных  студентов основан на сравнении наборов объективных данных об академической успеваемости отдельных студентов с наборами усредненных показателей групп студентов. Результаты текущего мониторинга обладают существенной нечеткостью из-за отсутствия достаточного объема данных и фрагментарностью проверяемых умений и навыков.

   Результаты  образования содержат следующую  информацию об образовательных достижениях  отдельного студента:

• степень теоретической подготовленности к решению учебных задач;
• степень практической подготовленности к решению элементарных профессиональных задач;
• сертификаты за основные реальные профессиональные задачи, умениями решений которых овладел студент.

   Определение результатов обучения связано с  фиксацией прохождения отдельных  положенных контрольных испытаний, имеющих окончательное значение и представленных абсолютными или аддитивными (накапливаемыми) значениями. Для определения результатов обучения применяется система относительных показателей (числовых индикаторов), отражающих в сопоставимых единицах достижения по отдельным изучаемым областям знаний, формам обучения, и их динамику, получаемых по результатам аттестаций и контрольных испытаний. Назначение таких показателей состоит в предоставлении возможности сравнения и учета разнообразных сведений и значений, влияющих на принятие решений и итоговую оценку результатов обучения.

   Сравнительный анализ результатов обучения по специальностям, группам студентов, периодам обучения основан на сопоставлении значений систем числовых и логических показателей  с помощью правил сравнения и формирования итоговых выводов.

   Прогнозирование изменения ситуации связано с  выработкой рекомендаций и принятием  управленческих решений, основанных на статистических рядах собираемых данных (опросов) студентов, преподавателей и  других категорий пользователей с использованием обоснованных методов их сравнения и построения заключений.

   Анализ  данных и выработка управленческий рекомендаций и решений осуществляется на основе обработки первичных данных, относящихся к результатам аттестаций знаний и опросов преподавателей и студентов, сведений о выпускниках и отзывах работодателей.

   Применяемые для сравнения правила размещаются  в составе документов среды предметных и профессиональных знаний системы  оценки качества подготовки, имеющих  структуру знаний-правил, вида: Если (система условий), то (система выводов).

   Для создаваемой информационной системы  выбрана схема процесса выработки  решений, состоящая из следующих  этапов: вычисления - сравнения - текстовые  рекомендации. Первый этап схемы выполняется  с использованием арифметической (числовой) обработки начальных данных, а остальные - с использованием знаний-правил. Системы размещенных в информационной среде правил принятия решений образуют слабоформализованную базу знаний экспертной системы. Достоинствами такой среды являются возможность автоматической обработки и способность накапливать и структурировать разнообразный опыт и модели. 

   Решение пятой задачи (разработка методических документов и материалов, рабочих документов, опросных оценочных форм).

   Деятельность по разработке методических документов и материалов, рабочих документов, опросных оценочных форм представляет собой комплекс взаимосвязанных операций, начинающихся с построения информационных моделей (структур) таких документов, проектирования типовых структур интерактивных опросных форм, формирования тематических блоков опросных форм и регламента их прохождения различными субъектами системы управления качества образования.

   Технологические процессы данного направления деятельности можно разбить на четыре основных блока: разработки требований, составления типовых схем, разработки схем оценки, формирования системы правил принятия решений. 

   Блок  разработки требований к подсистеме управления качеством подготовки специалистов включает компоненты построения, реализации и модернизации информационной и функциональной моделей.

   Блок  составления типовых схем содержит регламент сбора требуемой фактической  информации, осуществляемой с помощью  системы интерактивных опросных форм и тестов.

   В блоке разработки схем оценки качества подготовки реализованы и предоставляются пользователям механизмы обработки массивов фактических данных с целью определения значений для систем используемых показателей результатов обучения отдельных студентов, групп студентов, учебных дисциплин и т. д.

   Блок  формирования системы правил принятия решений представляет собой прототип экспертной системы и включает следующие  компоненты:

• ведения информационной среды поля предметных и профессиональных знаний области
• управления качеством образования,
• создания схем и правил анализа данных и принятия управленческих решений,
• формирования системы учебных и методических документов и материалов.

   Первый  из перечисленных компонентов позволяет  накапливать структурированные  электронные документы разных авторов, относящиеся к сфере оценки и управления качеством, тематические словари, описания существующих методик и их сравнительный анализ, экспертные знания, другие материалы.

      Компонент анализа данных и принятия управленческих решений предназначен для обработки  первичных данных, относящихся к результатам аттестаций знаний и опросов преподавателей и студентов, сведений о выпускниках и отзывах работодателей.

      Компонент разработки методических материалов и  рабочих документов представлен  подсистемой, обеспечивающей возможность совместной деятельности распределенных групп специалистов по созданию рабочих и методических материалов, относящихся к решению задачи оценки качества обучения. 
 

Литература

1. Костенко  К. И., Левицкий Б. Е. Интеллектуальные  интегрированные электронные среды областей знаний (базовые компоненты) // Известия вузов Юга России (в печати).

2. Костенко  К. И., Левицкий Б. Е., Некрасов  С. Д. Проблема качества образования:  применение развиваемых полей  знаний в виртуальных образовательных  средах // Новые инфокоммуникационные технологии в социально-гуманитарных науках и образовании: современное состояние, проблемы, перспективы развития / Под общ. ред. А. Н. Кулика. М., 2003. С. 224-229.

3. Белкин  В. Ю., Костенко К. И., Курган  А. Б., Левицкий Б. Е. Технологии  формирования документальных информационных сред в различных областях знаний // Тр. Всерос. науч.-метод. конф. "Телематика' 2002", 3-6 июня 2002 г., Санкт-Петербург. СПб., 2002. С. 86-88.

4. Некрасов  С. Д. Проблема оценки качества  профессионального образования специалиста // Университетское управление: практика и анализ. 2003. N 1.

5. Костенко  К. И. Моделирование информационной  системы оценки качества образования  / К. И. Костенко, С. Д. Некрасов // Университетское управление: практика  и анализ. - 2003. - N 3(26). С. 77-83