Тестовая система компьютерного контроля

Современное состояние педагогического  контроля в российской системе образования представляет собой контрастное сочетание старого с новым, субъективного с объективным, устного опроса по пятибалльной системе оценок с попытками внедрения контролирующих технологий. Тестовый метод на сегодняшний день быстро развивающееся направление на стыке педагогики, теории измерений, математического моделирования, математической статистики и автоматизации. Внедрение и развитие такого тестирования внесет существенный вклад в процесс реформирования отечественной системы образования и ее интеграции в мировую образовательную практику [11]. Учитывая важность тестирования для процесса обучения в школе, рассмотрим историю его развития и современное состояние методов тестирования в нашей стране.

История проверки знаний и  способностей с помощью различных заданий насчитывает около 4 тысяч лет. Данные археологии свидетельствуют о том, что учителя древнейшей шумерской школы для проверки усвоения и закрепления материала практиковали “контрольные работы” по узнаванию текста пройденных произведений [12, c.73]. Однако первые научные труды по теории тестов появились в начале XX века, на стыке психологии, социологии, педагогики и других так называемых поведенческих наук (Behavioral Sciences). Одними из основоположников теории тестов были ученые Ф.Гальтон [14], Дж.Кеттел [13]. Вопросам теории тестов посвящены труды В.С.Аванесова, А.Анастази, Х.Зиверта, и др. [2, 3, 8].

Зарубежные психологи  называют теорию тестов психометрикой (Psychometrika), а педагоги - педагогическим измерением (Educational measurement). На русском языке принято называть эту науку тестологией. Тестология - наука о тестах. Тест - это краткое стандартизированное испытание, предназначенное как для получения объективной количественной оценки результатов обучения, так и для распознавания интересующих нас особенностей и качеств личности [6].

Тесты для объективного контроля знаний и умений называют педагогическими. Педагогический тест принято определять как систему заданий определенного содержания, специфической формы, позволяющую качественно и эффективно измерить уровень и оценить структуру подготовленности учащихся, контролировать результат усвоения ими в процессе обучения знаний и умений. Педагогические тесты по целям применения делятся на: 1) тесты достижений, профориентированные тесты; 2) критериально-ориентированные тесты; 3) нормативно-ориентированные тесты; 4) аттестационные тесты; 5) тесты прогнозирования результатов обучения.

Существуют  две основные формы  тестовых заданий: 1) задания закрытой формы - задания с выбором из вариантов ответа, представленных испытуемому, задание на установление соответствия и задания на конструирование правильной последовательности; 2) задания открытой формы - задания, когда ответ конструируется, набирается или формулируется самим испытуемым, т.е. в постановке задания нет возможных вариантов ответа.

Разработка  заданий в тестовой форме проводится на основе ряда обоснованных требований в рамках единой методики. В рамках методики, принятой в мировой практике, к таким требованиям относят следующие: 1) в тексте задания должна быть устранена всякая двусмысленность или неясность формулировок; 2) основная часть задания формулируется предельно кратко (как правило, не более одного предложения); 3) все варианты ответа к одному заданию должны быть приблизительно одинаковой длины; 4) из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки.

Содержание  заданий и всего  теста в целом должно удовлетворять определенным критериям, задающим систему нормативных требований к качеству содержания теста: 1) критерий полноты отображения материала учебной программы; 2) критерий соответствия содержания теста знаниям и умениям, на проверку которых тест направлен; 3) критерий соответствия теста требованиям Образовательного стандарта по дисциплине; 4) критерий качества содержания тестовых заданий.

Помимо критериев  в классической тестологии выделяют следующие принципы отбора содержания тестового материала: 1) значимость; 2) научная достоверность; 3) соответствие содержания теста уровню современного состояния науки; 4) репрезентативность; 5) возрастающая трудность учебного материала; 5) вариативность содержания; 6) системность содержания; 7) комплексность и сбалансированность содержания теста; 8) взаимосвязь содержания и формы; 9) соответствие цели.

Методы измерения  качества тестов опираются на теорию корреляций, главными параметрами которой  являются надежность и валидность. Надежность - устойчивость результатов теста, получаемых при его применении. Валидность - пригодность теста, т.е. способность качественно измерять то, для чего он создан по замыслу авторов. Определение надежности и валидности тестов проводится путем статистической обработки результатов массового тестирования по различным группам испытуемых.

Под длиной теста понимается количество заданий, входящих в тест. Классическая теория тестов утверждает: чем длиннее тест, тем он надежнее. Но практика аудиторного тестирования показывает, что если тест очень  длинный, то ухудшается мотивация и  внимание. Оптимальная длина теста  – 30-60 заданий. Каждый тест имеет оптимальное  время тестирования - время от начала процедуры тестирования до момента  наступления утомления. Разброс  по характеристикам порога наступления  утомления довольно большой - от 20 до 100 минут в одной возрастной группе. Основные причины утомления: возраст, мотивация, монотонность выполняемой  работы, индивидуальные особенности  испытуемых.

Минимальная продолжительность  тестирования зависит от форм, количества и трудности заданий. Например, для  выполнения простого тестового задания  закрытой формы с выбором одного элемента из предложенных достаточно 10-15 секунд [1].

Появившиеся на рубеже XX века педагогические тесты быстро завоевали популярность во всех развитых странах. Однако в СССР к 30-м годам  развернулась их встречная критика, а затем их полный запрет. И только в начале 90-х годов методы педагогического  тестирования для контроля знаний и  умений стали внедряться в российские школы и вузы. Тестирование в России в настоящее время развивается  на двух уровнях: 1) на государственном  уровне реализуются проекты по тестированию под эгидой Министерства образования  РФ: ЕГЭ, Телетестинг, Централизованное компьютерное тестирование; 2) на корпоративном уровне наука стремительно развивается в рамках средних, профессиональных и высших образовательных учреждений и учебных центров.

На корпоративном  уровне научными исследованиями и практикой  тестирования в России занимается множество  различных учреждений. Среди учебных  заведений, которые активно занимаются и развивают направления тестирования, следует отметить Современная Гуманитарная Академия, МГУ, МГПУ, МЭСИ, ПТИ, Институт социальных проблем и некоторые  другие вузы. Например, в центре тестирования Пензенского технологического института  разработка тестов ведется на принципах  организации систем искусственного интеллекта. При создании тестовых заданий, контролирующих усвоение учебного материала и связанных с ним  понятий, акцент делается на анализ семантических  связей актуальных понятий дисциплины с определяющими их базовыми понятиями. В Современной Гуманитарной Академии разработаны психометрические подходы к определению уровней (фаз) и темпов усвоения знаний и умений у обучающихся, основанные на теории линков - единиц знаний и нейрофизиологических процессах [9]. Также в Современной Гуманитарной Академии для определения усвоения новых понятий и умений студентов применяются компьютерные мастер-тесты и супертьюторы – обучающие компьютерные программы с обратной связью [5].

С развитием информационных технологий и коммуникаций методы тестирования вышли на новый уровень: тестирование с использованием персональных компьютеров и on-line тестирование с использованием Internet. Применение информационных технологий для оценивания качества обучения дает целый ряд преимуществ перед проведением обычного контроля. Прежде всего – это возможность организации централизованного контроля, обеспечивающего охват всего желаемого контингента учащихся. Далее, компьютеризация позволяет сделать контроль более объективным, не зависящим от субъективности преподавателя.

Развитие информационных технологий способствовало разработке и внедрению в практическое использование  различных программных комплексов тестирования.

Анализ современной  научно-методической литературы [7], а  также информации из сети Internet [15, 16, 17] позволяет сформулировать основные признаки, которыми должен обладать современный программный комплекс тестирования:

1. Основное требование для современной контролирующей системы заключается в абстрагировании от содержания, уровня сложности, тематики, типа и предметной направленности отдельных тестовых заданий. Подобная стандартизация позволяет не прибегать для создания каждого очередного теста и обработки его результатов к услугам программистов, а, освоив определенную систему, наполнять ее содержательную часть по различным дисциплинам на основе общих принципов. Высокая степень абстрагированности от конкретного учебного материала, отобранного для составления теста, определяет свойство универсальности;
2. Контролирующая система должна состоять из подсистем следующего назначения: создание тестов (формирование банка вопросов и заданий, стратегий ведения опроса и оценивания), проведение тестирования (предъявление вопросов, обработка ответов), мониторинг качества знаний обучаемых на протяжении всего времени изучения темы или учебной дисциплины на основе протоколирования хода и итогов тестирования в динамически обновляемой базе данных. Наличие независимых, но взаимосвязанных, компонентов (подсистем): создания теста, мониторинга результатов, проведения тестирования определяет свойство модульности;
3. Данные в контролирующей системе должны храниться централизованно на удаленном сервере. Доступ к данным осуществляется через локальную сеть. Наличие единого банка данных вопросов для каждой запущенной копии программы определяет свойство централизованности;
4. Контролирующая система должна разграничивать права пользователей по типичным ролям (учащийся, преподаватель) для предотвращения доступа тестируемых к правильным ответам теста и т.п. – свойство защищенности;
5. Контролирующая система может обладать возможностью настройки на проведение диагностирования с применением различных моделей диагностики для получения результатов, определённых ведущей идеей диагностирования, например, применение адаптивной модели тестирования – свойство адаптивности;
6. В контролирующей системе должна проводиться математическая обработка результатов тестирования, в частности, расчет трудности заданий теста – свойство обработки результатов теста.

Перечислены основные требования, предъявляемые к современному программному комплексу тестирования. Также современную систему диагностирования должны определять следующие признаки: режимы тестирования, типы вопросов, используемых в тесте, случайная выборка заданий, ограничение времени тестирования, импортирование тестовых заданий из документа MicroSoft Word.

Таким образом, в настоящее  время определение трудности  заданий теста является одним  из требований, предъявляемых к современному программному комплексу тестирования. Обработка результатов теста  с определением трудности заданий  теста необходима для научного подхода  к составлению тестов.

С этой точки зрения интересной моделью обработки тестов, ориентированных на критерий, является однопараметрическая модель Раша [4, 10], которая позволяет:

• формировать тест из заданий различной степени трудности;
• делать достаточно объективный вывод о способности тестируемого на основании количества решенных задач;
• делать вывод о вероятности решения того или иного задания определенного уровня трудности.

Введение: 

в настоящее время  одним из путей совершенствования  профессионального образования  считается повышение качества образовательных  услуг. Это объясняется объективным  повышением требований, предъявляемых  к профессиональным навыкам специалистов, их образованности. В современных  педагогических исследованиях большое  внимание уделяется средствам и  методам повышения качества образования  в целом и качества высшего  профессионального образования  в частности. С точки зрения повышения  качества образования пересматриваются все основные компоненты педагогического процесса, анализируется их потенциал, создаются новые технологии обучения, основным принципом проектирования которых является соответствие критериям качества. Категория качества становится символом цивилизационного развития и будущей выживаемости цивилизации [54]. В качестве меры качества образования используется его эффективность. Эффективность в сфере высшего образования оценивается по результатам успешности учения студентов, а также по их воспитанности и развитости. Поэтому средством получения информации об эффективности высшего образования является педагогический контроль. Отдельные исследователи проблем педагогики отмечают прямую зависимость эффективности образования от организации и качества педагогического контроля [137, 58, 87,131]. Педагогический контроль является неотъемлемой компонентой образовательного процесса, имеет значимость в любой технологии обучения, преследует различные цели и выполняет различные функции, определяющие формы контроля. В профессиональном образовании Великобритании, Германии, США, Франции, Японии в течение последних 30 лет в качестве формы педагогического контроля широко используется тестирование, а в последнее десятилетие компьютерное тестирование. В этих странах накоплен большой опыт использования тестирования в профессиональном образовании, там же существует немало критиков повального тестирования, которые отмечают такие недостатки этой формы педагогического контроля, как невозможность проверить культуру мышления обучающегося, его исследовательские качества, умение рассуждать, общаться с коллегами и оппонентами, отстаивать свою точку зрения [119, 59]. Развитие компьютерной техники расширило возможности тестирования, а следовательно, и круг его применения. Компьютерный тест может использовать 4 адаптивные технологии, включать в себя элементы деловой игры, сложную по сценарию систему подсказок и справочную систему, отслеживать пошаговое выполнение обучающимся каких-либо действий, фактически реализовывая функции индивидуального репетитора [77]. Эти возможности практически обеспечивают каждому студенту индивидуальную программу обучения, которая подстраивается под его личностные особенности восприятия информации, тем самым, реализуя организующую, обучающую, мотивирующую функции педагогического контроля. Тестирование, как форма контроля достижений обучающихся всё шире используется и в практике высшего профессионального образования. Отношение к тестированию, как педагогов, так и обучающихся различно. В работах B.C. Аванесова, Ж.А. Байрамовой, Н.Ф. Ефремовой, К.Г. Кречетникова, А.Н. Майорова, Ю.М. Неймана, А.В. Смирнова, В.А. Хлебникова, М.Б. Челышковой, А.Г. Шмелёва широко обсуждаются вопросы организации тестирования, методические аспекты, влияющие на результаты тестирования, принципы составления тестовых заданий, различные методики разработки тестов. В них отмечается, что тестирование одна из наиболее технологичных и объективных форм педагогического контроля. Методологические и педагогические основы создания и использования программных комплексов, предназначенных для организации компьютерного тестирования, описаны в работах таких исследователей как А. Борк [30], Р. Вильяме [29], К. Маклин, Е.И. Машбиц [96], Пейперт [113, 114]. Особый акцент делается на то, что компьютерные программные оболочки для тестового контроля должны обеспечивать возможность использования различных форм тестовых заданий, адаптации к возможностям пользователя, генерации заданной последовательности заданий из общего банка, а интерфейс компьютерных программных оболочек должен быть интуитивно понятным и обеспечивать комфорт обучающемуся. Обсуждая проблемы применения тестов в профессиональном образовании, большинство авторов не подвергают сомнению эффективность применения тестирования для организации текущего и рубежного контроля (Е.А. Михайличев, Д.А. Таевский, Л.В. Шкерина). Такое применение тестов позволяет преподавателю с минимальными затратами времени и усилий получать информацию о качестве усвоения студентами изучаемой дисциплины, одновременно систематизируя и корректируя их знания, развивая познавательный интерес к дисциплине. Достаточно хорошо изучено влияние регулярного применения текущего тестового контроля на качество обучения (В.Н. Ефимов, Н.В. Изотова, М.Р. Кудаев). 5 Тем не менее, вопрос о применении тестирования для итогового или вступительного контроля, имеет как сторонников, так и противников. При этом сторонники тестирования указывают на тот факт, что, достаточно давно и успешно компьютерное тестирование применяется в контроле знаний по математике, физике, иностранному языку. Противники тестирования чаще всего указывают на недопустимость его применения при проверке знаний по истории, литературе, философии. Однако, и сторонники, и противники тестирования как формы педагогического контроля, рассматривая достоинства и недостатки тестов, не анализируют возможности интеграции традиционного контроля и тестирования. В современной педагогической литературе не освещаются вопросы об эффективности использования тестирования в сравнении с традиционными методами педагогического контроля, области оптимального применения тестирования в рамках различных дисциплин и этапов контроля достижений. Таким образом, целесообразно говорить о сложившихся противоречиях в теории и практике педагогической науки: между необходимостью повышения эффективности обучения в вузе за счёт использования компьютерных тестов и слабой изученностью взаимосвязи и взаимозависимости результатов различных форм педагогического контроля; между внедрением в практику массового тестирования в ВУЗах и невозможностью с помощью тестов проверить культуру мышления, развитие исследовательских качеств, умение рассуждать, обосновывать свою точку зрения; между наличием достоинств, присущих компьютерному тестированию: возможность адаптации к особенностям обучающегося, обеспечение выбора индивидуального банка заданий для каждого обучающегося, возможность организации обучающего контроля и др. и опасностью нивелирования данных достоинств неправильной организацией разработки и применения компьютерных тестов. Необходимость разрешения указанных противоречий и определила проблему данного исследования: «Возможно ли повышение эффективности обучения в ВУЗе за счёт интеграции компьютерного тестирования и традиционного контроля?» Цель исследования: выявить и обосновать возможность интеграции традиционного контроля и компьютерного тестирования для повышения эффективности обучения в ВУЗе на примере естественнонаучных и технологических дисциплин. Объект исследования: процесс контроля в обучении естественнонаучным и технологическим дисциплинам в высшем учебном заведении.