Средства и системы компьютерного тестирования и контроля знаний

В заданиях закрытой формы и в заданиях на соответствие элементы подаются с помощью датчика случайных расстановок. Элементы задания в этих формах формируются по принципу «основных» и «запасных» игроков. Например, при 5-ти элементах, подающихся студенту, автор формирует набор не «1 верный + 4 неверных», а «1 верный + 4 основных неверных + 5 запасных неверных», где из 9-ти неверных случайным образом выбираются.

Классическая теория тестов опирается  на теорию корреляции, главными параметрами  которой являются надежность и валидность. Надежность - устойчивость результатов теста, получаемых при его применении. Валидность - пригодность теста, т. е. способность качественно измерять то, для чего он создан по замыслу авторов. [4] Существует строгая научная теория тестов, позволяющая методологически и методически обосновать их применение и обработку результатов тестирования. Научно обоснованный тест - это метод, соответствующий установленным стандартам надежности и валидности (величина от 0 до 1; чем ближе к 1, тем качественнее тест).

Оценка тестовых заданий  может быть политамическая (если из 10 элементов задания одно сделал неправильно, то сумма баллов равна 9); дихотомическая (сделал все элементы - 1 балл, не сделал - 0 баллов). По степени трудности задания могут быть одноуровневые, т.е. с весовым коэффициентом, равным единице и многоуровневые с весовым коэффициентом от 0 до N. Под длиной теста понимается количество заданий, входящих в тест. Классическая теория тестов утверждает: чем длиннее тест, тем он надежнее. Но практика показывает, что если тест очень длинный, то ухудшается мотивация и внимание. Практически длину теста следует определять опытным путем, с учетом валидности, времени тестирования и др. Оптимальная длина теста, как показала теория и практика - 30-60 заданий. Соотношение длины теста к числу тестовых заданий в банке должно стремиться к соотношению 1:10. [8]

Каждый тест имеет оптимальное  время тестирования  - время от начала процедуры тестирования до момента  наступления утомления. Разброс  по характеристикам порога наступления утомления довольно большой - от 20 до 100 минут в одной возрастной группе Основные причины утомления: возраст, мотивация, монотонность выполняемой работы, индивидуальные особенности испытуемых. Следовательно, необходимо поддерживать мотивацию на нужном уровне, максимально разнообразить работу за счет введения в оборот всех форм заданий и невербальной поддержки, а также адаптировать программный продукт согласно индивидуальным особенностям испытуемых. Среднее ориентировочное время до момента утомления для студентов - 50 - 80 минут (максимальная продолжительность). А по минимальной зависит от форм, количества и трудности заданий, элементов в задании. Например, для легкого тестового задания закрытой формы с выбором одного элемента из предложенных достаточно 10-15 сек. В процессе апробации реальные сроки должны быть  уточнены.

Выбор формы тестового  задания зависит от содержания курса, цели создания теста, умения разработчика. Усредненный расклад может быть следующим. В тесте длиной, например, 60 заданий, рекомендовано не более 10 тестовых заданий открытой формы, примерно по 10 на соотношение и последовательность, остальные 30 заданий целесообразнее давать в закрытой форме. [4]

Разработчики тестов должны придерживаться следующих принципов:

• Тест должен соответствовать целям тестирования;
• Нужно определить значимость проверяемых знаний в общей системе проверяемых знаний;
• Должна быть обеспечена взаимосвязь содержания и формы теста;
• Тестовые задания должны быть правильными с точки зрения содержания;
• Должна соблюдаться репрезентативность содержания учебной дисциплины в содержании теста;
• Тест должен соответствовать уровню современного состояния науки;
• Содержание теста должно быть комплексным и сбалансированным;
• Содержание теста должно быть системным, но, вместе с тем, вариативным.

Таким образом, построение компьютерных тестов можно осуществлять в следующей последовательности:

• формализация экспертной целевой модели знаний;
• нисходящее (или снизу – вверх) проектирование тестового пространства;
• формирование и наполнение тестовых заданий;
• формирование полного компьютерного теста;
• тестовый эксперимент;
• выбор эффективного теста;
• анализ, корректировка и доводка теста до вида эксплуатации.

В начале любого теста  дается краткая инструкция по выполнению задания, например: "Выберите правильный ответ". Если задания представлены в одной форме, инструкция пишется один раз для всего теста. Если же тест включает различные задания, то перед каждым новым заданием пишется новая инструкция. Текст задания, как правило, пишется прописными буквами или жирным шрифтом для того, чтобы зрительно сразу же отделить само задание от вариантов ответа.

Текст заданий (и ответов!) компьютерных тестов необходимо делать кратким и лаконичным. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смысла задания. Полностью должны исключаться повторы слов, малопонятные, редко употребляемые слова, а также неизвестные учащимся символы, иностранные слова, затрудняющие восприятие смысла.

Одно из важных требований при тестировании - наличие заранее  разработанных правил выставления баллов. В общем случае применения тестов за правильный ответ в каждом задании дается один балл, за неправильный - ноль. Сумма всех баллов, полученных студентом, дает число правильных ответов. Это число ассоциируется с уровнем его знаний и с понятием "тестовый балл испытуемого". Но существуют и другие, более сложные схемы оценивания, например, рейтинговые.

Наверное, самым большим  заблуждением разработчиков большей  части контролирующих программ является использование так называемой одинарной  выборки: учащемуся задается вопрос, на него дается несколько готовых  вариантов ответов (как правило, пять - удобнее выводить оценку), один из которых - верный. Несмотря на то, что действительно существует класс контрольных вопросов, которые могут быть реализованы подобным образом, несмотря на то, что вероятность угадывания (20%) достаточно низка, зацикливание исключительно на одинарной выборке исключает богатейшие возможности применения педагогических технологий при проведении контроля [3].

Кроме того, существует общеизвестный способ обхода учащимися данного типа контроля – учащиеся находят распечатку или электронный документ с правильными ответами, и порядок ответов заучивается или заносится на шпаргалку. Только в единичных системах контроля знаний реализована функция изменения местоположения правильного ответа при каждом тестировании.

При разработке теста следует помнить, что существуют различные типы вопросов компьютерного контроля. Произвольный тип, или, ввод с клавиатуры отлично подходит для проверки разного рода терминов, констант, дат. Однако его реализация, как правило, весьма математически сложна и поэтому большинством разработчиков оставляется без внимания. Проблема заключается, прежде всего, в том, что введенную фразу необходимо подвергнуть синтаксическому, а в идеале - и семантическому анализу, моделирующему варианты возможного мышления отвечающего. Кроме того, учащийся может опечататься, и в большинстве областей знаний подобные опечатки нельзя считать ошибкой - а это требует очень гибкой реализации компьютерной логики, которая под силу далеко не всякому программисту. О возможности использования учащимся при вводе произвольного ответа различных синонимов, которые могут быть не предусмотрены разработчиком базы данных и в то же время могут быть абсолютно или частично правильными, тоже можно говорить очень много. Кроме того, в произвольном типе вопроса может быть и несколько возможных ответов [3].

Существует также ряд  разновидностей произвольного типа вопроса. Ввод нескольких ответов в определенной последовательности может использоваться в вопросах о строгой последовательности каких-либо операций, взаиморасположений и т.д. Тип вопроса настолько же сложный для программирования, как и произвольный, весьма сложен в конструировании и вызывает определенные трудности у учащихся, так как требует не только безошибочного ввода ответов, но и безошибочного их взаимного расположения. Однако, несмотря на достаточно редкое его применение, этот тип незаменим и является мощным средством выяснения уровня знаний учащегося в вопросах, к примеру, относительного взаиморасположения органов в топографической анатомии, последовательности превращения вещества в химии, последовательности действий в разного рода ремонтных работах и т.п. Ввод пропущенных частей строк или букв, несмотря на кажущуюся простоту, является незаменимым средством для проверки понимания различных языковых конструкций (в русском и иностранном языках, в программировании и т.д.). В отличие от стандартного "произвольного" типа вопроса, как правило, предполагает однозначные варианты ответов.

Выборочный тип вопроса  является классическим вариантом, который подавляющая часть разработчиков считает необходимым и достаточным для проведения компьютерного тестирования. В этом типе вопроса может подразумеваться один или несколько правильных ответов из предложенных. Часть теоретиков разделяет эти две разновидности на разные типы вопросов, однако с точки зрения формальной логики эти разновидности абсолютно равнозначны. Вопрос заключается лишь в методологии выведении результатов по этим разновидностям. Компьютерная реализация этого типа необычайно проста. Возможно, именно с этим и связано его широкое использование в различных тестирующих программах. Для реализации этого типа достаточно даже начальных знаний в любом языке программирования либо в программируемых офисных системах типа Excel или Quattro.

У выборочного типа вопроса также существуют разновидности. Альтернативный тип является максимально упрощенной формой и предполагает готовый ответ уже в тексте вопроса. Испытуемому остается только указать, правильный это ответ или нет. Несмотря на кажущуюся простоту, этот тип с успехом может использоваться в некоторых областях знаний. Разновидностью выборочного типа является тип вопроса, названный «Отбор». Однако разница между ним и стандартным выборочным типом заключается только в системе вывода результата.

Последовательный тип вопроса является наиболее сложным для учащихся, хотя и достаточно прост в реализации. Он позволяет преподавателю оценивать не только конкретные знания, но и логику. Упрощенный вариант последовательного типа - «Перестановка» предполагает, что учащемуся задается вопрос и дается набор готовых правильных ответов. В его задачу входит расстановка этих ответов в требуемой последовательности. Как и тип "Последовательность", эта разновидность может быть использована в тех предметных областях, где требуется четкое знание последовательности операций, действий или правильное взаиморасположение объектов. Однако в отличие от типа "Последовательность", эта разновидность может использоваться гораздо шире, так как не содержит в себе "подводных камней" неверной формулировки учащимися какого-либо термина - все ответы уже находятся на экране. Усложненный вариант последовательного типа - «Расстановка» является наиболее сложным из всех типов, как по сложности программирования, так и по сложности восприятия его учащимися. Однако именно этот тип дает наиболее широкие возможности для проверки логики. Конструирование вопроса этого типа заключается формально в построении учащимися графа логической структуры. В тексте вопроса перечисляются некие пронумерованные положения (пункты), а в тексте ответов даны соответствующие этим пунктам выводы или факты. От учащегося требуется расставить соответствие пунктов, перечисленных в вопросе, готовым ответам.

Существуют различные  варианты ответов, закладываемые в  программу. Предпочтительно, чтобы  студент "отвечал" компьютеру как бы в устной форме, как преподавателю (открытая форма ответа). Возможно, такие экспертные системы на основе специально разработанных баз знаний и появятся в недалеком будущем. Пока же некоторые специалисты приступили к созданию баз знаний. Эта достаточно интересная и сложная проблема имеет основной недостаток, изначально присутствующий в ней - субъективность системы, базирующейся на оценках событий и явлений отдельными, хотя и порой весьма авторитетными, специалистами. Пожалуй, наиболее правильно будет в настоящее время осваивать компьютерные системы контроля на основе баз данных. В этом случае обычно прибегают к различным готовым формам ответов - шаблонам.[1]

Широкое распространение  получила такая форма, когда отвечающему  предлагается заранее сформированный набор ответов для выбора одного или нескольких, являющихся, по его мнению, правильными (форма закрытых ответов). Программа автоматически оценивает правильность сделанного выбора. В другом случае, контролируемый вводит с клавиатуры некоторые формулировки или отдельные слова, являющиеся ответом на поставленный вопрос (форма полуоткрытых ответов). На экране ЭВМ нет этих вариантов, но программа содержит максимально возможный, по мнению ее авторов, набор ответов. Считается, что в большинстве случаев в программе имеются необходимые модификации, и она сможет, осуществив сравнение, дать свое заключение о правильности ответа. Имеются и другие варианты.

Каждый способ формирования ответа имеет свои достоинства и  недостатки. Здесь следует придерживаться поставленной цели и выбирать наиболее подходящий для ее реализации. В этой связи можно предложить использовать единый набор вариантов ответов для всех контрольных заданий по теме. Формулировки должны носить общий характер и способствовать выявлению умения контролируемого логически мыслить, что более важно и ценно, чем запоминание отдельных фактографических данных. При достаточных умениях и осведомленности преподавателя с помощью таким образом сформулированных вариантов ответов возможно определение знания и отдельных фактов, событий.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4.Виды компьютерных программ для контроля знаний

 

Применение компьютерных тестов при проверке знаний является экономически выгодным и обеспечивает повышение эффективности учебного процесса, объективности оценки уровня знаний и является рациональным дополнением к другим методам проверки знаний. 
Но следует помнить, что немаловажную роль, при использовании компьютерного тестирования, играет выбор программ для тестирования знаний, разработки и создания тестов.