Средства и системы компьютерного тестирования и контроля знаний

В зарубежных странах  в практике контроля нередко используются так называемые тесты успешности, которые включают несколько десятков заданий. Естественно, что это позволяет более полно охватить все основные разделы курса. При этом используются два вида заданий: задания с конструктивным типом ответа, требующие от учащихся самостоятельного составления ответа, и задания с выборочным типом ответа. В последнем случае учащийся выбирает из числа предъявленных тот ответ, который он считает правильным. Важно отметить, что эти типы заданий подвергаются серьезной критике. Отмечается, что задания с конструктивным типом ответа приводят к необъективности оценок. Так, разные экзаменаторы и нередко даже один и тот же экзаменатор ставят разные оценки за один и тот же ответ. Кроме того, чем больше свободы в ответе у учащихся, тем больше и вариантов оценки преподавателей.

Также существует и другая классификация видов тестов:

         1) тесты "достижений";

         2) стандартные тесты "достижений";

         3) тесты умственных способностей;

         4) тесты наклонностей;

         5) прогностические тесты;

         6) критериально-ориентированные тесты;

         7) тесты развитых способностей.

Тесты могут быть ориентированы на норму (рейтинг по сильным - слабым студентам) и на критерий (сортировка по трудным - легким заданиям). По характеру действий тесты подразделяются на вербальные (выраженные словами) и невербальные (представленные образами). По степени однородности задач тесты бывают гомогенные (по одной дисциплине) и гетерогенные (по нескольким дисциплинам). По целям использования: начало обучения, прогресс и трудности в процессе обучения, достижения в конце обучения. Практика высшей школы показывает, что наиболее применимы критериально-ориентированные, в подавляющем большинстве вербальные, гомогенные, нацеленные, как правило, на достижения в конце обучения.

Другие существующие классификации практически сводятся к названным выше типам. Далее, осуществляя выбор, необходимо ориентироваться на педагогические положения, согласно которым система контроля должна быть приемлемой для проверки профессиональных знаний. Наполнение ее содержания должно служить для определения как уровня интеллекта, так и способностей, контролируемых в конкретной области знаний. Форма процедуры проверки должна включать индивидуальное и/или групповое проведение контроля.

Компьютерные тесты  бывают традиционные и нетрадиционные. Традиционные тесты представлены в виде системы заданий возрастающей трудности, имеющие специфическую форму, позволяющие качественно и эффективно измерить уровень и оценить структуру подготовленности студентов. При этом в зависимости от того, по скольким учебным дисциплинам включены в тест задания, традиционные тесты разделяют на гомогенные  и гетерогенные. Нетрадиционные тесты представлены интегративными, адаптивными и критериально-оценочными тестами. Интегративные - нацелены на общую итоговую диагностику подготовленности выпускника учебного заведения. В одном тесте предъявляются знания из двух и более учебных дисциплин. Проведение подобного тестирования проводится, как правило, при интегративном обучении. Адаптивные тесты позволяют регулировать трудность предъявляемых заданий в зависимости от ответов тестируемого. При успешном ответе компьютер выдает следующее задание, более трудное по сравнению с предыдущим, а в случае неудачи - более легкое. Критериально-оценочные тесты предназначены для того, чтобы узнать, какие элементы содержания учебной дисциплины усвоены, а какие - нет. При этом они определяются из так называемой генеральной совокупности заданий, охватывающей всю дисциплину в целом.

Как показали исследования, для проверки студентов наиболее целесообразно применение критериально-ориентированного типа тестов. Данный тест позволяет осуществлять более полный индивидуальный и коллективный программный контроль объема усвоенных знаний; получать балльные оценки, позволяющие сравнивать уровень знаний студентов как внутри отдельной группы, так и между ними; выявлять результаты, достигаемые каждым отдельным студентом в ходе проверки в широком диапазоне значений (баллов). Обращение к этому типу тестов вызвано также и тем обстоятельством, что с его помощью возможно выявление уровня знаний обучаемых по заранее заданному и общему для всех объему и содержанию учебного материала. При этом ясно просматриваются две составные части данного типа тестов. С одной стороны, возможность получения данных об индивидуальных знаниях каждого студента, с другой, - возможность сравнения полученных данных в широком диапазоне учебных групп при условии создания адекватной среды тестирования.

В конечном счете, важно  определить, что каждый отдельный  студент знает и умеет, а не то, каков он на уровне других студентов. Грамотно сформированное содержание (наполнение) теста обеспечивает получение каждым студентом рейтинга (индивидуальный интегральный показатель), одновременно предоставляет преподавателю данные, характеризующие способности любого студента к учебе в сравнении с его сокурсниками. Таким образом, возможна успешная реализация этих двух проблем одновременно. Выполнение студентом теста оценивается не в соответствии с некоторой нормой, а определяется степенью освоения им указанной в тесте дисциплины, достижением определенного уровня выполнения предложенных заданий. Таким образом, с помощью этих тестов возможно выявлять степень знаний каждым отдельным студентом как отдельных заданий, так и разделов учебной программы; точку (высоту) усвоения ими конкретной дисциплины. [2]

Существуют четыре основные формы тестовых заданий:

     1. Задания  с выбором одного или нескольких  правильных ответов. Среди этих заданий выделяются такие разновидности, как:

• Выбор одного правильного ответа по принципу: один - правильный, все остальные - неправильные.
• Выбор нескольких правильных ответов.
• Выбор одного, наиболее правильного ответа.

     2. Задания  открытой формы. 

Задания сформулированы так, что готового ответа нет, нужно сформулировать и вписать ответ самому, в отведенном для этого месте.

     3. Задания  на установление соответствия, где  элементам одного множества требуется поставить в соответствие элементы другого множества.

     4. Задания  на установление правильной последовательности (вычислений, действий, шагов, операций, терминов в определениях).

Для компьютерного контроля знаний, осуществляемого в виде тестов, больше всего подходят задания с выбором одного правильного ответа. Среди этих тестов наиболее распространенными в настоящее время являются тесты с возможностью выбора правильного ответа из двух/трёх предложенных вариантов. Выбор формы зависит от цели тестирования, содержания теста, технических возможностей, уровня подготовленности преподавателя в области теории и методики тестового контроля знаний. Самым лучшим можно считать тест, в котором заложено широкое содержание, и оно охватывает более глубокие уровни знаний.

В соответствии с моделью  знаний, выделяют три класса компьютерных тестов на знания, умения и навыки. Следует отметить, что типы компьютерных тестовых заданий определяются способами однозначного распознавания ответных действий тестируемого.

Типы тестовых заданий  по блоку «знания» - вопросы альтернативные (требуют ответа да – нет):

• вопросы с выбором (ответ из набора вариантов);           
• вопросы информативные на знание фактов (где, когда, сколько);
• вопросы на знание фактов, имеющих формализованную структуру (в виде информационной модели или схемы знаний);
• вопросы по темам, где имеются однозначные общепринятые знаковые модели: математические формулы, законы, предикатные представления, таблицы;
• вопросы, ответы на которые можно контролировать по набору ключевых слов;
• вопросы, ответы на которые можно распознавать каким-либо методом однозначно.

2. Типы тестовых заданий  по блоку «навыки»:

• задания на стандартные алгоритмы (альтернативные да – нет, выбор из набора вариантов);
• выполнение действия.

3. Типы тестовых заданий  по блоку «умения». Те же самые,  что для навыков, но используют нестандартные алгоритмы и задачи предметной области при контроле времени их решения.

Выбор тестов определяется особенностями инструментальных тестовых программ (тестовыми оболочками), особенностями предметной области, а также опытом и мастерством экспертов. Очень удобна возможность выбора режима обучения (дается правильный ответ с обоснованием) и режима экзамена (без подсказок). Особенно популярным в последнее время становится компьютерное адаптивное тестирование, при котором компьютер отбирает задания в зависимости от предыдущих ответов, подстраивая тест к уровню тестируемого.

 

 

 

 

 

 

 

 

 

 

 

 

 

3. Методические основы создания тестовых  заданий  для  компьютерного контроля знаний

 

На первый взгляд, разработка тестирующих вопросов и определение  эталонов ответов доступно любому преподавателю. Однако на самом деле ситуация в  этой области прямо противоположна тому, что кажется на первый взгляд [3]. Сформулировать вопрос действительно несложно. Однако большинство разработчиков не задают себе при этом главный вопрос: какие цели преследует данный вопрос? Какой раздел рассматриваемой темы этот вопрос охватывает? Корректно ли сформулирован вопрос, не допускает ли он неоднозначных ответов, как воспринимается он учащимися с точки зрения не преподавателя (имеющего большой по сравнению с учащимися объем знаний), а с точки зрения пройденного учащимися теоретического курса? Попытка ответа на эти вопросы показывает, что, прежде всего, база данных должна разрабатываться не педагогом-энтузиастом, а специалистом высокого уровня в данной предметной области. Кроме того, какой бы высокий уровень не был у разработчика, любой человек способен ошибаться или неверно формулировать отдельные положения. Поэтому тестовая база, перед ее вводом в эксплуатацию, обязательно должна проходить через оценку как минимум методического совета по данной специальности [7, с. 91].

Однако никакая комиссия не способна определить восприятие контрольных вопросов учащимися. Это может показать только реальное тестирование. Более того, подобная оценка весьма проста технически - необходим только накопительный статистический анализ по ответам на каждый конкретный вопрос. Для этого вопрос должен быть однозначно идентифицируем. Анализ подобной статистики, особенно при проведении контрольного тестирования в разных учебных группах, дает двойственный результат: вопрос, на который никто не может дать правильный ответ, или неправильно сформулирован, или эта тема чрезвычайно плохо раскрыта в процессе обучения. Вопрос же, на который правильно отвечают все, или плохо сформулирован (имеет в тексте вопроса подсказки), или эта тема очень хорошо раскрыта в процессе обучения и правильно усвоена всей группой.

Тестовое задание включает в себя:

а) констатирующую часть, описывающую ситуацию (может и  отсутствовать), которая не требует  от тестируемого каких-либо активных действий;

б) процедурную часть, содержащую предложения обучаемому выполнить какие-либо конкретные действия - выбрать правильный элемент из предложенного набора, установить соответствие или правильную последовательность, назвать дату, записать название и т.д. Процедурная часть - это такой вид информации, после получения которой от студента требуется произвести активные действия, связанные не только с изучением и анализом материала, содержащегося в задании, но и составлением и вводом ответа;

в) элементы самого выбора.

Существуют общие правила для всех форм тестовых заданий. Необходимо следить за корректностью формулировки задания. Тестовое задание должно быть сформулировано четко, ясно, конкретно, не допуская двусмысленности в ответе. Оптимальное число элементов ответа - 5-8, но существуют исключения. [1] Процедурная часть тестового задания должна быть максимально краткой - не превышать 5-10 слов. Тестовое задание должно быть сформулировано в утвердительной форме. Не допускается определение понятия через перечисление элементов, не входящих в него. Для всех форм тестового задания должна быть стандартная инструкция. Все элементы в заданиях должны отбираться по какому-то определенному, выбранному автором принципу. Предпочтение большому количеству простых по структуре тестовых заданий, а не малому количеству сложных. В сложных разделительных тестовых заданиях необходимо перечислять все возможные альтернативы, т.к. в противном случае у обучаемого искажается представление о классификации или структуре объекта базиса.

Тестовые задания открытой формы должны отвечать следующим требованиям:

• дополняющее слово или словосочетание ставится в конце и должно быть единственным;
• дополнять надо только важное;
• желательно, чтобы  при формулировке задания дополнение было в именительном падеже;
• все прочерки для дополнения должны быть одинаковой длины;
• желательно дать обучаемому образец ответа.

Закрытая форма тестовых заданий должна отвечать следующим требованиям:

• равная правдоподобность элементов;
• желательно, чтобы все элементы выбора были равны по длине;
• в элементах выбора желательно использовать один объект или равное количество объектов;
• необходимо исключить повторяющиеся слова в ответах;
• все элементы должны быть верными утверждениями, но только один из них является верным ответом на данное задание, а остальные могут являться верными на другие задания в этом тесте или в других тестах.

 

Тестовые задания на соответствие содержат два множества, правый столбик - для выбора, левый - для ответа. В правом формируется, например, на 1-3 элемента больше, чтобы при последней подстановке у студента был выбор, а не автоматически подставляемый остаток. Все элементы являются истинными высказываниями.

В тестовых заданиях на установление правильной последовательности может  быть избран принцип формирования элементов  по алфавиту. Если алфавитный список является верным ответом, то элементы располагаются случайным образом. С целью нивелирования заимствования ответа у соседа в заданиях данной формы надо формулировать тестовое задание в 2-3-х синонимичных по смыслу вариантах, которые выбираются случайным образом. [5]