Дидактические и методические вопросы организации контроля в компьютерных обучающих средах

Содержание
Введение
1. Тесты как средства контроля
2.   Схема создания тестовых заданий
3.   Технологии и системы тестирования
4. Методические основы создания компьютерных тестов
5. Типовые ошибки разработки тестовых заданий
6. Дидактические и методические вопросы организации контроля в компьютерных обучающих средах

Заключение
Список используемых источников

Введение.

Переход всего человечества от постиндустриальной фазы развития к информационному обществу ставит перед образовательной средой глобальную проблему – увеличение количества и повышение качества учебной информации, при инвариантном учебном времени, за которое должна быть усвоена эта информация. 

Составление компьютерных тестов является довольно сложным делом. Очень важно научиться отличать профессионально сделанный добротный тест от популярно-развлекательного журнального опросника. Настоящий, действенный, валидный и эффективно работающий тест - это завершенный продукт, обладающий определенными свойствами и характеристиками и отвечающий современным методическим требованиям. Тест обладает составом, целостностью и структурой. Он состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность теста проявляется во взаимосвязи заданий, включенных в тест. Ни одно из заданий не может быть изъято из теста без ущерба для него. Структура же его проявляется в способе связи заданий между собой. 

  Создание теста предполагает тщательный анализ содержания учебной дисциплины, классификацию учебного материала, установление межтематических и межпредметных связей, укрупнение дидактических единиц с последующим представлением этих единиц через элементы композиции задания. 

Одним из путей, обеспечивающих разрешение противоречия, возникшего в составлении тестов, является применение тестирования, как части многих педагогических инноваций. Стало очевидным фактом то, что тесты позволяют получить объективные оценки уровня знаний, умений, навыков и представлений, выявить пробелы в подготовке. В сочетании с обучающими программами на персональных ЭВМ, тесты позволяют перейти к адаптивному обучению и контролю знаний – наиболее эффективным, но, однако наименее применяемым у нас формам организации учебного процесса.

Когда говорят о тестах, всегда упоминаются их важнейшие характеристики – валидность и надёжность, определяющие качество теста, как инструмента педагогического измерения. Мы же поставили своей целью проанализировать мотивационный эффект использования контрольных тестовых заданий.

Существует специальная теория тестирования, оперирующая понятиями надежность, валидность, матрица покрытия и т.д., не специфических именно для компьютерных тестов.

1. Тесты как средства контроля.

Переход всего человечества от постиндустриальной фазы развития к информационному обществу ставит перед образовательной средой глобальную проблему – увеличение количества и повышение качества учебной информации при инвариантном учебном времени, за которое должна быть усвоена эта информация. 

Одним из путей, обеспечивающих разрешение этого противоречия, является применение тестирования, как части многих педагогических инноваций. Стало очевидным фактом то, что тесты позволяют получить объективные оценки уровня знаний, умений, навыков и представлений, выявить пробелы в подготовке. В сочетании с обучающими программами на персональных ЭВМ, тесты позволяют перейти к адаптивному обучению и контролю знаний – наиболее эффективным, но, однако наименее применяемым у нас формам организации учебного процесса.

Тестирование является одним из наиболее технологичных методов проведения автоматизированного контроля с заложенными в него параметрами качества.

Компьютерное тестирование

  Обучение - многогранный процесс, и контроль знаний - лишь одна из его сторон. Однако именно в ней компьютерные технологии продвинулись максимально далеко, и среди них тестирование занимает ведущую роль. В ряде стран тестирование потеснило традиционные формы контроля - устные и письменные экзамены и собеседования.

      По-видимому, многие преподаватели уже прошли через некоторую эйфорию при создании тестов и поняли, что это - весьма непростое дело. Куча бессистемно надерганных вопросов и ответов - далеко еще не тест. Оказывается, что для создания адекватного и эффективного теста надо затратить много труда. Компьютер может оказать в этом деле немалую помощь.

    Существует специальная теория тестирования, оперирующая понятиями надежность, валидность, матрица покрытия и т.д., не специфических именно для компьютерных тестов. Не будем в нее углубляться, сосредоточившись в основном на технологических аспектах.

    Как отмечалось выше, широкое распространение в настоящее время получают инструментальные авторские системы по созданию педагогических средств: обучающих программ, электронных учебников, компьютерных тестов. Особую актуальность для преподавателей школ и вузов приобретают программы для создания компьютерных тестов - тестовые оболочки. Подобных программных средств существует множество, и программисты-разработчики готовы строить новые варианты, так называемых, авторских систем. Однако широкое распространение этих программных средств сдерживается отсутствием простых и нетрудоемких методик составления тестовых заданий, с помощью которых можно “начинять” оболочки. В настоящем разделе представлены некоторые подходы к разработке компьютерных тестов.

        Тестирование - процесс оценки соответствия личностной модели знаний ученика экспертной модели знаний. Главная цель тестирования - обнаружение несоответствия этих моделей (а не измерение уровня знаний), оценка уровня их несоответствия. Тестирование проводится с помощью специальных тестов, состоящих из заданного набора тестовых заданий.

     Тестовое задание - это четкое и ясное задание по предметной области, требующее однозначного ответа или выполнения определенного алгоритма действий.

 Тест - набор взаимосвязанных тестовых заданий, позволяющих оценить соответствие знаний ученика экспертной модели знаний предметной области.

Тестовое пространство - множество тестовых заданий по всем модулям экспертной модели знаний.

Класс эквивалентности - множество тестовых заданий, таких, что выполнение учеником одного из них гарантирует выполнение других.

Полный тест - подмножество тестового пространства, обеспечивающее объективную оценку соответствия между личностной моделью и экспертной моделью знаний.          Эффективный тест - оптимальный по объему полный тест.

Самой сложной задачей эксперта по контролю является задача разработки тестов, которые позволяют максимально объективно оценить уровень соответствия или несоответствия личностной модели знаний ученика и экспертной модели.  
 

2.Схема создания тестовых заданий.
 

    Самый простой способ составления тестовых заданий - формирование вопросов к понятиям, составляющим узлы семантического графа, разработка упражнений, требующих для их выполнения знания свойств выбранного понятия. Более сложным этапом является разработка тестовых заданий, определяющих отношения между понятиями. Еще более глубокий уровень заданий связан с их подбором, выявляющим связь понятий между отдельными модулями.

     Множество тестовых заданий (тестовое пространство), вообще говоря, согласно принципу исчерпывающего тестирования, может быть бесконечным. Например, для исчерпывающего контроля знании таблицы умножения целых чисел от 1 до 100 необходимо использовать 100х100 всех возможных комбинаций двух чисел. А для всех натуральных чисел тестовое пространство становится бесконечным.

  Однако в каждом реальном случае существует конечное подмножество тестовых заданий, использование которых позволяет с большой вероятностной точностью оценить соответствие знаний ученика заданным критериям по экспертной модели знаний (полный тест).

  Из полного теста можно выделить эффективный тест (оптимальный по объему набор тестовых заданий, гарантирующий оценку личностной модели ученика заданным критериям). Выбор эффективного теста зависит от удачного разбиения тестового пространства на классы эквивалентности, пограничные условия, создание тестов на покрытие путей и логических связей между понятиями и модулями.
        Тест-это система заданий, организованных так, чтобы проверить, что именно и насколько прочно усвоил ребенок из программы.
Тестирование учащихся - это установление факта и степени усвоения учащимися программного материала путем сравнения уровня их знаний и способов действий с требованиями программы и образовательного стандарта. Завершается эта процедура оцениванием.
Рекомендуется применять три вида оценивания результатов обучения : начальную, текущую и итоговую.
Начальное оценивание осуществляется в начале каждой программы обучения с целью определения уровня подготовки ученика на данный момент. Результаты оценивания будут использованы для выбора индивидуальных заданий соответствующей степени сложности.
Текущее оценивание реализуется во время всего дидактического процесса через малые промежутки времени. Ключевые цели учебных программ предусматривают следующие категории знаний и навыков:

·        Знание теоретических концептов;

·        Знание алгоритмов обработки информации;

·        Разработка программ для решения стандартных задач;

·        Разработка программ для решения задач, требующих определенную долю творчества;

·        Обработка информации на компьютере с помощью стандартных программ или программ разработанных учениками. 

Таким образом, цели оценивания непосредственно вытекают из требований предлагаемых упражнений. Оценивание осуществляется при помощи тестирования и письменных контрольных работ.

Итоговое оценивание осуществляется в конце каждой главы, семестра, года. В качестве компонентов инструмента оценивания рекомендуется применять тестовые задания, включающие решение задач на компьютере. 
В настоящее время существуют следующие варианты тестовых контрольных мероприятий:
«автоматический», когда обучаемый выполняет задание в непосредственном диалоге с ЭВМ, результаты сразу переносятся в блок обработки;
«полуавтоматический», когда задания выполняются письменно, а ответы со специальных бланков вводятся в ЭВМ;
«автоматизированный», когда задания выполняются письменно, решения проверяются, а в ЭВМ вводятся результаты проверки.

3.  Технологии и системы тестирования.

Проблема автоматизированного проектирования педагогических тестов, видимо, в ближайшее время не может быть корректно и достаточно полно разрешенной, в частности, из-за ситуационного многообразия и отсутствия четких критериев автоматизации такой плохо формализуемой проблемы. Тем не менее, попытаемся изложить основные принципы автоматизированной разработки тестов и тестирования.

Технология компьютеризированного тестирования должна обладать основными характеристиками: 
1.       наличие интерактивной инструментальной среды; 
2.       мультипредметное применение; 
3.       адекватное отражение конструируемой модели предметной области в процессе тестирования; 
4.       возможность выбора алгоритма тестирования; 
5.       интегрируемость в различные образовательные технологии; 
6.       профилируемость; 
7.       масштабируемость; 
8.       доступность; 
9.       дружественность пользовательского интерфейса; 
10.   ведение базы тестовых многоуровневых заданий; 
11.   настраиваемое планирование и управление; 
12.   нацеленность на достижение более высоких результатов и повышение мотивации.

 Компьютерные тесты обладают рядом преимуществ по сравнению с традиционными    тестами:
Отмечу особенности компьютерного тестирования, которые невозможно реализовать при бланковом тестировании. 
·     Повышается интенсивность обучения. Стала возможна проверка большого объема учебного материала. 
·     Обеспечивается высокая объективность оценивания результатов. 
·     Усиливается доля самостоятельной работы. 
·     Работа за компьютером приучает к точности.

·     Компьютерные тесты обеспечивают быструю и качественную обратную связь. Результаты работы сразу становятся известны: сколько заданий верно, оценка. Ученик сразу увидит ошибки и может их исправить.
Компьютерное тестирование обладает также рядом преимуществ, которые позволяют:
·     Применять новые адаптивные алгоритмы тестового контроля;
·     Использовать в тестах мультимедийные возможности компьютеров;
·     Уменьшить объем бумажной работы и ускорить подсчет результатов;
·     Упростить администрирование и проводить тестирование круглый год;
·     Обеспечить комфортные условия работы для каждого тестируемого;
·     Повысить секретность и оперативность передаваемой информации, снизить затраты на организацию и проведение тестирования.
 

4. Методические основы создания компьютерных тестов. 
 

Составление компьютерных тестов является довольно сложным делом. Очень важно научиться отличать профессионально сделанный добротный тест от популярно-развлекательного журнального опросника. Настоящий, действенный, валидный и эффективно работающий тест - это завершенный продукт, обладающий определенными свойствами и характеристиками и отвечающий современным методическим требованиям. Тест обладает составом, целостностью и структурой. Он состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность теста проявляется во взаимосвязи заданий, включенных в тест. Ни одно из заданий не может быть изъято из теста без ущерба для него. Структура же его проявляется в способе связи заданий между собой. 
  Создание теста предполагает тщательный анализ содержания учебной дисциплины, классификацию учебного материала, установление межтематических и межпредметных связей, укрупнение дидактических единиц с последующим представлением этих единиц через элементы композиции задания. 
Тесты бывают двух видов: 
Традиционные.
Традиционные тесты представлены в виде системы заданий возрастающей трудности, имеющие специфическую форму, позволяющие качественно и эффективно измерить уровень и оценить структуру подготовленности студентов. 
При этом в зависимости от того, по скольким учебным дисциплинам включены в тест задания, традиционные тесты разделяют на гомогенные (проверяющие знания по одному предмету) и гетерогенные (по нескольким предметам). 
Нетрадиционные. 
Нетрадиционные тесты представлены интегративными, адаптивными и критериально-оценочными тестами. 
Критериальные - нацелены на общую итоговую диагностику подготовленности выпускника учебного заведения. В одном тесте предъявляются знания из двух и более учебных дисциплин. Проведение подобного тестирования проводится, как правило, при интегративном обучении. 
Адаптивные тесты позволяют регулировать трудность предъявляемых заданий в зависимости от ответов тестируемого. При успешном ответе компьютер выдает следующее задание, более трудное по сравнению с предыдущим, а в случае неудачи - более легкое. 
Критериально-оценочные тесты предназначены для того, чтобы узнать, какие элементы содержания учебной дисциплины усвоены, а какие - нет. При этом они определяются из так называемой генеральной совокупности заданий, охватывающей всю дисциплину в целом.
Существуют три основные формы тестовых заданий: 
1. Задания с выбором одного или нескольких правильных ответов. Среди этих заданий выделяются такие разновидности, как:
1.1. Выбор одного правильного ответа по принципу: один - правильный, все остальные (один, два, три и т.д.) - неправильные. 
1.2. Выбор нескольких правильных ответов. 
1.3. Выбор одного, наиболее правильного ответа.
2. Задания открытой формы. 
Задания сформулированы так, что готового ответа нет; нужно сформулировать и вписать ответ самому, в отведенном для этого месте. 
3. Задания на установление соответствия, где элементам одного множества требуется поставить в соответствие элементы другого множества. 

При разработке компьютерного теста очень важно продумать уровень его трудности в целом и отдельных тестовых заданий. Традиционно вопросы располагаются в порядке возрастающей трудности. Больше всего в процентном отношении составляется вопросов средней трудности. При подборе заданий необходимо ориентироваться на общий уровень подготовленности тестирующихся. Так, например, при прохождении тестирования слабой по подготовленности группы студентов, трудные задания теста "не работают", так как ни один учащийся не может на них ответить. У сильной группы студентов не будут "работать" слабые задания и т.п. 
Самым лучшим можно считать тест, в котором заложено широкое содержание, и оно охватывает более глубокие уровни знаний. Разработчики тестов должны придерживаться следующих принципов: 
·     Тест должен соответствовать целям тестирования; 
·     Нужно определить значимость проверяемых знаний в общей системе проверяемых знаний;
·     Должна быть обеспечена взаимосвязь содержания и формы теста; 
·     Тестовые задания должны быть правильными с точки зрения содержания; 

5. Типовые ошибки разработки тестовых заданий.

Рассмотрим некоторые типовые ошибки составления тестовых заданий на основе тестовых заданий по информатике и новым информационным технологиям.

Они аналогичны (с точки зрения тестологии) ошибкам и в других предметных областях.
Обозначим здесь и ниже тестовое задание с ошибками (тестологии) через T–, ошибки – через О, а откорректированный тест – через Т+.
Т–. Каждый символ при кодировании кодируется одним байтом. Слово "Тестирование" в ЭВМ обычно кодируется комбинацией длины: а) 12 бит. б) 72 бит. в) 96 бит. г) 192 бит.
О. Наличие двух предложений. Неясно, следует ли включать кавычки (как символы) в длину слова. Нестрогое слово "обычно" недопустимо.
T+. "Тестирование" (без кавычек) кодируется по принципу "1 символ – 1 байт" битовой комбинацией длины: а) 12. б) 72. в) 96. г) 192.
Возможен вариант: T+. Слово "Тестирование" (без кавычек) кодируется в ASCII комбинацией длины: а) 12. б) 72. в) 96. г) 192.
Часто формулируют и так: слово Тестирование кодируется по принципу "символ – байт" комбинацией длины… а) 12. б) 72. в) 96. г) 192.
Последний вариант нам кажется менее удачным, как с позиции грамматики русского языка, так и с позиции информатики (пояснения принципа кодировки). 
Обратим здесь внимание на необходимость слова "длины". Если убрать это слово, то ответ всегда – 2 бита: любое слово всегда кодируется комбинацией из двух бит (0 и 1). 
Каждое слово в тесте – значащее. Лишних слов также не должно быть.

T–. Задуманное число до 500 можно отгадать односложными вопросами, задав их не более: а) 500. б) 50. в) 10. г) 9.
О. Условие не завершено функционально. Понятие "односложное" с точки зрения правил русского языка не требует дополнительного уточнения, но с точки зрения проверяемых знаний и умений (а это принцип бинарного поиска) – предпочтительно пояснить и уточнить.
T+. Задуманное натуральное число до 500 можно отгадать бинарным поиском, задав вопросов не более: а) 500. б) 50. в) 10. г) 9.
T–. Решение системы уравнений: будет удовлетворять условию: а) x>0, y>0. б)x<0, y<0. в)x>0, y<0. г)x<0, y>0. 
О. Ошибки преобразования единиц измерения сообщений или решения системы уравнений, допущенные на любом этапе решения, не всегда приводят к неправильному ответу. Задание не информативно. Неясна, например, причина и не видны некоторые следствия допущенных ошибок.
Т+. Решение системы уравнений:  имеет вид: а)x=1, y=-3. б)x=1, y=2. в)x=-2, y=5. г)x=1, y=-5. Этот тест рассчитан на знание не только единиц измерения сообщений, но и на умение их преобразовывать друг к другу, а на "заключительном участке" – на умение решать системы показательных уравнений. Ошибки, допущенные на любом из этих этапов – существенны и информативны.

6. Дидактические и методические вопросы организации контроля в компьютерных обучающих средах.

Компьютерные технологии тестирования по сравнению с традиционными методиками предлагают расширенные средства контроля знаний, умений и навыков (ЗУН) – от диалоговых систем вопрос-ответ до ситуационно-имитационных моделирующих тестовых систем виртуальной реальности.
Спектр задач контроля в КОС включает начальный (входной), текущий и завершающий контроль/диагностику. Задачи контроля/диагностики уровня подготовки обучаемого делятся на две группы:
(а) диагностика усвоения знаний, 
(б) диагностика овладения умениями и навыками. 
В настоящее время наиболее распространенным является метод компьютерного тестирования: "выбери правильный ответ из предложенных вариантов" .Основные недостатки этого метода:
1.   Большая вероятность обучиться неправильному (запомнить неправильный ответ), 
2.   Формирование привычки угадывания ответа, 
3.   Блокирование / торможение системы размышлений обучаемого при формировании ответов, 
4.   Необходимость иметь большую базу вопросов по учебной теме для случайной генерации текущей группы неповторяющихся тестовых вопросов при многократном использовании тестирующей системы, 
Из-за перечисленных недостатков использовать такие тесты при начальной и текущей диагностике нельзя. Возможно их использование при завершающем контроле, но с учетом всех недостатков.
Предлагаемая альтернатива:
(А) при оценке знаний – создание систем автоматизированного семантического анализа, которые позволяют обучаемому формировать ответ на естественном языке, 
(Б) при оценке умений и навыков – создание имитационно-ситуационных моделирующих программных систем, позволяющих обучаемому выполнять реальные действия в моделирующей среде. 

Заключение.

Республиканский центр тестирования использовал тесты по некоторым школьным предметам, в частности по информатике.
После внедрения тестов в обучающую среду и регулярного использования тестовых заданий, было отмечено проявление следующих положительных и довольно явно выраженных изменений в поведении учащихся: 
а) повысилась активность работы на занятии; 
б) усилился интерес к освоению существующего программного обеспечения и разработке новых программ; 
в) появился дух состязательности; 
г) увеличилось количество положительных эмоций в ходе занятия; 
д) появилось устойчивое стремление "победить" компьютер, доказав при этом наличие твёрдых знаний предмета; 
е) усилился интерес к самостоятельной подготовке. 

Обучение - многогранный процесс, и контроль знаний - лишь одна из его сторон. Однако именно в ней компьютерные технологии продвинулись максимально далеко, и среди них тестирование занимает ведущую роль. В ряде стран тестирование потеснило традиционные формы контроля - устные и письменные экзамены и собеседования.
По-видимому, многие преподаватели уже прошли через некоторую эйфорию при создании тестов и поняли, что это - весьма непростое дело. Куча бессистемно надерганных вопросов и ответов - далеко еще не тест. Оказывается, что для создания адекватного и эффективного теста надо затратить много труда. Компьютер может оказать в этом деле немалую помощь.
Методики тестирования, условия и процедуры их эффективного применения приобретают особую актуальность в период реформирования образования, поскольку тесты можно использовать не только для контроля и обучения различных категорий учащихся, но и в качестве инструмента объективного мониторинга самого образовательного процесса. Однако сведения о принципах создания тестов, их классификации, технологии их разработки являются в достаточной степени разрозненными и мало систематизированны. 
Анализировав данную работу и изучи соответствующий материал по данной теме можно отметить, что тестирование является важным аспектом в современной методике образования. Были изучены все требования, предъявляемые к системам компьютерного тестирования, правила и системы оценки компьютерных тестов. Было выяснено, что компьютерные тесты обладают рядом преимуществ по сравнению с бланковыми тестами, они легки в применении и более интересны как для преподавателей, так и для студентов. Итогами моей работы было составление нескольких тестов по информатике и английскому языку.

Список используемых источников

1.    Аванесов В.С. Современные методы обучения и контроля знаний. Владивосток: Дальрыбвтуз, 1999. – 125 с. 

2.    Аванесов В.С. Композиция тестовых заданий. М.: Ассоциация инженеров-педагогов г. Москвы, 1996.

3.    Заенцев И.В. Нейронные сети: основные модели / Учебное пособие к курсу "Нейронные сети" – Воронежский государственный университет, 1999г.

4.    Зайцева Ж.Н., Солдатин. В.И. Информатизация образования: состояние проблемы и перспективы М.; ИЦПКПС, 1998, 38с. 

5.    Кофтан Ю.Р. Задачи создания компьютерной обучающей среды открытого образования / См. настоящий сборник. 

6.    Кофтан Ю.Р.. Контроль в компьютерных обучающих средах / Материалы XV Международной конференции "Применение новых информационных технологий в образовании", 29-30 июня 2004г.г. Троицк, Московской области. – Троицк: МФО Фонд новых технологий в образовании "Байтик", 2004г.