Сутність та теорії інтелекту

Третий этап конструирования теста  является этапом отбраковки непригодных  заданий, а не творческим процессом  их создания. Но именно этот этап традиционно считается конструированием теста. Для него разработан весь существующий в настоящее время аппарат эмпирико-статистической теории теста, предназначенный для оценки валидности и надежности теста и отдельных его заданий.

Процедура валидизации и проверки на надежность, гомогенность (однородность), дифференцирующую силу, прогностичность и т. д. сводится к отбору заданий теста и представляет собой итерационную процедуру доведения теста до требуемого уровня качества за счет замены заданий, их модификации, а также изменения процедуры проведения и интерпретации данных тестирования.

Все существующие тесты интеллекта можно условно разделить на две  группы: 1) тесты «скорости» и 2) тесты «уровня». Если при проведении первых вводится жесткий лимит времени, то при проведении вторых, хотя и есть ограничение времени выполнения теста или субтеста, но главную трудность для испытуемого составляют особенности заданий. Встречаются варианты тестов, где используются оба вида затруднений.

Тесты «скорости» представляют собой  несколько однотипных и близких  по уровню сложности заданий. Испытуемый должен решить их за определенное время. Показателем успешности служит число  правильно решенных заданий. Уровень  сложности их должен быть близок 0,5, то есть задание решает правильно половина людей выборки, на которой проверяется тест.

В тестах «уровня», как уже было отмечено, время, которое дается испытуемому, значительно превышает время, необходимое среднему испытуемому для решения теста. Создатель теста всегда полагает, что испытуемый, не справившийся с заданием за отведенное время, не решит его никогда. В качестве «измерительной линейки интеллекта» в тестах «уровня» используется шкала сложности тестового задания.

Главное затруднение вызывает оценка сложности задания. Согласно модели Раша, сложность оценивается экспериментально, следовательно, имеет статистический характер. Кроме того, возникает необходимость установить: 1) минимально необходимое число заданий для каждого уровня сложности, 2) необходимое число уровней сложности, 3) достоверность различий оценок сложности заданий, принадлежащих разным уровням.

Эти проблемы решены в работе Ф. М. Юсупова [5], который предложил вероятностную  модель прогнозирования параметров теста «уровня». Расчеты показывают, что в тестовом задании целесообразно  брать от 6 до 10 вариантов ответа, чтобы минимизировать вероятность случайного решения.

Число заданий в тесте уровня не должно быть слишком велико для  того, чтобы значения показателей  сложности соседних по уровню сложности  заданий надежно различались. Кроме  того, нужно учесть, что правильный ответ может быть выбран испытуемым случайно.

При 6 вариантах ответа в каждом тестовом задании количество заданий не может быть более 6-7 (см. табл. 3).

Таблица 3. Расчетные значения показателей сложности тестовых заданий

Номер задания	1	2	3	4	5	6	7
Показатель сложности	0,035	0,146	0,309	0,5	0,69	0,834	0,97

Модель, предложенная Ф. М. Юсуповым, позволяет  спрогнозировать минимальный объем выборки, достаточной для стандартизации теста.

Соответствующая модель для расчета  параметров теста с эквивалентными по трудности заданиями (тест «скорость») предложена в работе В. Н. Дружинина [б].

Эмпирически проверка теста интеллекта на валидность и надежность — процедура стандартная и хорошо отражена в методических руководствах [I].

Главное, что следует заметить: все разработанные тесты рассматривают  интеллект как некоторую непрерывную величину (по аналогии с ростом или весом), которой люди характеризуются в разной степени.

Рис. 14. Отношения между шкалой IQ и шкалами отдельных тестов интеллекта

Подразумевается, что, как большинство  биологических и социальных параметров, интеллект характеризуется нормальным распределением людей вдоль оси континуума.

Можно предположить, что существующие тесты интеллекта, включающие в себя задания разной сложности, захватывают  разные участки этого континуума. Парадоксально, что это не отражается на характеристиках распределения  людей по результатам тестирования! Возможно, к этому приводит искусственный  подбор заданий и процедура нормализации шкалы.

Число баллов в каждом тесте интеллекта имеет верхнюю и нижнюю границы, а не простирается в бесконечность, следовательно, уместно говорить лишь о квазинормальности любого распределения людей по отношению к шкале тестового балла.

При подсчете баллов во всех тестах используется кумулятивная аддитивная модель: суммируются  баллы, набранные за выполнение каждого  отдельного задания, несмотря на их (заданий) содержательную разнородность.

На первый взгляд пользоваться гипотезой  о прямой зависимости вероятности решения задачи от уровня способности, с определенными оговорками, можно лишь для тестов с эквивалентными по трудности заданиями. В тестах «уровня» более целесообразно было бы применять шкалу трудности, измеряя способность самым сложным заданием, которое решил испытуемый. Однако решение зависит от массы случайных факторов, начиная с угадывания и кончая индивидуальной интерпретацией тестовой задачи испытуемым.

На примере теста Равена мой  аспирант Ф. М. Юсупов проверил, в какой  мере валидны различные модели подсчета тестовых баллов:

1) традиционный, применявшийся в тесте балльный показатель,

2) сумма рангов сложности решенных заданий,

3) количество правильно выполненных заданий (оценка трудности заданий не учитывалась),

Таблица 4. Коэффициенты вариации и их ошибки для четырех видов показателей тестовой шкалы

Система оценки	Коэффициент вариации	Ошибка коэффициента вариации
Без учета сложности	19,49%	1,4%
Модиф. показатель сложности	38,34%	2,76%
Сложность в баллах	24,43%	1,76%
Сложность в рангах	30,53%	2,19%

4) сумма показателей сложности решенных задач (сложность определялась отношением числа решивших задачу к общему числу испытуемых).

Время работы испытуемых с тестом не ограничивалось. Результаты исследования показали, что наихудшей дифференцирующей способностью обладает показатель, не учитывающий трудности задания, что естественно, поскольку мы имеем дело с тестом уровня. Наилучшая дифференцирующая способность у модифицированного показателя трудности [5]. Показатель, учитывающий сложность в рангах, и традиционный показатель заняли второе и третье место.

W

0,8-0,7-0,6-0,5-0,4-0,3 -

 

 

m

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

 

Рис. 15. График зависимости диапазона изменения показателя сложности от числа вариантов ответов в тестовом задании (по Ф. M. Юсупову)

Таблица 5. Коэффициенты интеркорреляций для пяти различных показателей шкалы

Показатель шкалы	1	2	3	4
1. Используемый в тесте Равена	1	0,988	0,961	0,909
2. Учитывающий сложность в ранговой форме	0,988	1	0,94	0,981
3. Не учитывающий сложности тестовых заданий	0,961	0,94	1	0,885
4. Учитывающий сложность в форме весовых коэффициентов	0,909	0,981	0,885	1
5. Используемый в тесте	0,715	0,754	0,678	0,79

Таблица 6. Результаты факторного анализа для пяти показателей шкалы

Показатель шкалы	I	II	h2
1. Используемый в тесте Равена	0,911	0,385	0,978
2. Учитывающий сложность в ранговой форме	0,889	0,454	0,995
3. Не учитывающий сложность тестовых заданий	0,915	0,336	0,95
4. Учитывающий сложность в форме весовых коэффициентов	0,805	0,54	0,94
5. Используемый в тесте «уровня»	0,388	0,918	0,993

 

Для удобства факторизации показателей  был введен пятый ранг наиболее сложного выполненного задания.

Факторизация по методу главных  компонент с последующим их вращением  по методу Г. Кайзера дала два значимых фактора (см. табл. 6). Наибольший вес по первому фактору имел традиционный показатель продуктивности, используемый в тесте Равена, а наименьший — показатель, учитывающий ранг наиболее сложного решенного задания.

Соответственно второй фактор имел максимальную нагрузку на последний  показатель и минимальную — на традиционный, используемый в тесте Равена.

Поскольку первый фактор объяснял 64,9% дисперсии, а второй только 32%, можно было сделать совершенно очевидный вывод, что успешность выполнения теста Равена, несмотря на то что он является типичным тестом «уровня», определяется скоростным фактором интеллекта в большей мере, чем фактором, обусловливающим решение сложных заданий. Естественно, результаты факторизации показали, что это разные факторы, и, следовательно, тесты «скорости» измеряют иной «интеллект», чем тесты «уровня». Этот результат тем более интересен, что тест Равена мы использовали без ограничения времени решения (не как тест «скорости», а как тест «уровня»).

Второй фактор интерпретируется как  предельная возможность испытуемого  при выполнении теста, что в большей  мере соответствует теоретическому пониманию способности как свойства психики.

Однако тестовая шкала, по которой  способность будет определяться решением лишь одного тестового задания, будет очень подвержена действию случайных факторов. Данные шкалограммного анализа показали, что испытуемые, решившие сложные задания, часто не справляются с простым.

Коэффициент корреляции реальной шкалограммы  с идеальной равен 0,82 (желательная величина — 0,9).

Тем самым наиболее приемлем комплексный  показатель, учитывающий как число  заданий, так и их эмпирически  установленную сложность (см. табл. 4-5).

Первый же фактор следует назвать  фактором скоростной продуктивности, что соответствует пониманию  интеллекта Г. Айзенком.

ПРОГРЕССИВНЫЕ МАТРИЦЫ ДЖ. РАВЕНА

Дж. Равен был учеником Ч. Спирмена. В 1936 году он совместно с Л. Пенроузом предложил тест Progressive Matrices для измерения уровня развития общего интеллекта. По мнению Спирмена, наилучшим способом определения интеллекта является тест на поиск абстрактных отношений. В основу заданий теста положены теория гештальта и теория интеллекта Спирмена. Предполагается, что испытуемый первоначально воспринимает задание как целое, затем выделяет закономерности изменения элементов образа, после чего выделенные элементы включаются в целостный образ и находится недостающая часть изображения.

В качестве материала были выбраны  абстрактные геометрические фигуры с внутренним рисунком, организованным по определенному закону (см. рис. 16).

Были сконструированы три основных варианта теста: 1) более простой цветной тест, предназначенный для детей от 5 до 11 лет, 2) черно-белый вариант для детей и подростков от 8 до 14 лет и взрослых от 20 до 65 лет, 3) вариант теста, сконструированный в 1977 году Дж. Равеном в сотрудничестве с Д. Кортом и предназначенный для лиц с высокими интеллектуальными достижениями. Последний вариант включает в себя не только невербальную, но и вербальную часть.

Тест может проводиться как  с ограничением времени выполнения заданий, так и без ограничения (по желанию исследователя).

В цветном варианте теста используются три серии, различающиеся по уровню трудности. В каждой серии — 12 матриц. Второй вариант состоит из 5 серий (А, В, С, D, Е) по 12 заданий, расположенных по возрастанию трудности. Трудность заданий возрастает от серии А к серии Е. Первые 5 заданий серии А испытуемый выполняет с помощью экспериментатора, остальные — самостоятельно. Испытуемый должен выбрать правильный ответ из 6-8 предложенных. Число вариантов ответа увеличивается по мере возрастания трудности серии.

Равен предполагал, что в ходе выполнения теста испытуемый обучается и выполнение предшествующего задания готовит его к выполнению последующего, более трудного.

В серии А испытуемый должен дополнить недостающую часть изображения. Он должен проявить умение дифференцировать элементы и выявлять связи между элементами гештальта, а также дополнять недостающую часть структуры, сличая ее с образцами.

В серии В испытуемый должен найти аналогии между парами фигур, дифференцируя их элементы.

С8

ЕЮ

Рис. 16. Стандартные прогрессивные матрицы Дж. Равена (образец задания)

При выполнении серии С нужно решить задачу, определив принцип изменения фигур по вертикали и горизонтали.

В серии D требуется определить закономерность перестановки фигур по горизонтали и вертикали.

Серия Е для своего решения требует анализа фигур основного изображения и составления недостающей фигуры по частям.

За каждое правильное решение присваивается 1 балл, подсчитывается число правильных решений в каждой серии и общее число баллов, которые переводятся либо в стандартные баллы (стэны), либо в стандартный коэффициент IQ. На основе результатов по сериям вычисляют также «индекс вариабельности». Существуют полученные на выборке стандартизации распределения числа правильных решений по сериям, соответствующие общей сумме баллов. Табличное распределение сравнивается с полученным при тестировании испытуемого, а разности ожидаемой и эмпирической оценок суммируются без учета знака. «Индекс вариабельности» характеризует достоверность результатов и направлен на выявление испытуемых, решавших задания путем угадывания или симулирующих низкий результат (не решавших простые задачи).