Показатели и индикаторы в оценке и качестве знаний

  Рассмотрение  системы показателей по цепочке  «затраты — результаты — эффект», помимо прочего, позволяет осуществить  анализ комплексности системы, выявить  избыточные или отсутствующие показатели. Для примера приведем фрагмент схемы, в которую внесены показатели ПНПО (рисунок 1.1).

• Рисунок 1.1-Анализ показателей, относящихся к разделу «Справочная информация
• по приоритетному национальному проекту "Образование" с точки зрения задачи мониторинга реализации проекта» (фрагмент)
• Представленная схема достаточно наглядно иллюстрирует, что набор показателей не отличается комплексностью и не позволяет в полной мере ни оценивать образовательную политику по конечным результатам, ни осуществлять мониторинг реализации программ развития образования по цепочке «затраты — непосредственные результаты — эффект».
• В настоящем разделе мы сознательно не останавливались на подробном рассмотрении собственно состава показателей с точки зрения их адекватности поставленным задачам. К сожалению, основные системы индикаторов, которые используются в настоящее время и на федеральном, и на региональном уровне в этом смысле не свободны от ошибок и недостатков. Применительно к Национальному проекту комплексной модернизации региональных систем образования состав индикаторов с позиций их адекватности решаемым в рамках проекта задачам подробно проанализирован в другой работе [2]. Здесь же, чтобы не показаться голословными, приведем только один пример. В Типовой инструкции о порядке составления отчетности о реализации приоритетных национальных проектов в числе показателей присутствует «коэффициент соотношения заработной платы учителей общеобразовательных учреждений к расходам консолидированного бюджета субъекта РФ на образование одного ученика». Не вдаваясь в обсуждение вопроса о том, что такое «коэффициент соотношения», попробуем разобраться, в чем состоит содержательный смысл этого показателя, что он характеризует. Допустим, средняя заработная плата учителя составляет 5 тыс. руб. в месяц, годовая соответственно 60 тыс. руб.; расходы на одного учащегося составляют 15 тыс. руб. в год. «Коэффициент соотношения» будет в этом случае, видимо, равен 4. При этом он может оказаться одинаковым для региона с 15 учениками на одного учителя и для региона с 2 учениками на одного учителя, для региона, где заработная плата учителей одинаковая, и для региона, где уровень оплаты труда варьирует достаточно широко. По всей видимости, разработчики хотели оценить «трудоемкость» образовательного процесса, в этом случае можно предложить давно известный показатель «доля фонда оплаты труда в расходах на образование». В сегодняшнем же виде этот показатель, как представляется, не несет смысловой нагрузки.
• Приведенный пример, конечно, исключение, хотя далеко не единственное. Проблема состава показателей действительно сложная и, помимо адекватности поставленной задаче, включает такие аспекты, как взаимосвязь и непротиворечивость показателей, их взаимозависимость, полнота и избыточность. Формирование адекватного, удовлетворяющего критериям необходимости и достаточности набора индикаторов — предмет отдельной статьи.

  Основной  риск неверно сформированного набора индикаторов заключается в том, что если индикаторы используются для  оценки деятельности или реализации программы, то сам по себе набор индикаторов  является достаточно мощным средством  управляющего воздействия на политику: подведомственные структуры будут стремиться обеспечивать положительную динамику тех показателей, по которым их оценивают, и таким образом реализовы- вать определенные приоритеты образовательной политики вышестоящего органа. Неудачный выбор и отсутствие комплексности или неполнота набора показателей чреваты стремлением обеспечить решение части задачи в ущерб целому.

Сбор информации может быть организован двумя  способами. В первом случае респонденты  представляют исходные данные, которые  затем обрабатываются по унифицированным  методикам. Так, например, происходит расчет международных индикаторов образования, ежегодно осуществляемый ОЭСР, ЮНЕСКО, Евро- статом.

  Мониторинг  национальных проектов, ФЦПРО и других программ организован по-другому. В  этих случаях респонденты представляют самостоятельно рассчитанные ими индикаторы.

  В частности, Типовой инструкцией о порядке  составления отчетности о реализации приоритетных национальных проектов предусматривается, что регионы сами предоставляют все данные, включая справочные показатели. В этом случае возникает высокий риск получения несопоставимых или ложных данных, поскольку расчет почти каждого из включенных в отчетность показателей может осуществляться различными способами.

  Даже  такой, казалось бы, очевидный показатель, как охват основным образованием (отношение числа учащихся в 1-9-х классах к численности населения в возрасте 7-15 лет), имеет свои особенности. Дело в том, переход с 3-летнего на 4-летнее обучение в начальной школе, хотя и завершен, все еще сказывается, т.е. в некоторых регионах еще есть ученики, которые перешли сразу из 3-го класса в 5-й. Таким образом, число учащихся (знаменатель дроби) охватывает когорту менее девяти лет и соответственно уменьшает величину дроби. В результате этот показатель занижается. Если не учитывать этот факт, то получится, что по России в целом в 2004 г. не получал обязательного основного (9 классов) образования каждый шестой подросток, в Новгородской области не обучался в начальной и основной школе каждый четвертый подросток (охват 75%), а в Тыве — каждый десятый. Верится с трудом.

  Еще один пример. Рассмотрим такой показатель, как «число учеников, приходящихся на одного учителя в общеобразовательных учреждениях», который рассчитывается в соответствии с формулировкой как отношение числа учащихся к числу учителей.

  Число учащихся (числитель дроби) может  определяться на начало учебного года или в среднем за год, с учетом обучающихся в коррекционных учреждениях образования или без них и т.д. Еще более сложная ситуация со знаменателем дроби — численностью учителей. К уже перечисленным вариантам добавляется учет преподавателей, работающих по совместительству и на неполную ставку, и др. В качестве иллюстрации приведем результаты расчета показателя «соотношение преподавателей и учащихся» по двум достаточно близким методологиям. В обоих случаях соотношение рассчитывалось с учетом численности учащихся в коррекционных школах и классах, но в первом случае численность учителей и учащихся бралась на начало учебного года по формам федерального государственного статистического наблюдения (ФГСН) 76-рик и 83-рик и в численности учителей учитывались совместители. Результат — 10,3. Во втором случае те же по составу преподаватели и учащиеся рассчитаны в среднегодовом исчислении по форме ОШ-2 ФГСН. Результат составил 11,3 ученика на одного учителя.

  Единица для данного показателя составляет достаточно значимую разницу. Используя другие, даже основанные на данных ФГСН, методологии расчета, можно получить разницу в 2 или даже в 3 ученика на одного учителя, причем вполне «законно». Заметим, что в международной практике для расчета этого показателя используется довольно сложная методика с приведением учащихся и преподавателей к полнодневному эквиваленту, и она позволяет достаточно достоверно проводить межстрановые сравнения.

  Представляется, что эффективнее было бы осуществлять расчет тех показателей, которые основываются на данных федерального государственного статистического наблюдения и результатах Единого государственного экзамена (а таких большинство), централизованно. Для расчета остальных показателей правильнее было бы снабжать респондента подробной, исключающей множественные толкования инструкцией по сбору данных. Для тех показателей, которые нельзя рассчитать на основе статистической отчетности (искажение которой преследуется по закону), необходимо предусмотреть также систему контроля, поскольку соблазн завысить показатели достаточно велик.

л

  Зачастую  в системах индикаторов используются такие показатели, возможность достоверного расчета которых вызывает сомнение. В первую очередь это касается попыток применить данные статистики среднего и высшего профессионального образования на региональном уровне. В статистике действительно достаточно подробно представлена информация о численности учащихся, образовании поступивших, числе выпускников и т.п. Но информации о том, откуда приехали учащиеся, где они получали образование и остались ли в регионе или вернулись домой, в статистике нет. Получение такой информации потребовало бы проведения сплошного обследования всех учреждений среднего и высшего профессионального образования России. Поэтому все показатели, характеризующие охваты, окончание, переходы с одного уровня образования на другой, т.е. отражающие доступность и масштабы территориальных образовательных систем в отношении среднего и начального профессионального образования, на региональном уровне не работают. Здесь можно привести уже став ший хрестоматийным пример, что по охвату высшим образованием, т.е. по соотношению численности учащихся и численности населения соответствующего возраста, Московская и Ленинградская области занимают места в последней пятерке вместе с Чукотским АО, а в самих мегаполисах этот показатель превышает 100%. В условиях чрезвычайно неравномерного размещения вузов и, хотя и в меньшей степени, учреждений среднего профессионального образования данные статистики не позволяют достоверно оценить большинство характеристик среднего и высшего профессионального образования в региональном разрезе.

  Для расчета  многих часто используемых показателей  нет статистических данных, собираемых на постоянной основе. Это относится к заработной плате в профессиональном образовании и многим другим финансовым показателям этой сферы. Необходимо наладить систему сбора достоверной информации, прежде чем использовать такие показатели для планирования или оценки.

2.2 . Методика анализа показателей

Любая оценка производится путем сравнения значений определенных характеристик системы с желаемыми, идеальными, средними, т.е. с эталоном или нормой. Однако в образовании, как и вообще в социальной сфере, практически нет аналитически рассчитанных норм или объективных эталонов. Если взять такой об- щеупотребимый показатель, как число учащихся на одного преподавателя, то понятно, что чем больше — тем лучше, по крайней мере с точки зрения эффективности использования ресурсов. Все согласятся, что 8 учеников на одного учителя — мало, но 30 учеников, наверное, много, по крайней мере при используемых сегодня технологиях обучения. Где же золотая середина? Используемые сегодня нормативы — наполняемость классов, число аудиторных часов, соответствующих полной ставке преподавателя, и ряд других — не имеют под собой достаточных аналитических обоснований. Можно сказать, что для таких показателей, как охват образованием или освоение программ, по крайней мере от дошкольного и до полного среднего образования, эталон — это 100%, и относительно него и надо проводить сравнения. Но это — кажущееся решение проблемы. Добиться поголовного участия в образовании, как и поголовной успеваемости, невозможно. Всегда найдутся дети, которые не хотят учиться. При высоких уровнях охвата и успеваемости возникает эффект насыщения, при котором каждый последующий процент прироста показателя требует все больших затрат. Так где надо остановиться: при 95% охвата или при 98%? При 90%-й успеваемости или 95%-й? При этом нельзя забывать, что в разных условиях один и тот же охват образованием требует разных усилий. В большом городе гораздо труднее выявить не посещающих школу и заставить ходить в школу не желающих учиться, чем в отдаленной деревне.

  В этих условиях основным инструментом оценки становится сравнительный анализ —  как динамический, т.е. отслеживание по казателей одной и той же системы во времени, так и межсистемный, сопоставительный.

  Главная проблема здесь — корректность сравнений.

  Сравнения данных во времени и сравнение  показателей разных образовательных систем корректны, если:

• данные приведены к сопоставимому виду;
• сравнение проводится с учетом условий функционирования и возможностей развития образовательных систем.

  Для приведения к сопоставимому виду данных, относящихся  к разным периодам, и финансовых показателей территориальных систем применяются вполне стандартные  приемы, основанные на использовании  дефляторов, индекса бюджетных расходов или других показателей (минимальный прожиточный уровень, стоимость стандартной потребительской корзины), которые нивелируют различия в покупательной способности рубля на разных территориях [1; 6]. Имеются и специальные приемы для сравнения результатов единого государственного экзамена, позволяющие нивелировать различия в условиях участия в эксперименте. Однако есть и другие факторы, которые делают прямые сравнения индикаторов образования для разных территорий некорректными.

  Приведем  еще один пример. В рейтинге субъектов  Российской Федерации по показателям  развития образования, разработанном специалистами ВШЭ [9], используется показатель «расходы регионального консолидированного бюджета на образование в процентах к ВРП» как «важнейший индикатор уровня обеспеченности финансовыми ресурсами образовательных учреждений» [Там же, с. 45]. Приведенные далее в публикации данные свидетельствуют, что в Москве значение этого показателя составляет 1,42%, а в Ингушетии — 11% [Там же, с. 11-15]. Означает ли это, что уровень обеспеченности финансовыми ресурсами учебных заведений в столице в 8 раз хуже, чем в Ингушетии?

  Основные  факторы, оказывающие непосредственное влияние на уровень большинства  индикаторов образования:

• степень урбанизации территории, которая определяется долей городского населения;
• уровень экономического развития территории, характеризуемый размерами валового регионального продукта в расчете на душу населения (для региональных образовательных систем) и суммой расходов бюджета на душу населения для муниципальных образовательных систем

  Первый  фактор определяет условия функционирования территориальной образовательной системы и оказывает сильное влияние на многие показатели — от результатов ЕГЭ до наполняемости классов и доступности отдельных видов образования.

л