Показатели и индикаторы в оценке и качестве знаний

Нельзя не учитывать  и такие факторы, как социально–педагогические условия развития личности и влияние  семьи, уровень физического и  психического здоровья, психологическое  состояние обучающегося на момент контроля, состояние тревожности; личностные и педагогические установки на достижение результата при тестировании, ценностно–мотивационное  отношение к обучению и приобретению профессии; стремление быть конкурентоспособным  на рынке труда и др. Важными  являются качество тестовых материалов, точность и надежность педагогических измерителей, используемых технологий, организация и условия контрольно–оценочного  процесса; методы шкалирования и оценивания; свойства генеральной выборки испытуемых и др.

Некоторые из указанных  выше факторов оказывают одинаковое влияние на результат всех участников тестирования (образовательная политика в стране, стандарты, содержание и  качество контрольного измерительного материала (КИМ) и др.), а часть  из них носят случайный характер и оказывают разное воздействие  на индивидуальный результат испытуемых. Влияние случайных факторов сказывается  на результате малых выборок. Однако при рандомизации и статистически  достаточном числе испытуемых влияние  случайных факторов на общий результат  выборки (генеральную выборку) исключается.

Отметим, что  потребность в достижениях является одной из наиболее значимых в структуре  ценностных ориентаций обучающихся, что  в первую очередь связано с  особенностями социально–психологического развития личности и возможностью реализовать  себя в различных сферах деятельности. 

2 Анализ показателей  и индикаторов программ и проектов

2.1. Структура системы  показателей и индикаторов 

Индикаторы, используемые для контроля и управления каким-либо процессом, будь то развитие национальной системы образования  или оптимизация сети учебных  заведений в рамках муниципалитета, можно разделить на три группы. Это индикаторы, характеризующие:

• затраты (input), т.е. фиксирующие сам факт некоторых управленческих действий (сюда же можно отнести и издание приказов, принятие законов и т.п.);
• непосредственные результаты этих управленческих действий (output);
• эффекты от этих действий (outcomes).

При реализации мало- мальски крупных модернизационных проектов в сфере образования эффект носит отложенный характер и проявляется только через несколько лет. Причем лаг во времени между затратами и проявлением эффекта может превышать горизонт планирования. Образование — открытая система, и к тому времени, когда эффект должен будет проявиться, на него может оказать воздействие ряд внешних факторов, причем неясно, в какую сторону. Пользуясь нашим примером с предшкольным образованием, можно предположить, что в условиях снижения численности населения школьных возрастов администрация учебных заведений, чтобы сохранить уровень финансирования, будет стремиться увеличить число учеников, в том числе и с помощью повторного обучения.

• Более того, при реализации масштабных модернизационных задач показатели системы в краткосрочной перспективе, как правило, ухудшаются. Это не особенность образования. Любые технологические нововведения сопровождаются краткосрочным ухудшением показателей, будь то производительность труда или рентабельность.
• Отсюда возникает первый риск: управление на основе индикаторов стимулирует отказ от реальных масштабных модернизационных проектов в пользу частных улучшений, поскольку эффект от последних проявляется быстро и по нему можно легко отчитаться.
• Выход из этой ситуации состоит в преимущественном использовании показателей непосредственного результата. Понятно, что с этим связан второй риск: показатели непосредственного результата не могут дать ответ на вопрос, правильный ли путь решения задачи нами выбран.

Еще одна проблема, связанная с масштабными проектами  в образовании, — несовпадение задач, которые должны быть решены, с разделением полномочий по уровням управления и бюджетной системы. Так, например, Министерство образования и науки, формируя бюджетный доклад, вполне обоснованно ставит задачу выравнивания стартовых возможностей для детей в рамках достижения цели повышения доступности качественного образования. В качестве показателя предложен «охват детей дошкольными образовательными учреждениями (удельный вес детей, посещающих дошкольные образовательные учреждения, в численности детей в возрасте 1-6 лет, скорректированной на численность детей в возрасте 6 лет, обучающихся в школе)» [4]. Однако формально министерство никак не может отвечать за этот показатель, по скольку финансирование дошкольного образования, в том числе и строительство новых учреждений, не относится к сфере полномочий федерального уровня. Министерство может утверждать программы, давать рекомендации, но реальными рычагами воздействия на региональные и муниципальные власти в этой части не располагает. И здесь возникает третий риск, пока гипотетический, но который после подведения итогов выполнения обязательств, принятых в бюджетном докладе (с соответствующими оргвыводами), может стать вполне реальным: органы управления образованием всех уровней будут ставить только те задачи, которые они могут выполнить в силу своих полномочий. Пользуясь нашим примером с предшкольным образованием, это будет означать, что если министерство не разработает и не утвердит учебные программы и другие составляющие нормативной базы, то регионы систему внедрить не смогут, даже если это было запланировано. А если регионы, в свою очередь, не найдут средств и не поставят задачу, например, переподготовки кадров, то разработанные министерством программы останутся бумагой. Комплексные задачи, требующие участия нескольких уровней, в отсутствие надежной системы вертикальной координации программ просто не будут ставиться, отчетные показатели, скорее всего, не будут достигнуты.

  То  есть опять возникает проблема невыгодности для всех органов управления постановки масштабных модернизационных задач в условиях индикативного управления.

  Основные  системы индикаторов программ и  проектов используют в основном показатели первой и второй группы, т.е. показатели затрат и непосредственных результатов. Это достаточно наглядно иллюстрирует таблице 2.1.

Таблица 2.1- Группировка показателей  Комплексного проекта  модернизации

региональных  систем образования  по типам

   Нетрудно  заметить, что все индикаторы, разработанные  для оценки реализации национального  проекта комплексной модернизации региональных систем образования, относятся к первой и второй группе, т.е. позволяют оценить наличие деятельности или затраты ресурсов, а также наличие изменений в самой системе образования (непосредственные результаты). Провести оценку достижения конечных целей национального проекта, понять, что

дали затраты  ресурсов для повышения качества, доступности и эффективности  образования, на основе предложенного  набора показателей не представляется возможным.

  Здесь будет уместно привести выдержку из Методических рекомендаций по подготовке докладов о результатах и основных направлениях деятельности субъектов бюджетного планирования на 2006-2008 г., согласованных Министерством финансов и Министерством экономического развития и торговли [5]:

  «При  разработке системы показателей (индикаторов) следует руководствоваться принципами:

  ...использования  показателей конечных общественно значимых результатов, характеризующих удовлетворение потребностей внешних потребителей за счет оказания им субъектом бюджетного планирования и подведомственными ему распорядителями и получателями бюджетных средств государственных услуг (далее — показатели конечных результатов). Использование показателей непосредственных результатов деятельности, характеризующих объем и качество государственных услуг, оказанных субъектом бюджетного планирования и подведомственными ему распорядителями и получателями бюджетных средств внешним потребителям, допускается только при обосновании невозможности применения показателей конечных результатов».

  Проблема, конечно, не в неадекватности конкретного  набора индикаторов. В начале реализации масштабных модернизацион- ных проектов, как отмечалось выше, произведенные  действия и затраты не могут проявиться в конечных эффектах. Но выход не в том, чтобы ограничиваться показателями затрат и непосредственных результатов, а в том, чтобы формировать динамичную систему показателей, меняющуюся по мере реализации проекта. В этом случае система индикаторов формируется под конкретные задачи программы и изменяется по мере ее реализации:

• на начальном этапе она включает показатели, отражающие наличие действий, затраты ресурсов на решение задач;
• на втором этапе — действенность этих мер, т.е. индикаторы должны дать возможность идентифицировать изменения в системе образования (непосредственные результаты);
• на завершающих этапах программы используются индикаторы, характеризующие решение поставленной задачи, т.е. результативность программы и эффект от ее реализации.

Попытка оценивать  результаты программы одними и теми же показателями на протяжении всего  хода реализации, как это делается, например, во всех федеральных целевых программах, в том числе и в ФЦПРО, представляется малопродуктивной и приводит либо к учету затрат на всем протяжении программы, либо к фантазиям на темы эффекта на этапах, когда только началось финансирование. Более того, в случае внедрения действительно новой технологии, улучшенных стандартов, технического переоснащения процесса, изменения системы управления или финансирования и т.п. в краткосрочной перспективе показатели эффективности системы, скорее всего, ухудшатся. Это общее правило для любой сферы деятельности. Попытки оценивать выполнение программы на основе показателей конечных результатов с первых дней ее реализации фактически стимулируют искажение отчетности или включение в программу локальных частных мер, вложение в которые дает немедленную отдачу.