Методы коллективных экспертных оценок

 

 

 

4. Методика проведения  экспертных опросов

 

Проведение экспертных опросов обычно включает несколько этапов.

1. Подбор экспертов и формирование  экспертных групп. Исходя из целей опроса, решаются вопросы относительно структуры группы, устанавливается специализация экспертов и определяется их количество. По каждому направлению выделяются подгруппы экспертов, устанавливается количество экспертов в каждой подгруппе, которое должно обеспечивать полноту оценок по каждому конкретному вопросу. Затем определяются требования к квалификации экспертов, стажу их работы в данной области, общему стажу.

На практике численность экспертов устанавливается исходя из накопленного опыта. Для повышения статистической значимости оценок используют ранговые или балльные оценки. Например, вместо оценок длительности выполнения проекта оценивают в баллах возможность его завершения к определенному сроку.

Нижняя оценка численности групп экспертов зависит от числа направлений оцениваемых событий. По каждому направлению в группе не должно быть менее 3-6 экспертов, причем каждое направление должно быть представлено равным числом экспертов.

2. Подготовка анкет для опроса экспертов. Правила опроса экспертов должны обеспечивать объективность мнений экспертов. К числу условий, обеспечивающих формирование объективных оценок, следует отнести:

• предоставление экспертам требуемой информации;
• простота и удобство работы с предлагаемыми анкетами, обеспечиваемая прежде всего однозначностью вопросов;
• соответствие вопросов структуре объекта опроса;
• независимость формирования экспертами собственного мнения;
• приемлемые затраты времени, удобное время получения вопросов и выдачи ответов;
• сохранение анонимности ответов для членов экспертной группы;
• коллективные обсуждения оцениваемых событий.

Для выполнения этих условий должны быть разработаны правила организации работы экспертной группы. Экспертные группы для работы на основе специальных методов, таких как «мозговая атака», «Дельфи», и им подобных, а также организаторы и обслуживающий персонал должны пройти специальную подготовку.

3. Определение групповых оценок на основе оценок отдельных экспертов. Групповая оценка каждого объекта зависит от оценок экспертами этого объекта и степени компетентности экспертов. Степень компетентности эксперта определяют его опыт и квалификация.

При равной компетентности экспертов в качестве групповой оценки используют среднеарифметическое значение оценок экспертов. Точность оценки может быть определена по величине ее стандартного отклонения.

Оценки в зависимости от специфики экспертного опроса могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10 и от 0 до 100. Выбор определяется удобством получения и обработки оценок.

Для учета различий в компетентности экспертов их оценкам могут быть приписаны различные «веса», которые учитываются весовыми коэффициентами. Значения этих коэффициентов интерпретируются как вероятность задания экспертом достоверной оценки и должны иметь величину от 0 до 1. Значения весовых коэффициентов могут быть использованы, кроме того, для стимулирования работы экспертов путем установления оплаты участия в экспертизе пропорционально весовому коэффициенту эксперта.

Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса.

Опыт показывает, что наиболее эффективно компетентность оценивается с помощью регламентированной самооценки экспертов. Показатель самооценки получают на основе группы вопросов. Например, эксперту предлагается проставить себе балл по десятибалльной шкале, ориентируясь на следующие значения баллов:

10 - эксперт специализируется по  данному вопросу, имеет по нему успешно завершенные и используемые на практике теоретические разработки и практический опыт;

8 - в решении проблем по данному вопросу эксперт участвует, но этот вопрос не входит в сферу его узкой специализации;

5 - вопрос входит в сферу, тесно  связанную с узкой специализацией эксперта, но в работе, связанной с данным вопросом, он не участвует;

3 - вопрос не входит в сферу, тесно связанную с узкой специализацией эксперта.

По полученной в десятибалльной шкале оценке определяется весовой коэффициент путем деления ее на десять баллов.

Компетентность экспертов может быть определена экспертами в группе. Для этого каждый эксперт, входящий в группу, задает весовые коэффициенты всем остальным экспертам, кроме себя. Оценка компетентности каждого эксперта определяется как среднеарифметическая. При каждом опросе одной и той же группы следует пользоваться уже полученными результатами для уточнения характеристик компетентности экспертов.

4. Организация работы с экспертами. Работа с экспертами может проводиться в три этапа.

На первом этапе эксперты участвуют в уточнении объекта экспертизы (процесс работы экспертов обычно называют экспертизой), показателей, подлежащих оценке, в формулировке вопросов и терминологии в анкетах, кроме того, уточняется состав группы экспертов.

На втором этапе экспертам передаются анкеты с пояснительной запиской, в которой описываются цель экспертизы, структура и порядок заполнения анкет с примерами.

Третий этап работы с экспертами, выполненный после завершения опроса, то есть в процессе обработки и анализа полученных результатов, включает консультации, необходимые для получения недостающей информации, необходимой для уточнения полученных данных и их анализа.

5. Анализ экспертных оценок. При проведении экспертных оценок в соответствии с целями исследования и принятыми моделями необходимо определить согласованность действий экспертов, достоверность экспертных оценок.

Определить согласованность оценок, которые даются разными экспертами, можно с помощью непараметрического двухфакторного дисперсионного анализа. При проведении анализа в качестве первого фактора рассматриваются эксперты, в качестве второго фактора - объекты, оцениваемые экспертами. Уровни первого фактора — это разные эксперты, а уровни второго фактора — разные объекты.

Согласованность оценок экспертов определяется по отсутствию влияния фактора, связанного с экспертами. В распространенных статистических пакетах для этого используют критерий Фридмана (Friedman) и, если есть возможность ранжировать экспертов по величине оценок, - критерий Пейдже (Page). Обычно тестируется гипотеза «есть различия между средними значениями оценкой некоторых экспертов» с оценкой уровня значимости гипотезы. Если уровень значимости гипотезы не превышает 5 или 10%, то можно считать, что оценки экспертов согласованны и достоверны.

 

 

 

 

 

 

 

 

 

 

 

5. Метод «круглого стола»

 

Эта группа методов включает в себя: различные виды семинаров и дискуссий. В основе этого метода лежит принцип коллективного обсуждения проблем, изучаемых в системе образования. Главная цель таких занятий состоит в том, чтобы обеспечить учащимся возможность практического использования теоретических знаний в условиях, моделирующих форм деятельности научных работников.

Такие занятия, по мнению А.М.Матюшкина, призваны обеспечить развитие творческого мышления, познавательной мотивации и профессионального использования знаний в учебных условия. Профессиональное использование знаний – это свободное владение языком соответствующей науки, научная точность оперирования формулировками, понятиями, определениями. Учащиеся должны научиться выступать в роли докладчиков и оппонентов, владеть умениями и навыками постановки и решения интеллектуальных проблем и задач, доказательства и опровержения, отстаивать свою точку зрения, демонстрировать достигнутый уровень теоретической подготовки.

В этом и проявляется единство теории и практики в научной работе, условия которой создаются на занятиях получивших название метода «круглого стола», где ученики используют знания полученные на лекционных или самостоятельных занятиях.

На занятия «круглого стола» выносятся основные темы курса, усвоение которых определяет качество подготовки; вопросы, наиболее трудные для понимания и усвоения. Такие темы обсуждаются коллективно, что обеспечивает активное участие каждого ученика.

Большое значение имеет расположение учащихся на таких занятиях. Поэтому лучше всего, чтобы учащиеся сидели в круговом расположении, что позволяет участника чувствовать себя равноправными. Отсюда и название данного метода «круглого стола».

Учитель также должен находиться в кругу с учащимися, если он будет сидеть отдельно, то участники дискуссии обращают свои высказывания только ему, но не друг другу. Замечено, что такое расположение участников лицом друг к другу, приводит к возрастанию активности, увеличению количества высказываний. Расположение учителя в круге помогает ему управлять группой и создает менее формальную обстановку, возможность для личного включения каждого в общение, повышает мотивацию учащихся, включает невербальные средства общения.

Как уже отмечалось выше метод «круглого стола» включает в себя различные семинары и дискуссии, рассмотрим некоторые из них:

Учебные семинары.

Междисциплинарные. На занятия выносится тема, которую необходимо рассмотреть в различных аспектах: политическом, экономическом, научно-техническом, юридическом, нравственном и психологическом. На наго также могут быть приглашены специалисты соответствующих профессии и педагоги данных дисциплин. Между учащимися распределяются задания для подготовки сообщений по теме. Метод междисциплинарного семинара позволяет расширить кругозор учащихся, приучает к комплексной оценке проблем, видеть межпредметные связи.

Проблемный семинар. Перед изучением раздела курса учитель предлагает обсудить проблемы, связанные с содержанием данного раздела, темы. Накануне учащиеся получают задание отобрать, сформулировать и объяснить проблемы. Во время семинара в условиях групповой дискуссии проводится обсуждение проблем. Метод проблемного семинара позволяет выявить уровень знаний учащихся в данной области и сформировать стойкий интерес к изучаемому разделу учебного курса.

Тематические. Этот вид семинара готовится и проводится с целью акцентирования внимания учащихся на какой-либо актуальной теме или на наиболее важных и существенных ее аспектах. Перед началом семинара учащимся дается задание – выделить существенные стороны темы, или же учитель может это сделать сам в том случае, когда учащиеся затрудняются, проследить их связь с практикой общественной или трудовой деятельности. Тематический семинар углубляет знания учащихся, ориентирует их на активный поиск путей и способов решения затрагиваемой проблемы.

Ориентационные. Предметом этих семинаров становятся новые аспекты известных тем или способов решения уже поставленных и изученных проблем, опубликованные официально материалы, указы, директивы и т.п. Например, закон об образовании РФ, учащимся предлагается высказать свои соображения, свое мнение, свою точку зрения по данной теме, возможные варианты исполнения данного закона. Метод ориентированных семинаров помогает подготовить к активному и продуктивному изучению нового материала, аспекта или проблемы.

Системные. Проводятся для более глубокого знакомства с разными проблемами, к которым имеет прямое или косвенное отношение изучаемой темы. Метод системных семинаров раздвигает границы знаний учащихся, не позволяет замкнуться в узком кругу темы или учебного курса, помогает обнаружить причинно-следственные связи явлений, вызывает интерес к изучению различных сторон общественно-экономической жизни.

Учебные дискуссии. Они могут проводиться:

по материалам лекций;

по итогам практических занятий;

по проблемам, предложным самими учащимися, или учителем, если ученики затрудняются;

по событиям и фактам из практики изучаемой сферы деятельности;

по публикациям в печати.

Метод учебной дискуссии улучшает и закрепляет знания, увеличивает объем новой информации, вырабатывает умения спорить, доказывать свое мнение, точку зрения и прислушиваться к мнению других.

Учебные встречи за «круглым столом».

При использовании данного метода можно приглашать различных специалистов, занимающихся изучением или работающих по изучаемой учащимися теме. Это могут быть ученые, экономисты, деятели искусства, представители общественных организаций, государственных органов и т.п.

Перед такой встречей учитель предлагает учащимся выдвинуть интересующую их по данной теме проблему и сформулировать вопросы для их обсуждения. Если учащиеся затрудняются, то учитель может предложить ряд проблем и вместе с учащимися выбрать более интересную для них. Выбранные вопросы передаются приглашенному специалисту «круглого стола» для подготовки к выступлению и ответам. Одновременно на «круглый стол» могут быть приглашены несколько специалистов, занимающихся исследованием данной проблемы. Чтобы заседание «круглого стола» проходило активно и заинтересованно, необходимо настроить слушателей на обмен мнениями и поддерживать атмосферу свободного обсуждения.

Для повышения активности учащихся можно также предложить для обсуждения две разные точки зрения по одной проблеме.