Методы экспертных оценок

     Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

     В зависимости от целей экспертного  оценивания и выбранного метода измерения  при обработке результатов опроса возникают следующие основные задачи:

     1) построение обобщенной оценки  объектов на основе индивидуальных  оценок экспертов;

     2) построение обобщенной оценки  на основе парного сравнения  объектов каждым экспертом;

     3) определение относительных весов  объектов;

     4) определение согласованности мнений экспертов;

     5) определение зависимостей между  ранжировками;

     6) оценка надежности результатов  обработки.

     Задача  построения обобщенной оценки объектов по индивидуальным оценкам экспертов  возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.

     При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.

     Определение согласованности мнений экспертов  производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

     Обработкой  результатов экспертного оценивания можно определять зависимости между  ранжировками различных экспертов  и тем самым устанавливать  единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами — средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

     Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

     Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания. 

1.4Методы экспертных оценок 

1.4.1 SWOT-анализ 

     Особой  разновидностью экспертного метода, пользующейся большой популярностью, является оригинальный метод SWOT-анализа. Он получил такое название по первым буквам четырех английских слов, которые в русском переводе означают: Сильные и Слабые стороны, Возможности и Угрозы.

     Эта методология может использоваться в качестве универсальной. Особый эффект она имеет при исследовании процессов в социально-экономической системе, которой присуща динамичность, управляемость, зависимость внутренних и внешних факторов функционирования, цикличность развития.

     По  методологии этого анализа проводится распределение факторов, характеризующих предмет исследования по этим четырем составляющим с учетом принадлежности этого фактора к классу внешних или внутренних факторов.

     В результате появляется картина соотношения сильных и слабых сторон, возможностей и опасностей, которая подсказывает, как следует изменить ситуацию, чтобы иметь успех развития.

     Распределение факторов по этим квадрантам или секторам матриц не всегда является легким делом. Бывает, что один и тот же фактор одновременно характеризует и сильные, и слабые стороны предмета. Кроме того, факторы действуют ситуативно. В одной ситуации они выглядят достоинством, в другой — недостатком. Иногда они бывают несоизмеримыми по своей значимости. Эти обстоятельства можно и необходимо учитывать.

     Один  и тот же фактор можно размещать  в нескольких квадрантах, если трудно однозначно определить его место. Это  не скажется отрицательно на исследовании. Ведь суть метода заключается в том, чтобы идентифицировать факторы, разместить их таким образом, чтобы их концентрация подсказала пути решения проблемы, чтобы они стали управляемыми.

     В каждом квадранте факторы не обязательно  должны обладать одинаковым весом, но они должны быть представлены в полной своей совокупности.

     Заполненная матрица показывает реальное положение дел, состояние проблемы и характер ситуации. Это первый этап SWOT-анализа.

     На  втором этапе необходимо провести сравнительный  анализ сильных сторон и благоприятных  возможностей, который должен показать, как использовать сильные стороны. Вместе с тем надо проанализировать и слабые стороны относительно существующих опасностей. Такой анализ покажет, насколько вероятен кризис. Ведь опасность увеличивается, когда она возникает в условиях ослабленности, когда слабые стороны не дают возможность препятствовать опасности.

     Конечно, весьма полезно сделать сравнительный  анализ сильных сторон и существующих опасностей. Ведь сильные стороны  можно плохо использовать при предотвращении кризиса, сильные стороны надо видеть не только относительно благоприятных возможностей, но и относительно опасностей.

     В исследовании систем управления предметом  этого метода могут быть различные  проблемы развития управления. Например, эффективность, персонал, стиль, распределение функций, структура системы управления, механизм управления, мотивация, профессионализм, информационное обеспечение, коммуникации и организационное поведение и пр.

     Использование специально подготовленных и отобранных экспертов или внутренних консультантов  позволяет повысить эффективность этого метода. 

1.4.2 Метод SMART 

     Существует  множество модификаций метода SWOT-анализа. Наиболее интересный из них метод разработки и анализ целей.

     Известно, что цель управления является решающим фактором успеха, эффективности, стратегии  и развития. Без цели невозможно разработать план или программу. Но это касается не только цели управления, но и цели исследования. Ведь сформулировать корректно эту цель тоже бывает нелегко. Программа исследования, использования методов его проведения зависят от цели.

     Цель  должна разрабатываться по критериям  Достижимости, Конкретности, Оцениваемости (измеримости), с учетом Места и Времени. Эти критерии отражают английские слова — Specific, Measurable, Achievable, Relevant, Timed, в сокращенном названии это SMART. Так и называется этот метод.

     Метод предполагает последовательную оценку целей по совокупности критериев, расположенных  в матричной форме. Вот набор  сопоставимых факторов,   отражающих   характеристики   цели:   труднодостижима-легкодостижима, высокие затраты — низкие затраты, имеет поддержку персонала — не имеет поддержки персонала, имеет приоритеты — не имеет приоритетов, требует много времени — требует мало времени, имеет широкое влияние — имеет ограниченное влияние, ориентирована на высокие технологии - ориентирована на низкие (обычные) технологии, связана с новой организацией управления — не связана с новой организацией управления.

     На  следующем этапе составляется матрица  определения проблем. Для достижения цели необходимо решить ряд проблем. Но для этого их надо сначала определить.

     Распределение проблем осуществляется по следующим  критериям: существующая ситуация, желаемая ситуация, возможность достижения цели. Эти критерии характеризуют горизонталь матрицы. По вертикали рассматривают следующие критерии: определение проблемы, оценивание проблемы (количественные параметры), организация решения (кто, где, когда), затраты на решение проблемы.

     Такая матрица позволяет составить  план исследований. 

1.4.3 Метод ранжирования и оценивания 

     По  методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности), когда наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному — последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точно упорядочение бывает при меньшем количестве объектов исследования, и наоборот.

     При предпочтительной (по рангам) расстановке  объектов экспертизы одним экспертом сумма рангов должна равняться сумме чисел всего натурального ряда количества объектов Н, начиная с единицы: Н= (Н+1): 2.

     Результирующие  ранги объектов ранжирования по данным опросов определяются как сумма  рангов для каждого объекта. При  этом в итоге первый ранг присваивается тому объекту, который получил наименьшую сумму рангов, а последний — тому, у которого оказалась наибольшая сумма рангов, т.е. наименее значимому объекту (пример определения результирующего ранга трех объектов семью экспертами)

     Чем больше привлекается экспертов, тем выше объективность результата оценки. Однако привлечение большого числа квалифицированных экспертов и высокая трудоемкость экспертных работ повышает стоимость проведения оценок качества. Поэтому, чтобы снизить трудоемкость работ экспертов, используют метод рангов, который предусматривает только ранжирование показателей, а не их численное определение экспертами.

     Тем не менее данный метод применяется  в практике исследования СУ, несмотря на свою простоту и малую трудоемкость, сравнительно. Это объясняется большим числом ранжируемых объектов исследования. 

     1.4.4 Метод непосредственного оценивания 

     Представляет  собой упорядочение исследуемых  объектов (например, при отборе параметров для составления параметрической  модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается наибольшее количество баллов по принятой шкале (дается оценка). Наиболее распространен диапазон шкалы оценок: от 0 до 1; 0 до 5; 0 до 10; 0 до 100. В простейшем случае оценка может быть 0 или 1.

     Иногда  оценивание осуществляется в словесной  форме. Например, «очень важный», «важный», «маловажный» и т.п., что тоже иногда для большого удобства обработки  результатов опроса переводится  в балльную шкалу (соответственно 3, 2, 1).

     Непосредственное  оценивание следует применять при  полной уверенности в профессиональной информированности экспертов о  свойствах исследуемых объектов. По результатам оценок определяются ранг и весомость (значимость) каждого  исследуемого объекта  

     1.5 Оценка согласованности  экспертов