Методы экспертных оценок

>     4. Работа экспертной группы должна  быть целенаправленной. Понимание, зачем и почему проводится экспертиза, является важным элементом ее проведения. Во многих случаях необходима специальная подготовка экспертов, которая играет роль мобилизации усилий и интеллекта.

     5. Существуют различные формы организации  работы экспертной группы: либо каждый эксперт делает экспертизу индивидуально, потом результаты суммируются и систематизируются, либо эксперты работают коллективно, взаимодействуя друг с другом.

     6. Возможна параллельная и многоэтапная  работа нескольких экспертных групп. Сопоставление экспертиз дает важную информацию.

     Существует  масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто ещё является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома".

     Специалиста или группу специалистов, выступающих  в роли экспертов, иногда отождествляют  с измерительным прибором, имеющим случайные и систематические ошибки измерения.

     Случайные ошибки обусловлены субъективностью  мнений экспертов о рассматриваемом  вопросе и могут отклоняться  в ту или иную сторону от истинного  значения. Влияние таких ошибок уменьшается  путем усреднения достаточного количества оценок.

     Систематическая ошибка присуща всему коллективу экспертов и не может быть устранена  путем обработки получаемых оценок. Это говорит о том, что в  отдельных случаях необходимо подходить  весьма осторожно к результатам экспертного опроса, которые могут иногда выражать в целом ошибочную точку зрения, зависящую от уровня знаний и убеждений экспертов. 
 

1.3 Процесс экспертного оценивания 

     К основным этапам процесса экспертного оценивания относят:

     формирование  цели и задач экспертного оценивания;

     формирование  группы управления и оформление решения  на проведение экспертного оценивания;

     выбор метода получения экспертной информации и способов ее обработки;

     подбор  экспертной группы и формирование при  необходимости анкет опроса;

     опрос экспертов (экспертизу);

     обработку и анализ результатов экспертизы;

     интерпретацию полученных результатов;

     составление отчета.

     Задачу  на проведение экспертного оцениваний ставит ЛПР. Этап формирования цели и  задач экспертного оценивания является основным. От него зависит надежность получаемого результата и его прагматическая ценность. Формирование цели и задач экспертнoгo оценивания диктуется существом решаемой проблемы. Здесь должны быть учтены следующие факторы: надежность и полнота имеющейся исходной информации, требуемая форма представления результата (качественная или количественная), возможные области использования полученной информации, сроки ее представления, имеющиеся в распоряжении руководства ресурсы, возможность привлечения специалистов других областей знаний и многое другое. Задача оформляется в виде руководящего документа (например, решения на проведение экспертного оценивания).

     Для подготовки решения и руководства  всей дальнейшей работой назначается  руководитель экспертизы. Он определяет состав группы управления. Группа управления осуществляет обратную связь с экспертами либо методом Дельфи.

     На  группу управления возлагается не только вся организационно-плановая работа по обеспечению благоприятных условий  для эффективной творческой деятельности экспертов, но и аналитическая работа по подбору экспертной группы, определению методов получения и обработки информации, составлению анкет — опросников, содержательной интерпретации получаемых результатов.

     Этот  большой и сложный круг решаемых задач требует включения в состав группы управления высококвалифицированных специалистов как в области рассматриваемой проблемы, так и в других областях — психологии, математики, медицины, социологии.

     Подбор  конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

• оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по I проблемам исследования СУ;
• коллективная оценка кандидата в эксперты как специалиста в данной области
• самооценка кандидата в эксперты;
• аналитическое определение компетентности кандидатов в эксперты.

     Однако  всем этим методам присущи определенные недостатки, в том числе: отсутствие единой общепризнанной методики оценки; высокая трудоемкость оценки; возникновение проблем этического характера при использовании субъективных методов оценки.

     В ходе указанной работы зачастую, применяют  одновременно несколько способов: самооценки и коллективной оценки качеств предлагаемого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки.

     В общем случае формирование экспертной группы предваряют следующие мероприятия:

• выявляется и формулируется проблема;
• определяется цель и область деятельности группы;
• составляется предварительный список экспертов;
• проводится анализ и отбор экспертов (на основе использования одного или нескольких способов отбора их);
• уточняется список экспертов; . получается согласие эксперта для участия в работе экспертной группы;
• определяется окончательный репрезентативный список экспертов. Всех потенциальных экспертов в зависимости от их качества и компетенции можно классифицировать на семь классов

     Пример  градации качества и  компетентности экспертов 

     

     Выбор числа классов качества экспертов в данном случае обусловлен «правилом семерки», которым традиционно пользуются при решении проблем управления качеством.

     Такая градация позволяет отобрать требуемых  экспертов для работы в экспертной группе. Для получения достаточно объективных результатов исследования СУ отбор желательно осуществлять из числа экспертов, относящихся к 1—4-му классам качества. Кандидатов в эксперты более низких классов качества привлекать к экспертизам не целесообразно.

     Независимо  от избранного способа оценки качеств кандидатов эксперты должны соответствовать во всех случаях определенным требованиям, в числе которых:

     • профессиональная компетентность и  наличие практического и исследовательского опыта в области управления;

     • креативность (умение решать творческие задачи); . научная интуиция;

     . заинтересованность в объективных  результатах экспертной работы;

     • независимость суждений;

     • деловитость «собранность» умение переключаться с одного вида деятельности на другой, коммуникативность, независимость суждений, мотивированность действий);

     • объективность;

     • нонконформизм;

     • высокая общая эрудиция.

     Проведение  сбора мнений экспертов предполагает определение: места и времени  сбора мнений; формы и методики сбора мнений; количества туров сбора мнений; состава и содержательной части документации; порядка занесения результатов мнений экспертов в документы.

     Очень важным является определение формы  сбора мнений экспертов. Среди всех известных форм сбора мнений можно  отметить индивидуальные, коллективные (групповые) и смешанные. Таким образом, указанные формы различаются прежде всего по фактору участия экспертов в работе (индивидуальное или коллективное) и каждая из них имеет ряд разновидностей:

     • анкетирование;

     • интервьюирование;

     • дискуссия;

     • мозговой штурм 

     • совещание;

     • деловая игра.

     Все они обладают своими достоинствами  и недостатками. Во многих случаях  каждая их этих разновидностей используется совместно с другими, что зачастую обеспечивает больший эффект и объективность. Смешанная форма применяется при сборе мнений экспертов в случаях некоторой неясности проблемы, при разногласиях? индивидуальных мнений или разногласиях экспертов при коллективном обсуждении.

     После проведения опроса группы экспертов  осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

     Наличие как числовых данных, так и содержательных высказываний экспертов приводит к  необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

     Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

     Ко  второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.