Экспертные оценки в исследовании систем управления организации

align="justify">   От  уровня детализации в существенной степени зависит достоверность  результатов экспертизы, причем с  увеличением степени детализации  согласованность экспертных оценок, как правило, увеличивается.

   В организации работы экспертов необходимо придерживаться следующих принципов (схема 1):

   1. Идеи, мнения и оценки должны  укладываться в заранее подготовленную схему. Это позволяет делать их обобщение, сравнение, выделение существенного и пр. Такая схема не должна сковывать мысль и ограничивать фантазию. Схема может допускать и предполагать возможность ее модификации и дополнения.

   2. Обработку экспертных заключений  необходимо осуществлять не только  в количественном обобщении, но  и посредством качественного  анализа, выделяя главное, существенное, важное, актуальное, оригинальное, новое и пр. Заключение экспертов может быть предметом экспертизы второго этапа.

   3. Эксперты должны быть независимыми, т.е. освобождены от каких-либо  организационных или концептуальных, а также психологических ограничений. В этом случае лучшим образом реализуются их опыт, знания, интуиция.

   4. Работа экспертной группы должна  быть целенаправленной. Понимание, зачем и почему проводится экспертиза, является важным элементом ее проведения. Во многих случаях необходима специальная подготовка экспертов, которая играет роль мобилизации усилий и интеллекта.

   5. Существуют различные формы организации  работы экспертной группы: либо каждый эксперт делает экспертизу индивидуально, потом результаты суммируются и систематизируются, либо эксперты работают коллективно, взаимодействуя друг с другом.

   6. Возможна параллельная и многоэтапная  работа нескольких экспертных групп. Сопоставление экспертиз дает важную информацию.

Схема 1. 
 

 
 
 
 

 
 
 
 
 

 
 
 
 

 

 

     2.2. Основной этап

      Опрос экспертов проводится методами, определенными на подготовительном этапе. Опросом руководит ведущий.

      Задачи  ведущего:

• четко поставить  цели, проблему;

• обеспечение  экспертов информацией;

• объяснить  время и методы;

• зафиксировать  предложения экспертов;

• отдать на обработку полученные данные.

     Проведение  анкетирования экспертов является самым распространенным видом опроса. Анкетирование заключается в  заполнении экспертами опросных листов - анкет.

     Серьезного  внимания требует подбор вопросов (признаков), которые желательно включить в анкету.

     Различают три вида вопросов, по которым дается экспертная оценка:

• вопросы, ответы на которые содержат количественную оценку;

• вопросы, требующие содержательного ответа в сжатой форме;

• вопросы, требующие содержательного ответа в развернутой форме.

Пример  такой группировки вопросов приведен в табл.1. 

Табл.1. Виды и типы вопросов 

 

     Анкетирование может быть очным и заочным. Недостаток очного анкетирования - возможность  влияния анкетирующего руководителя на ответы эксперта. Недостаток заочного анкетирования - в возможности неправильного  истолкования вопросов экспертом, затяжки в ответах и т.п. Достоинство заочного анкетирования - простота его организации, возможность привлекать без больших затрат экспертов, живущих в разных городах, и т.п.

     Кроме анкет - вопросников, экспертам должна быть дана пояснительная записка, имеющая целью предопросную ориентировку экспертов и содержащая информацию о целях экспертизы, задачах опроса, объектах экспертизы, необходимые организационные сведения и инструкцию по заполнению анкет, в которой проводятся примеры порядка и способа заполнения.

 

     3. Подбор экспертов

   Достоверность и эффективность экспертизы определяется процедурой подбора экспертов:

1. составляется список экспертов;
2. составляются письма-приглашения (место, время, мотивация);
3. определяются качества, которыми должны обладать эксперты:

  • креативность;

  • компетентность;

  • отношение к экспертизе;

  • конформизм;

  • аналитичность, широта мышления;

  • конструктивность мышления

   Сложной проблемой процедуры отбора является формирование системы характеристик  эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения межу людьми, влияющие на экспертизу. Для описания экспертов с точки зрения оценки качества решения проблемы вводятся следующие характеристики: компетентность, креативность, конформизм, аналитичность широта мышления, самокритичность др. Перечисленные характеристики в основном оцениваются качественно.

   Компетентность - это степень квалификации эксперта в определенной области знаний. Достаточно простой и полной является Методика ГКН, в которой компетентность экспертов оценивается коэффициентом компетенции k. Он вычисляется на основе суждения эксперта о степени своей информативности по решаемой проблеме и указания типовых источников аргументации своих мнений.

Коэффициент компетенции вычисляется по формуле

k = 1/2 (k_а + k_и),

где:

k_а - коэффициент аргументации, получаемый в результате суммирования баллов по эталонной таблице (табл.1);

k_и - коэффициент информативности по проблеме, получаемой на основе самооценки эксперта по десятибалльной шкале и умножения этой оценки на 0,1.

Табл.2. Эталонная  таблица коэффициентов аргументации

 

     Эксперту  дается таблица без цифр. Он отмечает, какой источник он оценивает по градациям  В, С, Н. После наложения таблицы  эксперта на эталонную таблицу подсчитывается количество баллов по всем источникам аргументации. При этом, если k_а = 1,0, то степень влияния всех источников высокая; если k_а = 0,8, то - средняя и, если k_а = 0,5, то учитывается низкая степень источников аргументации. Коэффициент компетентности 0 k 1.

Существуют  подходы к оценке компетентности, основанные на учете апостериорных данных, т.е. на учете результатов экспертного оценивания.

Креативность - это способность решать творческие задачи. Оценивается на основе суждений, основанных на изучении деятельности эксперта. Конформизм - это подверженность влиянию авторитетов, которая проявляется в неустойчивости собственного мнения.

Аналитичность и широта мышления - это способность выходить за рамки сложившихся представлений.

     Самокритичность эксперта проявляется при самооценке уровня своей компетенции, а также при принятии решения по рассматриваемой проблеме.

     К характеристикам группы экспертов  можно отнести: достоверность экспертизы и затраты на нее.

     Достоверность экспертизы зависит от количества экспертов  в группе и количества экспертов. На рис.1 представлен график экспериментальных данных, устанавливающих монотонное возрастание достоверности с увеличением количества экспертов в группе.

 
 
 
 
 
 

Рис.1. Зависимость  достоверности от количества экспертов

     Достоверность экспертизы существенно зависит  от качества экспертов, особенно от их компетентности. Можно утверждать, что достоверность групповой экспертизы есть монотонно возрастающая функция средней групповой самооценки компетентности, которая определяется как среднее арифметическое значение самооценок группы экспертов.

 

4. Методы экспертных оценок

     4.1 Метод Дельфи

     Сущность  метода Дельфи состоит в последовательном анкетировании экспертов различных  областей науки, техники и формировании массива информации, отражающего  индивидуальные оценки экспертов, основанные на строго логическом опыте. Данный метод предполагает использование серии анкет, в каждой из которых содержаться информация и мнения, полученные из предыдущей анкеты.

     Область применения метода: прогноз развития науки и техники, будущих открытий и изобретений, для которых нет достаточной теоретической базы в момент составления прогноза, а также составление картины будущего мира, долгосрочного прогнозирования, изучения ряда экономических и социальных проблем.

     Сбор  и обработка индивидуальных мнений экспертов о прогнозах развития объекта исследования производится исходя из следующих принципов: