Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характеристик экспертов.

     Определение характера зависимости достоверности  от перечисленных факторов является еще одной проблемой процедуры подбора экспертов.

     Сложной проблемой процедуры подбора является формирование системы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик.

     Еще одной проблемой является организация  процедуры подбора экспертов, т.е. определение четкой последовательности работ, выполняемых в процессе подбора экспертов и необходимых ресурсов для их реализации.

     После составления списка экспертов им направляются письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности. Получив ответы экспертов, группа управления составляет окончательный список группы экспертов.

     После составления и утверждения списка экспертам посылается сообщение  о включении их в состав экспертной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высылается анкета с необходимыми инструкциями для их заполнения. Сообщением экспертам о включении их в экспертизу заканчивается работа по подбору экспертов.

     После проведения опроса группы экспертов  осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

     Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

     Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

     Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

     В зависимости от целей экспертного  оценивания и выбранного метода измерения  при обработке результатов опроса возникают следующие основные задачи:

     1) построение обобщенной оценки  объектов на основе индивидуальных  оценок экспертов;

     2) построение обобщенной оценки  на основе парного сравнения  объектов каждым экспертом;

     3) определение относительных весов объектов;

     4) определение согласованности мнений  экспертов;

     5) определение зависимостей между  ранжировками;

     6) оценка надежности результатов  обработки.

     Задача  построения обобщенной оценки объектов по индивидуальным оценкам экспертов  возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.

     Определение согласованности мнений экспертов  производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

     Обработкой  результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи.

     Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.

      2. Метод Дельфы

     2.1. Основы метода  Дельфы

     Одним из наиболее перспективных методов  формирования групповой оценки экспертов  является метод Дельфы, получивший название от греческого города Дельфы и мудрецов, славившимися в древности предсказаниями будущего.

     Метод Дельфы впервые был описан в «Докладе об изучении долгосрочного прогнозирования» американской корпорации «Рэнд» в 1964 г. Объектами исследования явились: научные  прорывы, рост населения, автоматизация, исследование космоса, возникновение и предотвращение войн, будущие системы оружия. За истекший период круг прогнозируемых процессов с помощью метода Дельфы значительно расширился, но несомненно, что наибольшее применение этот метод нашел в областях, связанных с научно-техническим прогрессом.

     Метод Дельфы представляет собой ряд последовательно  осуществляемых процедур, направленных на подготовку и обоснование прогноза. Эти процедуры характеризуются  анонимностью (независимостью ответов экспертов) опроса, регулируемой обратной связью между результатами опроса предыдущего этапа и подготовкой их нового варианта, а также групповым характером ответа. Регулируемая обратная связь осуществляется путем проведения нескольких туров опроса экспертов, на каждом из которых характеристики их ответов обрабатываются с применением математико-статистических методов и результаты сообщаются анонимно. Групповой ответ формируется путем обработки и анализа результатов ответов экспертов. Критерием окончания его разработки, как правило, служит «близость» мнений экспертов.

     Общая схема проведения экспертизы по методу Дельфы состоит в следующем. На первом туре эксперты дают ответы на поставленные вопросы, как правило, без аргументации. Ответы обрабатываются, определяются их статистические характеристики (средняя, среднеквадратическое отклонение, крайние значения ответов), и результаты обработки сообщаются экспертам. После этого проводится второй тур опроса, в ходе которого эксперты должны объяснить, почему они изменили или не изменили своего мнения.

     Данные  обработки результатов второго  тура опроса и аргументация ответов  с сохранением анонимности снова  сообщаются экспертам перед проведением  третьего тура опроса. Последующие  туры проводятся по такой же схеме. Подобная организация экспертизы позволяет экспертам учесть в своих ответах новые для них обстоятельства и в то же время избавляет их от какого бы то ни было давления при отстаивании своей позиции.

     Как правило, на практике оказывается достаточным  проведение четырех туров опросов. После чего мнения всех экспертов либо сближаются, либо образуют две (или больше) группы существенно различающихся мнений. В первом случае достигнутый результат со значительной степенью обоснованности может быть рассмотрен в качестве прогнозного решения, во втором — необходимо продолжить исследование проблем развития объекта с учетом выдвигаемой различными группами аргументации.

       Процедура экспертного опроса  по методу Дельфы строится  в несколько этапов.

     Этап 1. Формирование рабочей группы  

     Задача  рабочей группы заключается в  организации процедуры экспертного  опроса.

     Этап 2. Формирование экспертной группы.  

     В соответствии с методом Дельфы группа экспертов должна включать 10-15 специалистов в данной области. Компетентность экспертов  определяется путем анкетирования, анализом уровня реферирования (количества ссылок на работы данного специалиста), использованием листов самооценки.

     Этап 3. Формулирование вопросов

     Формулировки  вопросов должны быть четкими и однозначно трактуемыми, предполагать однозначные ответы.

     Этап 4. Проведение экспертизы

     Метод Дельфы предполагает повторение нескольких шагов проведения опроса. По итогам первого опроса выделяются крайние, так называемые "еретические" мнения, и авторы этих мнений обосновывают свою точку зрения с последующей  дискуссией. Это позволяет, с одной  стороны, всем экспертам принять во внимание аргументы сторонников крайних точек зрения, с другой - дает возможность последним еще раз продумать свою точку зрения и или дополнительно обосновать ее, или отказаться от нее. После дискуссии опрос проводится снова с целью предоставления возможности экспертам принять во внимание итоги обсуждения. И так повторяется 4-5 раз до тех пор, пока точки зрения экспертов не сблизятся.

     Этап 5. Подведение итогов опроса 

     По  методу Дельфы за итоговое мнение экспертов  принимается медиана, то есть среднее в упорядоченном ряду мнений значение. Если ряд, упорядоченный по величине ответов  включает в себя n значений: Р1, Р2,…, Рn, то в качестве итоговой оценки по результатам опроса принимается мнение М, определяемое следующим образом: 

           М = Рк, если n = 2к-1     

     М = (Рк + Рк+1)/2, если n = 2к,      

     где к = 1, 2, 3,… 

     Проведенные эксперименты позволяют предполагать, что при использовании метода Дельфы наличие в группе менее  знающих экспертов оказывает  менее сильное влияние на групповую оценку, чем при простом усреднении оценок, поскольку итерация помогает этим экспертам улучшить свои оценки за счет информации, получаемой от более компетентных специалистов. С другой стороны, компетентные специалисты, как правило, не располагают той информацией, которая находится в распоряжении у всех входящих в группу экспертов, что позволяет и им улучшать свои оценки в процессе опроса [1, стр.100-108].

     2.2. Преимущества и недостатки метода  Дельфы

     Метод Дельфы имеет несомненные преимущества по сравнению с методами, основанными на обычной статистической обработке результатов индивидуальных опросов. Он позволяет уменьшить колебания по всей совокупности индивидуальных ответов, ограничивает колебания внутри групп. При этом, как показывают проводимые эксперименты, наличие малоквалифицированных экспертов оказывает менее сильное влияние на групповую оценку, чем простое усреднение результатов ответов, поскольку ситуация помогает им исправить ответы за счет получения новой информации от своей группы.

     Некоторые недостатки метода Дельфы связаны с нехваткой времени, которое отведено эксперту на обдумывание проблемы. В этом случае эксперт может согласиться с мнением большинства, чтобы уйти от необходимости объяснения, в чем заключается отличие его решения от остальных вариантов. Эти недочеты устраняются совершенствованием организации экспертиз путем создания автоматизированных систем обработки результатов опроса. Техническая реализация такой системы основана на использовании ЭВМ с внешними терминалами (дисплеями). ЭВМ обеспечивает представление вопросов экспертам (общающимся с ней через их персональные дисплеи), сбор и обработку результатов ответов, запрос и выдачу аргументации и другой необходимой информации для подготовки ответов.