Экспертные оценки

,

в котором  b_j обычно определяются экспертным путем.

Кроме задачи выбора наилучшего образца, описанные  методы позволяют решить, в частности, задачу распределения финансирования.

Военные советы как форма  экспертной деятельности. С тех пор, как люди научились говорить, проводились совещания специалистов. Поэтому можно сказать, что экспертным оценкам столько же лет, сколько человеческому обществу.

Военный совет в данном случае – это  собрание экспертов (военных специалистов). Председатель собрания ставит задачу. Обсуждение, как правило, идет в однозначно заданном порядке – от младших  к старшим. Младшие могут спокойно высказывать свои мысли, не боясь, что  их предложения будут противоречить  мнению старших. Старшие имеют возможность  учесть высказанные аргументы и  сделать свои выступления более  обоснованными.

Обратим внимание, что военный совет, как  и любая комиссия экспертов –  совещательный орган, а окончательные  решения принимает тот, кому это  поручено. В современной литературе такой человек обозначается как  Лицо, Принимающее Решение, сокращенно ЛПР (по первым буквам).

Экспертное  прогнозирование

Метод Дельфи (США, 60-е годы). Один из наиболее известных методов экспертных оценок - это метод Дельфи. Название дано по ассоциации с древним обычаем для получения поддержки при принятии решений обращаться в Дельфийский храм.

В первом туре эксперты называли вероятные даты тех или иных будущих свершений. Во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его  прогноз сильно отличался от прогнозов  основной массы экспертов, его просили  пояснить свою позицию, и часто он изменял свои оценки, приближаясь  к средним значениям. Эти средние  значения и выдавались заказчику  как групповое мнение. Надо сказать, что реальные результаты исследования оказались довольно скромными - хотя дата высадки американцев на Луну была предсказана с точностью  до месяца, все остальные прогнозы провалились.

Однако  сама методика оказалась популярной - за последующие 15 лет она использовалась не менее 40 тыс. раз. Это объяснялось  впечатлением от беспрецедентного успеха предсказания даты высадки на Луну. Можно констатировать, что именно этот успех выдвинул методы экспертные оценки на роль самостоятельного научно-практического  направления, с которым должны быть знакомы все инженеры и управленцы, а также деятели иных специальностей.

Средняя стоимость экспертного исследования по методу Дельфи - 5 тыс. долларов США, но в ряде случаев приходилось  расходовать и более крупные  суммы - до 130 тыс. долларов.

Метод сценариев. Несколько в стороне от основного русла экспертных оценок лежит метод сценариев, применяемый прежде всего для экспертного прогнозирования.

Прогнозирование может быть успешным лишь при некоторой  стабильности условий. Однако решения  органов власти, отдельных лиц, иные события меняют условия, и события  развиваются по-иному, чем ранее  предполагалось. Наилучший пример –  выборы. После первого тура мы можем  составить несколько прогнозов  – по числу  сценариев (претендентов, прошедших во 2 тур).

Таким образом, метод сценариев - это метод  декомпозиции задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные (основные, важнейшие) варианты развития. При этом каждый отдельный сценарий должен допускать  возможность достаточно точного  прогнозирования, а общее число  сценариев должно быть обозримо.

Возможность подобной декомпозиции не очевидна. При  применении метода сценариев необходимо осуществить два этапа исследования:

-    построение исчерпывающего, но обозримого набора сценариев;

- прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.

Каждый  из этих этапов лишь частично формализуем. Существенная часть рассуждений  проводится на качественном уровне, как  это принято в общественно-экономических  и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации  приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств, приводит к весьма громоздким математическим моделям.

Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные  события - прилет инопланетян, падение  астероида, массовые эпидемии ранее  неизвестных болезней, и т.д. Само по себе создание набора сценариев - предмет  экспертного исследования. Кроме  того, эксперты могут оценить вероятности  реализации того или иного сценария. 

Прогнозирование в рамках каждого конкретного  сценария с целью получения ответов  на интересующие исследователя вопросы  также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования  временных рядов. Однако этому предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном  уровне является достаточным (для получения  интересующих исследователя и ЛПР  выводов) и не требующим количественного  уточнения.  

Как известно, при принятии решений на основе анализа ситуации (как говорят, при ситуационном анализе), в том числе анализа результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.

Мозговой  штурм. Организуется он как собрание экспертов, на выступления которых наложено существенное ограничение - нельзя критиковать предложения других. В ходе заседания эксперты, как правило, высказывают все более экстравагантные соображения. Часа через два записываемое на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно за время дискуссии высказывается около 100 идей. Из них примерно 30 заслуживают дальнейшей проработки, 5-6 идей дают возможность сформулировать прикладные проекты, а 2-3 идеи оказываются в итоге приносящими полезный эффект - прибыль, перевод конфликта в сотрудничество, повышение экологической безопасности, оздоровление окружающей природной среды и т.п.

При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки  была высказана идея: "Выстроить  матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела  к созданию  устройств, создающих  волны, сбивающиеся торпеду с  курса.

Классифицировать  основные виды экспертной деятельности можно по областям конкретной профессиональной деятельности (медицинская, судебная, экологическая), а также по тем  задачам, которые решают с помощью  экспертных исследований.

Экспертная  деятельность в конкретных областях обычно регулируется соответствующими нормативными актами и осуществляется в соответствии с теми или иными  методическими материалами.

При классификации  по решаемым задачам выделяют оценочные  и управленческие экспертизы.

Результатами  оценочных экспертиз являются:

- численные  оценки объектов (значений показателей,  характеристик объектов);

- отнесение  объектов экспертизы к тому  или иному виду объектов, классу  объектов, сорту;

- ранжирования  объектов по тому или иному  свойству, качеству, показателю, критерию;

- рейтинги, позволяющие определить численные  значения, характеризующие сравнительную  предпочтительность объектов экспертизы;

- индексы,  позволяющие оценить (характеризующие)  состояние объектов экспертизы,

- иные  объекты числовой или нечисловой  природы, используемые для оценивания  объектов экспертизы.

Примерами результатов оценочных  экспертиз, в частности, являются:

- результаты  определения победителей конкурсов,  тендеров, подрядных торгов, иных  соревнований;

- рейтинги  организаций (промышленных предприятий,  вузов, банков, страховых компаний), ценных бумаг, политических деятелей, бизнесменов и спортсменов;

- индексы  (Доу-Джонса и др.), характеризующие  движение курсов ценных бумаг  на биржах.

Результатом управленческих экспертиз является подготовка рекомендаций и заключений на всех этапах цикла выработки, принятия и реализации управленческих решений. К их числу относятся экспертизы при:

- выработке  стратегии и тактики (определении  стратегических целей, приоритетов  деятельности, планов, организационных  структур, разработке бизнес-планов  и т.д.);

- подготовке  аналитических материалов и проведении  ситуационного анализа, включая  разработку прогнозов и сценариев;

- генерировании  и отборе альтернативных вариантов  решений;

- оценке  альтернативных вариантов решений  и определении наиболее предпочтительного  из них;

- контроле  хода реализации принятых решений;

- корректировке  принятых ранее управленческих  решений на основании оценки  хода реализации принятых решений.

Экспертизы  необходимы на всех стадиях управленческого  цикла, в какой бы области деятельности ни принималось решение. Без профессиональной экспертизы нет сегодня профессионально  принятого решения!

Разработана масса методов получения экспертных оценок. В одних с каждым экспертом  работают отдельно, он даже не знает, кто  еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов  собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают  проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов  фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли  принимать обоснованные решения. В  других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (о нем - ниже). Не меньше существует и методов обработки  ответов экспертов, в том числе  весьма насыщенных математикой и  компьютеризированных. В дальнейших главах книги на основе методологии, развитой в, будут рассмотрен ряд  современных методов экспертных оценок. 

 

Организация работы экспертной комиссии

Основные  стадии экспертного  опроса

С точки  зрения менеджера - организатора такого исследования целесообразно выделять следующие стадии проведения экспертного  опроса.

1) Принятие решения о необходимости проведения экспертного опроса и формулировка его цели (ЛПР).

2) Подбор и назначение ЛПР основного состава Рабочей группы, сокращенно РГ (обычно – науч. руководителя и ответственного секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и подготовку заключения экспертной комиссии.

3) Разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадии решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, формируется костяк Рабочей Группы со своей внутренней структурой. Обычно в РГ выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам анализа данных), компьютерная, по работе с экспертами (например, интервьюеров), организационная.