Экспертные оценки

4) Разработка РГ подробного сценария (т.е. регламента, правил) проведения сбора и анализа экспертных мнений (оценок).

Сценарий  должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов  статистики объектов нечисловой природы  и других разделов прикладной статистики. Эта работа ложится на эконометрическую и компьютерную группу РГ.

Традиционная  ошибка - сначала собрать информацию, а потом думать, что с ней  делать. В результате, как показывает печальный практический опыт, информация используется не более чем на 1-2%.

Сценарий  утверждается научным руководителем  ЭК.

5) Подбор экспертов в соответствии с их компетентностью.

6) Формирование экспертной комиссии.

7) Проведение сбора экспертной информации в соответствии с разработанным сценарием.

8) Компьютерный  анализ экспертной информации с помощью включенных в сценарий методов.

9) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.

10) Официальное  окончание деятельности ЭК и РГ, в том числе утверждение ЛПР заключительного документа ЭК. 
 

Подбор  экспертов

Каковы  эксперты - таково и качество заключения экспертной комиссии. Проблема подбора  экспертов является одной из наиболее сложных в теории и практике экспертных исследований, ибо нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Для формирования списка есть полезный метод "снежного кома". Это – вспомогательное экспертное исследование.

Проблема  компетентности: самооценка и взаимооценка компетентности, звания, участие в  удачных экспертизах.

Используется  и принципиально иной подход к  подбору экспертов, согласно которому совокупность экспертов состоит  из тех, кто сам себя объявил таковыми. Примерами являются разнообразные  опросы, приводимые в Интернете и  регулярно публикуемые на сайте http://rbc.ru (РБК – РИА «РосБизнесКонсалтинг») и http://voxru.net (Глас РУНЕТа - служба опросов интернет-аудитории).

Однако  надо подчеркнуть, что распределение  самовыдвинувшихся экспертов по социально-экономическим группам (например, по полу и возрасту) обычно существенно  отличается от того, которое имеется  в обществе. Частично от этого смещения можно избавиться с помощью методов  стандартизации («ремонта») выборки, разработанных  в эконометрике и прикладной статистике.

В настоящее  время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению.

Один  из основных вопросов - что именно должна представить экспертная комиссия в  результате своей работы - информацию для принятия решения ЛПР (Нет  никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более  того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового) или проект самого решения? От ответа на этот методологический вопрос зависит  организация работы экспертной комиссии, и он служит первым основанием для  разбиения методов. Часто не учитывают еще одного чисто математико-статистического обстоятельства. Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Для примера укажем на конкретным методам расчетов с помощью коэффициентов конкордации (т.е. - в переводе - согласия) на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Необходимо напомнить, что согласно математико-статистической теории положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Таким образом, проверяется нулевая гипотеза, согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями, равномерно распределенными на множестве всех ранжировок. Отклонение этой нулевой гипотезы по дурной традиции толкуется как согласованность ответов экспертов. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном математико-статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок.

Именно  ущербность рассматриваемых математико-статистических методов анализа ранжировок привела  группу специалистов к разработке нового математико-статистического аппарата для проверки согласованности - непараметрических  методов, основанных на т.н. люсианах и входящих в современный раздел эконометрики - статистику нечисловых данных.

Невозможность получения обоснованного заключения о согласованности мнений экспертов  по ограниченным данным можно сопоставить  с невозможностью проверки нормальности теоретического распределения в  случае, когда объем выборки менее 50.

Отметим, что группы экспертов с близкими мнениями можно выделить методами кластер-анализа.

Догма согласованности. Часто без всяких обоснований считается, что решение может быть принято лишь на основе согласованных мнений экспертов. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов, т.е. инакомыслящих по сравнению с большинством. Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Другим примером является принятие решений при судействе в фигурном катании, когда с целью повышения устойчивости выводов жюри отбрасываются минимальная и максимальная из оценок судей.

Догма одномерности. В устаревшей, а иногда и в современной научно-технической, управленческой и экономической литературе распространен довольно спорный подход так называемой "квалиметрии", согласно которому объект экспертизы всегда можно оценить одним числом. Странная идея! Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вместе с тем нельзя полностью отрицать саму идею поиска обобщенных показателей качества, технического уровня, конкурентоспособности и аналогичных.

Важна конкретная постановка задачи перед  экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции  от перечисленных переменных - не могут  дать объективных выводов. Альтернативой  единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д. 

В некоторых  случаях все-таки можно глобально  сравнить объекты - например, с помощью  тех же экспертов получить упорядочение рассматриваемых объектов - изделий  или проектов. Тогда можно  подобрать коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению.

Эксперты  качественно не в состоянии указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель.

Число туров. Второе основание классификации экспертных процедур - число туров. Экспертизы могут включать один тур, некоторое фиксированное число туров (два, три, …) или неопределенное число туров.

Порядок вовлечения экспертов. Можно уменьшить расходы, вводя в экспертизу не всех экспертов сразу, а постепенно.

Организация общения экспертов. У каждого из элементов шкалы свои достоинства и недостатки: отсутствие общения - заочное анонимное общение - заочное общение без анонимности - очное общение с ограничениями - очное общение без ограничений.

При отсутствии общения эксперт высказывает свое мнение, ничего не зная о других экспертах и об их мнениях. Он полностью независим, что и хорошо, и плохо. Обычно такая ситуация соответствует однотуровой экспертизе.

Заочное анонимное общение, например, как в методе Дельфи, означает, что эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно высказал то или иное положение. Следовательно, в экспертизе должно быть предусмотрено минимум два тура.

Заочное общение без анонимности соответствует, например, общению по Интернету. Оно хорошо тем, что нет необходимости собирать экспертов вместе. В связи с распространением телеконференций грань между очным и заочным общением стирается.

Координация действий организаций и менеджеров с помощью заочного общения без  анонимности происходит и при  подготовке документов. Один из сотрудников (исполнитель) готовит первоначальный вариант документа. Он размножается и рассылается на отзыв заинтересованным в нем. Исполнитель составляет сводку отзывов, с одними из замечаний соглашается, против других высказывает возражения. Затем собирают "согласительное совещание", на которое приглашают всех тех, с чьим мнением Исполнитель  не согласен. В результате дискуссии  по ряду позиций достигается компромисс, и возражения снимаются. Окончательное  решение по проекту документа  принимает ЛПР – высшая инстанция  в данной организации. Именно такова процедура подготовки Законов РФ, государственных стандартов и иных ответственных документов.

Во многих случаях эта процедура упрощается и отзывы заменяются визированием, при котором свое согласие менеджеры выражают, накладывая на документ визу, т.е. расписываясь (иногда добавляя несколько слов по затрагиваемой проблеме).

Очная экспертиза с ограничениями  весьма распространена. Это - собрание, идущее по фиксированному регламенту. Примером является разработка и принятие решений в Государственной Думе РФ в соответствии с регламентом, определяющим последовательность и продолжительность выступлений. Вспомним также технологию «мозгового штурма».

Наконец, очная экспертиза без ограничений - это свободная дискуссия.

Все очные  экспертизы имеют недостатки, связанные  с возможностями отрицательного влияния на их проведение социально-психологических  свойств и клановых (партийных) пристрастий  участников, а также неравенства  их профессионального, должностного, научного статусов.

Веса  экспертов. Пятое основание классификации экспертных процедур - по способам введения весов для мнений экспертов. Простейший способ - все эксперты равноправны и имеют по 1 голосу.

Часто вводят понятия решающего голоса и совещательного голоса. Например, при защите дипломного проекта члены  Государственной Аттестационной Комиссии (ГАК) имеют решающие голоса, а все  остальные участники заседания - совещательные.

В регламент  принятия решений иногда включают положение, согласно которому при делении голосов  ровно пополам принимается мнение той половины, к которой относится  председатель ЭК. Это означает, что  вес голоса председателя на бесконечно малую величину больше веса рядового эксперта. Иногда пред седателю дают два  голоса.

При голосованиях на собраниях акционеров вес каждого  эксперта (участника заседания) определяется числом акций, которыми он распоряжается.

Комбинация  различных видов  экспертизы. Реальные экспертизы часто представляют собой комбинации различных описанных выше типов экспертиз. В качестве примера рассмотрим защиту студентом дипломного проекта. Сначала идет многотуровая очная экспертиза, проводимая научным руководителем и консультантами, в результате студент подготавливает проект к защите. Затем два эксперта работают заочно - это автор отзыва сторонней организации и заведующий кафедрой, допускающий работу к защите. Обратите внимание на различие задач этих экспертов и объемов выполняемой ими работы - один пишет подробный отзыв, второй росписью на титульном листе проекта разрешает его защиту. Наконец - очная экспертиза без ограничений (для членов ГАК - государственной аттестационной комиссии). Дипломный проект оценивается коллегиально, по большинству голосов, при этом один из экспертов (научный руководитель) знает работу подробно, а остальные - в основном лишь по докладу. Отметим, что мнения экспертов учитываются с весами, а именно, мнения членов ГАК - с весом 1, мнения всех остальных - с весом 0 (совещательный голос). Таким образом, имеем сочетание многотуровой и однотуровой, заочных и очных экспертиз. Подобные сочетания характерны для многих реально проводящихся экспертиз.