Экспертные оценки

Интуиция  эксперта и компьютер

Обсудим две тесно связанные между  собой темы – роль интуиции эксперта в экспертизе и применение вычислительной техники в технологиях экспертных исследований.

Интуиция  эксперта. Примером хорошего эксперта служит врач, чьи диагнозы чаще, чем у его коллег, оправдываются при вскрытии. Дело в том, что только посмертное вскрытие позволяет патологоанатому дать достоверное заключение о том, чем болел пациент, и правильно ли его лечили. Хотя это достоверное заключение уже не может принести пользы пациенту, его можно применить для оценки профессиональных возможностей врача и корректировки лечебных технологий. Причем, чем лучше врач, тем дольше придется ждать подтверждения его высокого профессионализма.

С целью  создания систем компьютерной диагностики  математики пытались выяснить, как  работают выдающиеся врачи. Для этого их просили описать используемые ими в лечебной работе методы умозаключений. Практикующие врачи приводили примерно те же формулировки, что и авторы медицинских учебников. Однако при попытках применить сформулированные таким путем правила для диагностики вновь поступающих пациентов качество принимаемых врачебных решений резко ухудшалось – вплоть до уровня рядового выпускника мединститута. Таким образом, оказалось, что выдающиеся врачи не в состоянии описать, как именно они работают. При попытке вербализации процесса диагностики интуиция исчезала, а вместе с ней – и отличие высококвалифицированного эксперта от рядового специалиста.

Важную  роль интуиции в работе эксперта трудно, а точнее, практически невозможно промоделировать математически. Как  следствие, нельзя и мечтать о  замене экспертных оценок компьютерными  расчетами. Экспертиза – это творчество.

Роль  интуиции весьма велика в различных  творческих профессиях. Например, математическое творчество, по свидетельству выдающегося  французского математика Ж. Адамара, основано на интуиции.

Экспертные  оценки и экспертные системы. Теория экспертных оценок – это наука о методах сбора и анализа мнений людей (экспертов), опирающихся на свою интуицию. Экспертная система — это программа для компьютера, которая оперирует со знаниями в определенной предметной области с целью выработки практических рекомендаций для решения возникших проблем. В них не участвуют живые люди, есть только ранее полученные знания - результат прошлой деятельности специалистов. При формализации знаний невозможно учесть интуицию экспертов. Однако компьютерной обработке может быть подвергнут огромный объем знаний, что человек сделать не в состоянии.

Сравнительные возможности живых экспертов  и экспертных систем видны при  сопоставлении шахматистов и  шахматных программ. Люди опираются на интуицию, компьютеры – на расчеты. Результат известен – за пятьдесят лет компьютеры достигли уровня гроссмейстеров. Однако речь идет об анализе простой игры с неизменными правилами. Реальные ситуации сложнее, и самое интересное – правила игры могут меняться. В настоящее время экспертные системы, как и другие достижения искусственного интеллекта – помощники человека.

Автоматизированное  рабочее место  МАТЭК (МАТ. методы в ЭКспертных оценках).

Разработано и применяется весьма большое  число методов (и особенно их разновидностей) организации и проведения экспертных исследований. Для решения конкретной задачи можно использовать, как правило, не один, а много методов, и выбор  наиболее подходящего из них лежит  на организаторах экспертизы. Автоматизированное рабочее место "МАТЭК" предоставляет  организаторам экспертизы большие  возможности для выбора тех или  иных методов планирования, организации, проведения экспертизы, анализа экспертных оценок, обеспечивает необходимую компьютерную поддержку в проведении экспертного  исследования.

АРМ "МАТЭК" предназначен для подготовки и проведения  экспертизы по определенной теме. С  помощью АРМ "МАТЭК" можно автоматизировать процесс подбора экспертов, работу комиссии экспертов и анализ экспертных мнений, а также подготовку опросных листов, бланков и всей отчётной документации.

Работа  на АРМ в соответствии с методологией работы состоит из двух частей:

А. Подготовка экспертизы.

В. Проведение экспертизы.

Этап  подготовки экспертизы включает в себя ввод всей информации, необходимой  для проведения экспертизы. Итогом этого этапа являются два документа: «Техническое задание» (ТЗ) и "Сценарий".

Рассмотрим  этап А подробнее. Сначала ЛПР должно сформулировать цель экспертизы, сформировать руководство рабочей группы (РГ).

Далее к работе приступает РГ. Её руководитель должен ввести данные для формирования документа ТЗ. Затем собираются данные для компоновки "Сценария". РГ может включать в себя  Руководителя, Группу обработки, Группу связи и Интервьюеров.

Данные  для документа ТЗ следующие: основание  для проведения экспертизы, задачи экспертных опросов, сформулированные в соответствии с целью экспертизы, требования к ЭК, опросному листу, сроки выполнения экспертизы и порядок  контроля за ними, финансовое обеспечение  проекта.

Данные  для документа "Сценарий" следующие: вводный текст (в этом тексте должна содержаться собственно последовательность действий при проведении экспертизы), календарный план (КП), список используемых методов анализа экспертных мнений (ЭМ). Как и при формировании ТЗ, "Сценарий" может иметь разную структуру, в зависимости от того, какие пункты будут в него включены. Как приложение к "Сценарию" могут  быть использованы примеры бланков  опросных листов, анкеты "Согласие" (для выявления согласия экспертов  участвовать в экспертизе), анкеты "Снежный ком", "Взаимооценка" (если соответствующие этапы включены в КП).

При формировании "Сценария" будет сформирован  опросный лист экспертизы. Опросный лист состоит из оповещения и вопросов. Вопросы группируются по задачам  из ТЗ. При формулировке вопросов учитывается  список методов обработки ответов. Точнее, сформулировав вопрос, мы должны точно знать формат ответа. Для  каждого формата ответа в АРМ  предусмотрен список методов обработки  ответов (краткое описание каждого  из них можно будет просмотреть  при выборе метода). Если пользователя не устраивает ни один из этих методов, он должен будет переформулировать  вопрос  (т. е. изменить формат ответа) так, чтобы в списке соответствующих  методов оказался подходящий ему. Тем  самым при формировании опросного  листа будет одновременно сформулирован  список используемых методов анализа  экспертных мнений (ЭМ).

Этап  В недоступен до тех пор, пока не будет завершен этап А. Возможно проведение нескольких экспертиз с одной и той же подготовкой. На этапе проведения экспертизы формируется ЭК, проводится сбор и анализ ЭМ, формируется отчет и заключение.

Формирование  ЭК - многоступенчатый процесс. Сначала  член РГ (руководитель) в соответствии с информацией об экспертах из БДЭ (базы данных об экспертах) может  отобрать подходящих кандидатов в ЭК. Далее с помощью анкеты "Согласие" из этого списка отбираются согласившиеся  быть членами ЭК. Два последних  шага могут проводиться или нет, в зависимости от того, включены ли они в КП. Это этапы "Снежный  ком" и "Взаимооценка".

После того, как сформирован ЭК, можно  проводить сбор экспертных мнений (ЭМ). Анализ ЭМ по каждому вопросу проводится методом, выбранным пользователем  АРМ (руководителем РГ) на этапе подготовки  экспертизы для этого вопроса.

По всем предыдущим этапам формируются отчеты, из которых в результате получается общий отчет о проведении экспертизы. В соответствии с задачами из ТЗ формируется заключение для ЛПР.

На этом заканчивается «гуманитарная» часть  обсуждения теории и практики экспертных оценок. Конкретные методы сбора и  анализа экспертной информации с  привлечением современного математического  аппарата рассмотрены в далее.

Литература

1. Орлов А.И. Эконометрика: Учебник для вузов. Изд. 3-е, переработанное и дополненное. - М.: Изд-во "Экзамен", 2004. – 576 с.
2. Сидельников Ю.В. Технология экспертного прогнозирования: Учебное пособие. Изд. 2-е, исправл. – М.: Доброе слово, 2004. – 284 с.
3. Орлов А.И. Прикладная статистика. Учебник. - М.: Экзамен, 2006. - 672 с.
4. Статические и динамические экспертные системы: Учеб. пособие / Попов Э.В., Фоминых И.Б., Кисель Е.Б., Шапот М.Д. – М.: Финансы и статистика, 1996. – 320 с.
5. Барский Б.В., Соколов М.В. Средние величины, инвариантные относительно допустимых преобразований шкалы измерения / Заводская лаборатория. 2006. Т.72. №1. С. 59-66.
6. Колмогоров А.Н. Об определении среднего. - В кн.: Избранные труды: Математика и механика. - М.: Наука, 1985. С. 136-138.
7. Паркинсон С.Н. Законы Паркинсона: Сборник: Пер. с англ. - М.: Прогресс, 1989. - 448 с.
8. Литвак Б.Г. Экспертная информация. Методы получения и анализа. - М.: Радио и связь, 1982. -184 с.
9. Сидельников Ю.В. Теория и организация экспертного прогнозирования. - М.: ИМЭМО АН СССР, 1990. - 196 с.
10. Раушенбах Г.В. Меры близости и сходства. В сб.: Анализ нечисловой информации в социологических исследованиях. – М.: Наука, 1986. С.169-203.
11. Красильников В.В. Статистика объектов нечисловой природы. - Набережные Челны: Изд-во Камского политехнического института, 2001. - 144 с.
12. Кендэл М. Ранговые корреляции. - М.: Статистика, 1975. - 216 с.