Экспертные оценки

 
 
 
 
 
 
 
 

Научно-исследовательская  работа

на тему

«Экспертные оценки» 
 
 
 
 
 
 
 
 
 
 
 
 
 

Санкт-Петербург

2009 год

Введение

К сожалению, вследствие очень большого объема информации и малого количества времени, в данной работе затронуты отнюдь не все разделы  теории экспертных оценок. Я посчитала  возможным остановить свой выбор  на таких основных главах, как:

1. Примеры экспертных оценок (введение в тему, основные определения и классификации, карта оценки объекта экспертизы, методы экспертных оценок и т.д.)
2. Организация работы экспертной комиссии (стадии экспертного опроса, подбор экспертов, цель экспертизы, классификации экспертных методов и т.д.)
3. Теории измерений и экспертные оценки (шкалы измерения, инвариантные алгоритмы, средние величины)
4. Методы средних рангов (ранжировки, метод средних арифметических рангов, метод медиан рангов, метод согласования кластеризованных ранжировок)
5. Принятие решений и голосование (принцип и парадокс Кондорсе, организация голосований и регламент, основные понятия теории принятия решений)
6. Математические методы анализа экспертных оценок

Так же работа содержит большое количество примеров, парадоксов и ситуаций, что  позволяет наглядно продемонстрировать практическое применение данной науки, а так же сделать ее изучение более  интересным. 

 

Теория  и практика экспертных оценок

Количественные  и качественные (обычно в баллах или порядковых номерах, рейтингах) оценки процессов и явлений, экономических  величин, показателей, выполняемые  экспертами на основе суждений. Чаще всего  к таким оценкам приходится прибегать, когда анализируемая величина не поддается непосредственному измерению, учету.

Райзберг  Б.А., Лозовский Л.Ш., Стародубцева Е.Б.

Экспертные  оценки бывают индивидуальные и коллективные.

Классический  пример коллективной экспертной оценки – решение суда присяжных. По простым  делам судья принимает решение  единолично, при рассмотрении тяжких преступлений законодательством предусмотрена  возможность участия в принятии решений комиссии экспертов –  присяжных заседателей.

(ГИБДД,  Университет, суд, армия…)

Примеры экспертных оценок

Вопросы, которые должны быть отражены в заключении эксперта

1. Актуальность  проекта.

2. Краткая  характеристика положения в данной  области в стране и за рубежом.

3. Научное  значение проекта.

4. Научная  новизна предлагаемых решений.

5. Прикладное  значение проекта.

6. Новизна  предлагаемых технических (технологических)  решений.

7. Существующие  отечественные и зарубежные аналоги  (марка, тип, фирма, страна).

8. В  чем заключается преимущество  предлагаемых решений по сравнению  с существующими в данной области  в стране и за рубежом.

9. Сравнительные  данные экономических показателей  объекта и его аналогов (в сопоставимом  виде).

10. Оценка  потенциала разработчика

      - наличие научно-технического задела  в данной области и в чем  он выражается;

      - наличие научно-производственной  базы.

11. Обоснованность  стоимости работ, оценка структуры  затрат.

12. Реальность  достижения поставленных целей:

      - в предлагаемые сроки;

      - предлагаемыми способами (методами) и ресурсами. 

13. Возможность  серийного освоения предлагаемого  проекта.

14. Последствия  создания и использования проекта:

      - научные и научно-технические;

      - экологические;

      - гуманитарные;

      - экономические;

      - социальные.

15. Выводы:

      - необходимость реализации проекта  (полная, частичная);

      - целесообразность финансирования (в  целом, частично);

      - рекомендации эксперта.

Мнение  эксперта должно быть выражено в специальном  документе – заключении.

Написанные  в свободной манере заключения не всегда позволяют сопоставить между  собой отдельные характеристики проектов. Поэтому эксперты РИНКЦЭ заполняют еще один формализованный  документ.

Карта оценки объекта экспертизы

Научная значимость:

1. Исключительно  высокая

2. Значительная

3. Невысокая

4. Неопределимая  (в настоящее время)

5. Отсутствует

Практическая  значимость:

1. Исключительно  высокая

2. Значительная

3. Невысокая

4. Неопределимая  (в настоящее время)

5. Отсутствует

Научная новизна, оригинальность:

1. Не  имеет аналогов

2. Нет  аналогов в стране, есть за  рубежом

3. Нет  аналогов за рубежом, есть в  стране

4. Есть  сведения об отдельных отечественных  и зарубежных аналогах

5. Научная  новизна отсутствует

Методы  и способы достижения цели:

1. Новые 

2. Современные

3. Традиционные

4. Устаревшие

5. Неадекватные

Потенциал исполнителей в рассматриваемой  области:

1. Достаточный

2. Недостаточный  в части научного задела (опыта  работы)

3. Недостаточный  в части материально-технической  (лабораторно-экспериментальной) базы

4. Недостаточный  в части состава исполнителей

5. Данных  для оценки недостаточно

Срок  работы:

1. Реальный 

2. Завышен

3.Занижен

4. Данных  для оценки недостаточно

Стоимость работ (объем финансирования):

1. Приемлемая

2. Завышена

3.Занижена

4. Данных  для оценки недостаточно

Рекомендуемый приоритет осуществления:

1. Работа  первостепенной важности

2. Работа  высокой важности

3. Работа  представляет определенный интерес

4. Работа  представляет незначительный интерес,  но заслуживает поддержки при  наличии достаточных средств

5. Работа  поддержки не заслуживает

Эксперт несет ответственность за свое заключение – уголовную, административную, материальную, гражданско-правовую. Экспертные исследования принципиально отличаются от маркетинговых  и социологических, в которых  подчеркивается анонимность опрашиваемых.

«Вопросы, которые должны быть отражены в заключении эксперта», являются открытыми (недостаток - в сложности сопоставления мнений различных экспертов), а «Карта оценки объекта экспертизы» состоит  из закрытых вопросов.

Для обработки  данных по группам и сравнения  групп между собой нужны формализованные  данные, и фактически речь может  идти лишь о том, кто именно –  эксперт или организатор экспертизы - будет шифровать ответы.

На этапе  подготовки важного экспертного  опроса проводят «пилотное» исследование – апробацию документов и процедур анализа ответов, которые будут  собраны в ходе будущего опроса.

Тех, кто  обеспечивает организацию и проведение экспертизы называют «рабочей группой» (РГ) или «группой сопровождения». Таким  образом, для нас двумя основными  объектами рассмотрения являются экспертная комиссия (ЭК) и рабочая группа (РГ).

Рассмотрим  несколько процедур коллективных экспертных оценок, начиная с простейших, при  этом вводя и обсуждая используемые в дальнейшем понятия.

Оценка  номеров в КВН. Простейший пример коллективных экспертных оценок - оценка номеров в известной игре КВН. Экспертной комиссией является жюри. Каждый из его членов поднимают планшет со своей оценкой. Затем вычисляют среднюю арифметическую оценку (подход некорректен с точки зрения теории измерений).

.

Фигурное  катание. Процедура обработки оценок экспертов усложняется - перед усреднением отбрасываются самая большая и самая маленькая оценки. Это делается для того, чтобы 1 член жюри не мог сильно повлиять на итоговый балл.

.

С точки  зрения прикладной математической статистики X* - это робастная оценка теоретического среднего, нацеленная на борьбу с аномальными (резко выделяющимися) результатами наблюдений.

Итак, правила обработки оценок экспертов существенно влияют на объективность выводов экспертной комиссии.

Экспертный  выбор. Экспертные оценки часто используются при выборе одного варианта из нескольких. Типовая ситуация такова. Заказчик формулирует технические требования к будущему изделию. Объявляется конкурс (тендер). Как правило, оказывается, что эти образцы несравнимы.

Задача  экспертной комиссии – выбрать опытный  образец для запуска в серийное производство. Есть два принципиально  разных подхода к решению этой задачи.

Первый  из них основан на сравнении образцов. Каждый из экспертов упорядочивает (ранжирует) образцы. Далее они обрабатываются теми или иными математическими методами с целью расчета итогового мнения комиссии экспертов. В другом варианте организации экспертизы образцы предъявляются попарно для сравнения, математический анализ результатов парных сравнений позволяет найти итоговое мнение. В третьем варианте каждого эксперта просят выбрать три лучших образца, и т.д.

Второй  подход имеет целью соизмерить сравнительную  важность различных показателей  качества, построить интегральный показатель качества (рейтинговую оценку), с  помощью которого можно упорядочить  образцы по качеству (рассчитать рейтинг образцов). Пусть, например, выделено (с помощью предварительного экспертного исследования) m показателей качества. Для конкретного объекта экспертизы комиссия оценивает эти показатели Y₁, Y₂, …, Y_m, затем РГ рассчитывает значение интегрального показателя качества:

.

Значения  коэффициентов a_i (коэфф. важности, значимости) обычно определяются с помощью той или иной экспертной процедуры.

Кроме аддитивной формы интегрального  показателя, часто используют мультипликативный  вариант этого показателя: