Методы коллективных экспертных оценок

Содержание:

 

 

Введение

1. Метод комиссии

2. Метод «Дельфи»

3. Метод коллективной  генерации идей

4. Методика проведения экспертных  опросов

5. Метод «круглого стола»

Заключение

Список литературы

 

Введение

 

К числу групповых экспертных опросов относятся:

• открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;

• закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса;

• свободные высказывания без обсуждения и голосования.

Групповые экспертные оценки могут быть получены при опросе экспертов как одной специальности, так и разных. В последнем случае экспертная оценка часто носит характер деловой игры.

Опыт показал, что традиционные методы обсуждения поставленных перед группой экспертов вопросов, относящиеся к первому типу экспертных опросов, до достижения определенного согласия между ними или до выработки общей позиции не являются наилучшими методами использования группы экспертов. Эти методы обсуждения страдают рядом недостатков, таких, как взаимное влияние мнений экспертов и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично. Поэтому на практике при подготовке решений по широкому кругу вопросов находят все большее распространение второй и третий типы групповых экспертных оценок.

Второй тип групповых экспертных оценок можно подразделить на две категории: экспертный опрос, проводимый в один тур путем одноразового заполнения анкет и проводимый в несколько туров путем многократного заполнения анкет экспертами с целью последовательного уточнения оценок.

 

 

 

 

 

1. Метод комиссии

 

Этот метод состоит в открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате тайного или открытого голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии.

Преимущество метода комиссии состоит в росте информативности экспертов, поскольку при обсуждении эксперты приводят обоснования своих оценок, под воздействием которых некоторые участники комиссии могут изменить первоначальную точку зрения. К недостаткам относится отсутствие анонимности. Оно может приводить к достаточно сильным проявлениям конформизма со стороны экспертов, присоединяющих свои мнения к мнению более компетентных и авторитетных экспертов даже при наличии противоположной точки зрения. Дискуссия часто сводится к полемике наиболее авторитетных экспертов, в которой часто берет не обоснованность, а количество приводимых доводов “за” и “против”. Кроме того, публичность высказываний может приводить к нежеланию некоторых экспертов отказаться от ранее высказанного мнения, даже если оно в процессе дискуссии претерпело изменения. Главным же недостатком является то, что эксперты заранее ориентированы на компромиссное решение проблемы, а это, в свою очередь, допускает достаточное искажение результатов прогноза.

 

 

 

 

 

 

 

 

2. Метод «Дельфи»

 

Для прогнозов развития науки и техники, будущих открытий и изобретений, для которых не имеется достаточной теоретической базы в момент составления прогноза, составления картины будущего мира широко применяется один из методов, связанный с обобщением и статистической обработкой мнений группы экспертов, получивший название метода "Дельфи". Этот метод относится к классу методов групповых экспертных оценок. Он был разработан и применен в США впервые в 1964 году сотрудниками научно-исследовательской корпорации РЭНД О.Хелмером и Т.Гордоном.

Происхождение названия этого метода связывают с понятиями "дельфийский оракул". Дельфийский оракул – наиболее известное в Древней Греции место религиозных пророчеств. Дельфийский оракул находился в городе Дельфы при храме Аполлона, считавшегося покровителем и прорицателем.

Метод "Дельфи" наиболее целесообразно применять в таких случаях, когда имеющиеся в распоряжении или доступные данные непригодны для решения существующей проблемы; в распоряжении нет нужных данных; нет достаточного времени для сбора необходимых данных; процесс получения и анализа необходимых данных слишком дорогостоящий.

В методе "Дельфи" предусматривается создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии. Это достигается равномерностью процедуры, возможностью пополнить информацию о предмете экспертизы, отказом от коллективного мнения. Еще одно важное свойство – обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказавших "крайние" точки зрения. Для реализации обратной связи необходима многотуровая процедура. Экспертизы по методу "Дельфи" проводятся, чаще всего, в 4 тура при помощи анкетирования.

На первом туре экспертам сообщается цель экспертизы, и формируются вопросы, на которых составляют основное содержание экспертизы. Вопросы предъявляются каждому эксперту персонально в виде анкеты, иногда сопровождаемой пояснительной запиской.

Успеху экспертизы способствует предоставление эксперту дополнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку промежуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших “крайние” точки зрения, давших самую высокую и самую низкую оценку альтернативе, усредненное мнение экспертов — медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативе, выше и ниже которых расположены 25% численных значений оценок. Расстояние между квартилиями характеризует разброс экспертных оценок, и тем самым характеризует согласованность точек зрения экспертов.

На втором туре “Дельфийской” процедуры экспертам предъявляется усредненная оценка экспертной комиссии и обоснования экспертов, высказавших “крайние” точки зрения. Обоснования принимаются анонимно, без указания давших их экспертов. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу.

На третьем туре эта информация вместе с анонимными аргументациями поставленных оценок снова направляется каждому участнику. На основе полученной информации эксперты пересматривают предыдущие оценки. Если же оценка какого-либо эксперта значительно выходит за рамки общего интервала, то он должен подтвердить достаточной аргументацией свою позицию и объяснить, почему предыдущая информация и аргументация противоположных оценок не заставили его изменить свое мнение.

На четвертом туре каждому эксперту предоставляется распределение оценок третьего тура, и он должен снова представить на рассмотрение пересмотренную оценку в свете полученной информации. Как показывает практика, желаемое согласие наступает к четвертому туру.

В некоторых случаях согласованная точка зрения экспертов может быть получена уже после второго или третьего туров. Тогда необходимость проведения следующих туров отпадает.

При прогнозировании, в целях минимизации расходов, на прогноз стараются привлекать минимальное число экспертов при условии обеспечения ошибки результата прогнозирования не более b, где 0<b<1. Рекомендуют определять минимальное число экспертов по формуле: Nmin=0,5(3/b+5) [3, с.227]. При этом должна наблюдаться стабилизация средней оценки прогнозируемой характеристики. О достижении этой стабилизации свидетельствует тот факт, что включение или исключение эксперта из группы не изменяет относительную оценку искомой величины более, чем на b.

Следует также отметить, что использование меридианы и квартилей в методе “Дельфи” имеет помимо положительной стороны и отрицательную. В частности при рассмотрении оценок группы экспертов оценка, слишком сильно отличающаяся от других, практически исключается, не смотря на то, что она может оказаться более верной, чем остальные, т.е. большинство экспертов могут сойтись в ошибочной оценке.

Правда, подобные отклонения, по мнения авторов метода “Дельфи”, компенсируются автором до некоторой степени тем, что по данному методу эксперта, несогласного с большинством, просят высказать причины несогласия. Все эксперты имеют возможность не согласиться с этими причинами и могут принять во внимание или отвергнуть их, переоценивать свое мнение или остаться при нем.

Так что оценка, далеко отстающая от других, отбрасывается фактически лишь в том случае, если эксперту не удается достаточно веско аргументировать свою точку зрения.

Имеется и другая трудность. Это трудность четкой формулировки вопросников. Максимальная точность достигается за счет громоздкого стиля изложения, вызывающего отрицательную реакцию у отвечающих на анкету. Здесь также надо найти оптимум между четкостью и лаконичностью поставленных вопросов, дабы все участники одинаково их интерпретировали. Другим недостатком дельфийского прогноза является то, что ответы высококомпетентных экспертов как бы разбавляются оценками менее информированных специалистов, кроме того, в ряде случаев, одни и те же специалисты включены в разные группы (чего допускать нельзя).

Метод “Дельфи” имеет ряд недостатков. Известно, что организаторы опроса стремятся избежать принятия групповых решений. Вместе с тем в группе экспертов невольно появляются лидеры («уважаемые люди»), которых другие эксперты имеют склонность поддерживать («эффект золы»). К другим недостаткам относятся больший цикл многотуровой экспертизы: опасность поверхностного, несистемного анализа экономического явления; отсутствие открытой дискуссии.

В заключение можно сказать, что, несмотря на указанные недостатки, метод “Дельфи” является достаточно надежным инструментом получения экспертной информации. Пересмотр и возможность изменения прежних оценок на основе выяснения соображений каждого из экспертов и последующий анализ каждым участником совокупности причин, представленных экспертами, стимулирует опрашиваемых к учету факторов, которые они на первых порах склонны были опустить как незначительные.

 

 

 

 

 

 

 

 

 

 

 

 

 

3. Метод коллективной  генерации идей

 

Метод коллективной генерации идей (по американской терминологии, метод «мозговой атаки») относится к третьему типу групповых экспертных оценок и направлен на получение большого количества идей, в том числе и от лиц, которые, обладая достаточно высокой степенью эрудиции, обычно воздерживаются от высказываний.

При проведении экспертного опроса с помощью метода коллективной генерации идей проблема должна быть сформулирована в основных терминах с выделением центрального вопроса. Кроме того, предусматриваются отсутствие любого вида критики, препятствующей формулировке идей, свободная интерпретация идей в рамках данного вопроса, стремление к получению максимального количества идей, учитывая принцип повышения вероятности полезных предложений с увеличением общего их количества, и, наконец, поощрение различных комбинаций идей и путей их усовершенствования.

При генерации идей эксперты должны выступать многократно, но не подряд. Их выступления должны быть четкими, сжатыми, без критики предыдущих экспертов. Не разрешается иметь «домашние заготовки» по спискам идей. При использовании данного метода продолжительность работы экспертов от 20 минут до 1 часа.

Задача ведущего — всячески стимулировать рабочий процесс, создавать непринужденную обстановку, записывать высказывания на магнитофон для последующего их анализа и систематизации.

Процесс выдвижения идей протекает в определенном смысле лавинообразно: высказываемая одним из членов группы идея порождает творческую реакцию у других. Исследования эффективности метода коллективной генерации идей показали, что групповое мышление производит на 70% больше ценных новых идей, чем сумма индивидуальных мышлений. Наиболее продуктивными признаны группы в 10 — 15 человек, хотя имеются примеры использования и более многочисленных групп — до 200 человек.

Так как результаты этого метода представляют не совокупность несвязанных высказываний, а систему идей, ни одно предложение не персонифицируется. Результаты обсуждения считаются плодом коллективного труда всей группы.

С помощью метода коллективной генерации идей можно успешно решать многие задачи маркетинговых исследований, например:

• определение возможных путей развития прогнозируемого процесса или объекта, один из которых оптимальный;
• определение наиболее широкого круга применяемых методов, если решение проблемы требует параллельного или последовательного использования ряда разнообразных методов;
• выявление круга факторов, которые необходимо принимать во внимание, определяя окончательный вариант решения задачи.

Коллективная генерация идей приводит к получению избытка информации, включающей как чрезвычайно ценные, так и общеизвестные и даже ошибочные предложения. Важнейшим элементом метода является квалифицированный анализ стенограмм и других материалов «мозговых штурмов». Работа по методу коллективной генерации идей может включать несколько туров и продолжаться несколько дней. Неквалифицированные попытки применения метода, подобные организации дискуссий на оперативных совещаниях, не могут приводить к результатам, получаемым методом «мозгового штурма».

К числу важнейших недостатков метода коллективной генерации идей относятся значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.

В целом методы коллективных экспертных оценок основаны на том, что при коллективном мышлении, во-первых, выше точность результата, во-вторых, при обработке индивидуальных независимых оценок, выносимых экспертами, могут возникнуть продуктивные идеи.