Метод экспертного опроса

    8. Деловая игра. Метод может быть реализован в разных формах. Наиболее распространенная форма - моделирование анализируемых процессов и/или будущего развития прогнозируемого явления в разных вариантах и рассмотрение полученных данных. Разработка процедуры проведения деловой игры - достаточно сложная задача, и ей должно быть уделено серьезное внимание. Должны быть четко определены и формально описаны следующие элементы игры: цели и задачи, роли участников, сюжет и регламент. Важным этапом любой деловой игры является рефлексия - разбор хода игры и подведение итогов. В данном случае рефлексия заключается не только в анализе самого игрового процесса, но и в анализе результатов моделирования исследуемого явления.

    9. Метод "суда". Метод представляет собой одну из разновидностей деловых игр. Обсуждение поставленной задачи реализуется в виде судебного процесса: моделируется "процесс над проблемой". Выбираются "адвокат", "прокурор", "суд", "присяжные" и др. участники "процесса". Каждый отстаивает свою точку зрения, касающуюся анализируемого или прогнозируемого явления, аргументируя свои высказывания. Окончательный вердикт об исследуемой проблеме определяется в два этапа: голосование "присяжных" и конкретизация решения "судьями".

    10. "Консилиум". Эксперты исследуют проблему подобно тому, как врачи обследуют пациента: определяются "симптомы" проявления проблемы, вскрываются причины возникновения проблемы, производится анализ, ставится "диагноз", и дается прогноз развития ситуации.

    11. "Коллективный блокнот". Метод в основе своей аналогичен "индивидуальному блокноту", однако в данном случае блокноты получают несколько экспертов, каждый из которых знает, что он является участником экспертной группы. Возможен вариант, когда в начале работы все эксперты собираются вместе и им рассказывают о сущности возникшей проблемы и формулируют задачу. Далее каждый эксперт работает со своим блокнотом в течение определенного времени (при этом также возможно, что разные эксперты сосредотачиваются на разных сторонах проблемы). Второй этап реализации экспертизы заключается в том, что блокноты собираются, информация систематизируется (исследовательской командой или руководителем экспертной группы) и далее в очном совместном обсуждении накопленного и систематизированного материала эксперты приходят к решению проблемы.

    12. Метод Дельфи. Метод представляет собой заочный и анонимный опрос экспертной группы в несколько туров с согласованием мнений экспертов. Экспертам предлагаются опросные листы по исследуемой проблеме. Степень стандартизированности вопросов может быть различна (они могут быть как закрытыми, так и открытыми, подразумевать как количественный, так и качественный ответ). Возможны вариации и в плане аргументации и обоснования экспертных оценок (что может быть обязательным или нет). Как правило, метод Дельфи реализуется в 2-3 тура, причем при повторных опросах экспертам предлагается ознакомиться либо с мнениями и аргументами каждого эксперта, либо со средней оценкой. На повторных турах эксперты могут поменять свою оценку, приняв во внимание аргументы коллег, а могут остаться при прежнем мнении и высказать обоснованную критику других оценок. Существуют различные методики согласования экспертных оценок (с учетом (или без) квалификации экспертов (как весовых коэффициентов), с отбрасыванием (или без) крайних оценок и другие). Метод Дельфи имеет весьма существенные достоинства, которые иногда делают его незаменимым. Во-первых, заочность и анонимность позволяют избежать конформизма или ориентации на авторитеты, что могло бы возникнуть, если бы экспертов собрали вместе и они должны были бы обнародовать свое мнение. Во-вторых, эксперты имеют возможность изменить свое мнение без риска "потерять лицо". ³ 
 
 
 
 
 
 
 
 

    Глава 2. Применение методов  экспертного опроса на практике.

    § 2.1 Область применения.

    Экспертный  опрос наряду с традиционными методами сбора информации может широко применяться и в других областях социологических исследований. Так, например, В.З. Докторов справедливо указывает, что использование данного приема весьма эффективно при изучении общественного мнения ⁴.

    Чем обусловлено обращение к экспертам? Заключения специалистов, связанных  в силу своей повседневной профессиональной деятельности с изучением состояния и динамики общественного мнения могут дать надежную и точную картину, не уступающую по своей достоверности массовым опросам.

    Поскольку общественное мнение всегда предметно, поскольку в нем всегда содержится отношение к той или иной проблеме. Поэтому статусом эксперта могут быть (при известных ограничениях) наделены, во-первых, специалисты, занимающиеся исследованием различных аспектов этой проблемы, во-вторых, представители социальных институтов, призванных решать ее в интересах всего общества, и, в-третьих, лица, ответственные за формирование общественного мнения по данной социальной проблематике.

    Экспертные  методы были использованы в исследовании актуальных проблем внутритеатрального управления в связи с проведением комплексного социального эксперимента по перестройке театрального дела. Прежде чем приступить к нововведениям, группе исследователей было поручено изучить мнения руководителей театров Москвы, входящих в систему Министерства культуры РФ. Целью опроса было выяснить, что именно и каким образом они хотели бы усовершенствовать.

    На  этом этапе исследования осуществляется обработка информации - сложная, трудоемкая и зачастую дорогостоящая процедура. Большое значение имеет определение оптимальной стратегии обработки. Как проверить гипотезы, с помощью каких статистических методов? Какие статистические показатели и критерии следует применить в каждом конкретном случае? Ответить на эти вопросы исследователь должен раньше, чем массив информации будет переведен на машинные носители и введен в компьютер. Строго говоря, стратегия обработки данных, хотя бы в общих чертах, должна быть ясна еще во время подготовки процедурной части программы, так как характер методических документов, применяемые в них шкалы самым непосредственным образом связаны с методами обработки собранной с их помощью информации. Участие экспертов в определении путей решения этой задачи должно оказаться чрезвычайно полезным, однако пока наша социологическая практика таким опытом не располагает. Можно лишь предположить, что наиболее эффективным в данном случае очные методы опроса экспертов, особенно прямая мозговая атака и обмен мнениями.

    На  этапе ручной обработки и кодирования  возможностей использования эксперта гораздо меньше. Но и здесь следует обращаться к специалистам, например, при выборе способа кодирования или в спорных случаях, когда вероятна различная интерпретация записей, содержащихся в методических документах. Форма опросов экспертов в этом случае - свободное интервью и в отдельных случаях "обмен мнениями".

    Завершающий этап исследований - анализ результатов. Он начинается с проверки гипотез: подтвердились ли они эмпирическими данными. Иногда для этого достаточно просмотреть соответствующие таблицы, отпечатанные на компьютере. Так бывает в случае четкого соответствия гипотез, методических документов и стратегии обработки, что в социологической практике пока встречается редко. Чаще полученные данные допускают различные толкования, поэтому вопрос о подтверждении или опровержении гипотезы оказывается совсем не простым. Его можно решить с помощью экспертов. Наиболее пригоден здесь метод "обмена мнениями" ("отнесенной оценки").

    Затем следует интерпретация результатов оценки гипотез. Вспомним, что гипотезы формулировались в терминах эмпирического следования, следовательно, нужно перевести результаты их проверки на язык теории. В программе присутствует концептуальная модель предмета исследования. Теперь настало время решить, что в этой модели соответствует эмпирической действительности, что - нет, в каких направлениях надо ее развить, дополнить, в каких пересмотреть, а то и вовсе сократить. Эта работа может быть эффективно проведена с помощью экспертов. Наиболее подходящими здесь представляются методы очного опроса: "мозговая атака" и "обмен мнениями"⁵.

    Параллельно с интерпретацией результатов разрабатывается  прогноз, даже если перед исследованием  не стоят специально прогностические задачи. На этом этапе могут быть использованы практически все экспертные методы. Наиболее подходящими для социологического прогнозирования являются "стимулирование наблюдения", формализованный опрос, шкалированные оценки, "метод Дельфи"⁶.

    Анализ  информации, а с ним и все исследование, завершается формулированием выводов и рекомендаций. Нужно определить, выполнены ли поставленные перед исследованием задачи и насколько полно, какие из них решены, а какие нет, рассмотреть причины, по которым некоторые задачи остались нерешенными. Необходимо показать, какой вклад   исследование внесло в теорию изучавшейся проблемы и в поиск путей ее практического решения, сформулировать практические рекомендации по управлению изучавшимися социальными процессами.

    На  заключительном этапе работы привлечение экспертов более чем оправдано. При этом желательно более широкое включение в ее состав экспертов практических работников, хорошо знакомых с конкретными условиями внедрения рекомендаций. Наиболее приемлемой формой работы в данном случае является опрос экспертов по методу коллективной генерации идей. Для уточнения полученных таким путем рекомендаций может также использоваться опрос экспертов методом комиссии ⁷.

    Итак, экспертный опрос представляет собой  важнейшее подразделение опросного метода. Его отличительные черты касаются задач, для решения которых он используется, функций выполняемых в социологическом исследовании, технических и методических приемов подготовки инструментария и проведения опроса, кодировки вопросов, включения получаемой информации в схему обработки и анализа, постановки проблемы достоверности и репрезентативности и т.п.  

    § 2.2. Выбор экспертов.

    Для отбора экспертов необходимо, во-первых, сформулировать критерии отбора (ответить на вопрос "Кто может выступать в качестве эксперта по данной проблеме?"), во-вторых, определить процедуры отбора (ответить на вопрос "Как установить соответствие эксперта необходимым требованиям?"). В качестве основных критериев отбора можно назвать следующие:

    1. Уровень компетентности эксперта в данной предметной области, показателями которого в совокупности являются:

    - уровень  и профиль образования, 

    - профиль  работы (связь с данной предметной  областью),

    - опыт  работы по профилю (общий стаж  работы по профилю и стаж  работы непосредственно в данной предметной области),

    - уровень  решаемых проблем (соответствие  занимаемой должности характеру  и уровню возникшей проблемы),

    - количество  и качество ранее выполненных  экспертиз, например, сбывшиеся прогнозы.

    2. Степень объективности и беспристрастности эксперта при анализе и оценке явлений в данной предметной области (незаинтересованность эксперта в принятии определенного решения).

    3. Умение работать в команде  (это особенно важно для группового  экспертного опроса), т.е.:

    - коммуникативные навыки,

    - способность  к совместному творчеству,

    - гибкость  ума и "незашоренность" взгляда, 

    - нонконформизм.  ⁸

    При оценивании экспертов по названным  критериям и выборе экспертов  могут использоваться следующие  процедуры:

    1. Самооценка экспертов по объективным параметрам.

    2. Взаимная оценка экспертов. 

    3. Оценка экспертов независимыми  специалистами. 

    4. Оценка уровня компетентности  экспертов с учетом качества  ранее проведенных экспертиз  (данная оценка производится самой  исследовательской командой на основе анализа ретроспективных данных о работе эксперта).

    Наиболее  предпочтительным является отбор экспертов  на основе независимой квалифицированной  оценки с поправкой на качество ранее  сделанных экспертиз.

    Организация взаимодействия экспертов.

    Организация взаимодействия экспертов с исследователями зависит от выбранного метода сбора экспертной информации. Методы экспертизы в этом контексте могут быть классифицированы следующим образом:

    - индивидуальные  методы экспертизы,

    - групповые  методы экспертизы.

    Экспертные  методы, относящиеся к первой группе, предполагают индивидуальную работу исследователей с каждым из привлеченных экспертов. При этом может быть задействован и один эксперт, если его квалификации достаточно для снятия информационной неопределенности по проблеме, однако обычно привлекают несколько экспертов для повышения надежности экспертизы.

    При проведении экспертного метода возможно использование как одного из названных методов, так и различных их сочетаний, что имеет смысл, если обсуждаемая проблема слишком сложна. Например, возможно следующее сочетание экспертных процедур:

    1. Коллективный блокнот - ознакомление  экспертов с проблемой, индивидуальное  размышление над проблемой и  подготовка экспертов к групповому  обсуждению.

    2. Групповое обсуждение (фокусирование, мозговой штурм и т.п.) - совместное изучение проблемы, выдвижение и рассмотрение гипотез, выбор наиболее приемлемой гипотезы.

    3. Опрос по методу Дельфи - оценивание  явления в рамках выбранной  гипотезы. ⁹ 
 
 
 

    3.2. Обработка информации.

    Информация, полученная в процессе экспертного  опроса, не является готовой экспертизой, она должна быть обработана, систематизирована, оценена с точки зрения качества, подвергнута анализу и целенаправленной интерпретации, и лишь после этого  ее можно рассматривать как решение поставленной задачи. Качество экспертной информации в принципе можно повысить, если использовать групповые экспертные опросы в несколько туров (особенно с обоснованием мнений), которые позволяют постепенно сблизить оценки экспертов, уточнить и дополнить мнения. Считается, что достоверность экспертных оценок тем выше, чем меньше разброс мнений, что может быть определено путем вычисления среднеквадратичного отклонения. Можно определить достоверность оценок косвенно, исходя из устойчивости мнений экспертов. Если оценки экспертов резко меняются от одного тура к другому, то достоверность таких оценок невелика. ¹⁰