Требования к построению и проверке методик

     Одним из важнейших средств повышения  надежности методики является единообразие процедуры обследования, его строгая регламентация: одинаковая обстановка, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми и так далее.

     На  характеристику надёжности методик большое влияние оказывает исследуемая выборка. Она может, как снижать, так и завышать этот показатель, например, надежность, может быть искусственно завышена, если в выборке небольшой разброс результатов, т.е. если результаты по своим значениям близки друг к другу. Поэтому в руководстве обычно делается описание выборки, на котором определялась надёжность методики.

     В настоящее время надежность все  чаще определяется на наиболее однородных выборках, т.е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т.п.

     Разновидностей  надёжности методик так же много, как и условий, влияющих на результаты диагностических испытаний. Так как все виды надёжности отражают степень согласованности двух независимо полученных рядов показателей, то математико-статистический приём, с помощью которого устанавливается надёжность методики, - это корреляции (по Пирсону или Спирмену). Надёжность тем выше, чем больше полученный коэффициент корреляции приближается к единице, и наоборот.

К.М. Гуревич  предложил толковать надёжность как:

надёжность  самого измерительного инструмента (коэффициент  надежности);

стабильность  изучаемого признака (коэффициент стабильности);

константность, т.е. относительную независимость  результатов от Личности экспериментатора (коэффициент константности). 

2.3. Валидность методик

     Вопрос  о валидности решается после того, как установлена надежность, так как ненадежная методика не может быть валидной.

     Валидность  теста – понятие, указывающее  нам, что тест измеряет и насколько  хорошо он это делает (А. Анастази). Валидность по своей сути – это комплексная  характеристика, включающая, с одной  стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова её действенность, эффективность, практическая полезность.

     По  этой причине не существует какого-то единого универсального подхода  к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность  – соответствие конкретного исследования принятым стандартам (безупречному эксперименту).

     Валидность  в первом ее понимании имеет отношение  к самой методике, т.е. это валидность измерительного инструмента. Такая  про-верка называется теоретической валидизацией. Валидность во втором ее понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

     При теоретической валидизации исследователя  интересует само свойство, измеряемое методикой.

     Так как для определения теоретической  валидизации тяжело найти какой-нибудь независимый критерий, лежащий вне  методики, и поэтому раньше принимались  на веру голословные утверждения  о валидности этой методики. Так  как теоретическая валидизация  направлена на доказательство того, что методика измеряет именно свойство, которое она должна измерить. Для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, по средствам которой эти психологические явления пытаются познать. Она показывает, что замысел автора и результаты методики совпадают.

     Не  столь сложно осуществить теоретическую  валидизацию новой методики, если для измерения данного свойства уже имеется методика с известной, доказанной валидностью. Наличие корреляции между новой и аналогичной старой методиками указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная.

Для проверки теоретической валидности важно, с  одной стороны, установить степень  связи с родственной методикой (конвергентная валидность), а с другой – отсутствие этой связи с методиками, имеющими другое теоретической основание (дискриминантная валидность).

     Важную  роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами Деятельности. Важно чтобы методика была проработана в теоретическом плане.

Оценка  валидности методики может носить количественный и качественный характер.

     Для вычисления количественного показателя (коэффициента валидности) сопоставляются результаты, полученные при применении диагностических методик, с данными тех же лиц, полученные по внешнему критерию. Используются разные виды линейной корреляции (по Спирмену, по Пирсену).

     Качественное  описание сущности измеряемого свойства. Здесь не используют статистическую обработку.

     Существуют  несколько видов валидности, обусловленных  особенностями диагностической  методики, а также временным статусом внешнего критерия:

Валидность  «по содержанию» (используется в  тестах достижения): 3 – 4 вопроса из большой темы могут показать истинные знания ученика. Для этого результаты диагностики сравнивают с экспертными оценками учителя.

Валидность  «по одновременности» или текущая  валидность – собираются данные, относящиеся  к настоящему времени: успеваемость, производительность и т.п. С ними коррелируют результаты успешности по тесту.

«Предсказывающая» валидность («прогностическая»). Определяется по надежному внешнему критерию, но информация по нему собирается некоторое  время спустя после испытания. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования.

«Ретроспективная» валидность. Определяется на основе критерия, отражающего события или состояние  качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. 
 

3.Правила применения и использования психодиагностических методик 

     В соответствии с основными принципами кадрового консультирования в кадровой службе организации-заказчика вопрос о том, какие психодиагностические методики будут использоваться для оценки персонала, должен быть подробно обсужден. Лучше всего прочитать небольшую лекцию об истории психодиагностики, возможностях и ограничениях основных подходов и методов. Затем, вернувшись к необходимости использования психодиагностических процедур в консультационном процессе, обсудить свои предложения. Желательно само обсуждение построить максимально открытым. Для этого можно подробно остановиться на целостном видении комплекса процедур и на каждой в отдельности.

     Одним из наиболее продуктивных способов снятия первоначальных барьеров служит демонстрация некоторых или всех предлагаемых процедур с последующим анализом полученных результатов. Сразу после  этого возникает уникальная возможность  обсудить с представителями заказчика этическую сторону применения психодиагностических процедур в процессе консультирования. Здесь необходимо прояснить разделение ответственности между консультантом и представителями заказчика. Консультант полностью отвечает за качество результатов обследования и безопасность оцениваемых. Однако ответственность за качество работы и итоговый результат распространяется и на руководителя подразделения. Для контроля за качеством результата он должен помнить, что эффективная диагностическая работа возможна лишь в том случае, если будут выполнены следующие требования:

1) в  отношении используемых тестов  присутствуют данные о валидности, надежности, существуют статистические  нормы для предполагаемых категорий  испытуемых;

2) имеются  методические материалы (стимульный материал, бланки, ключи, описание методики, описание процедуры тестирования, алгоритм обработки результатов, текст интерпретации результатов и рекомендации по составлению заключения на их основе;

3) использование  методики оправдано с точки зрения критериев отбора (оценки) персонала, финансовых и временных затрат;

4) имеется  квалифицированный консультант,  который может предоставить экспертное  заключение в отношении данного  теста и целесообразности его  использования;

5) конфиденциальность персональной информации гарантируется в том числе и процедурно (создается специальный документ, в котором уточняется порядок хранения, передачи и использования информации, вводится специальная кодировка первичных результатов с ограниченным доступом к ключу).

Полноценное использование психодиагностических методов, необходимое для получения  достоверных результатов, а также  соображения профессиональной этики  предполагают, что консультант и  представители заказчика в своей  работе будут придерживаться ряда правил.

     В кадровой работе следует применять лишь теоретически хорошо обоснованные и практически проверенные методики. И соблюдать следующие правила для их использования:

обязательно соблюдать профессиональную тайну, как в отношении технологии тестирования, так и по поводу диагностической информации, полученной об испытуемом;

• строить  отношения с обследуемыми на партнерской  основе. Это означает, что: нельзя злоупотреблять их доверием; следует обязательно  предупреждать о том, как будет  использоваться диагностическая информация и кто будет иметь к ней доступ; необходимо создавать условия для получения испытуемым информации по данным тестирования;

• при  запросе со стороны испытуемого  о результатах тестирования предоставлять  информацию в позитивном виде, делая  ударение на потенциальных возможностях испытуемого и избегая негативных оценочных суждений;

• не допускать  к психодиагностической и аналитической  работе, требующей высокой профессиональной квалификации, лиц, не прошедших специальное  обучение, а также нарушающих требования профессиональной этики.

Для создания благоприятной психологической  атмосферы, снижения напряженности  у испытуемого и в конечном итоге получения достоверного результата при тестировании следует придерживаться следующих основных правил:

• заранее согласовывать с испытуемым дату, время обследования, обязательно сообщать о его продолжительности;

• тестирование следует проводить в отдельном  помещении, с соблюдением необходимых  санитарно-гигиенических норм (площадь  на одного испытуемого не менее 3 м2, наличие вентиляции, окон, приятный интерьер и пр.), при отсутствии телефонов и других отвлекающих моментов;

• перед  тестированием важно установить психологический контакт с испытуемым, еще раз сообщить о времени, необходимом  для прохождения тестирования, выразить уверенность в способности испытуемого справиться с заданиями, сообщить, что полученная информация является конфиденциальной, позволяет выявить потенциал кандидата (в том числе скрытый) и является не только основанием для принятия кадрового решения, но и подспорьем в ходе его профессиональной адаптации на новом месте работы;

• не следует  сообщать испытуемому подробности  об интерпретации результатов —  это может повлиять на уровень  их достоверности и будет способствовать девалидизации методики;

• в  отношении испытуемого следует занять партнерскую позицию («Мы делаем с вами общее дело, мы заинтересованы в получении достоверной информации и будем вам благодарны за нее»), взаимодействие с позиции силы («Сейчас мы все про вас узнаем!») недопустимо;

• во время психодиагностического обследования следует быть приветливым, вежливым и проявлять готовность прийти на помощь в случае необходимости;

• во время  тестирования следует предусмотреть 10-минутные перерывы через каждый час  работы;

• при  интересе со стороны испытуемого к результатам тестирования следует выразить готовность предоставить эту информацию в устной конспективной форме и сообщить, когда это может быть сделано; 

• при  завершении обследования следует проинформировать испытуемого о дальнейшем взаимодействии (сроки, форма и пр.) и обязательно поблагодарить за проделанную работу.

Поведение испытуемого во время выполнения тестов может служить дополнительным источником информации о его индивидуально-психологических  особенностях.