Характеристика моделирования, понятия модели

Каждая  единица совокупности в кластерном анализе рассматривается как  точка в заданном признаковом  пространстве. Значение каждого из признаков у данной единицы служит ее координатой в этом пространстве по аналогии с координатами точки  в нашем реальном трехмерном пространстве. Таким образом, признаковое пространство – это область варьирования всех признаков совокупности изучаемых  явлений. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

38. Функции расстояния (различия, несходства)

Если  уподобить признаковое пространство обычному пространству, имеющему евклидову  метрику, то тем самым можно получить возможность измерять «расстояния» между точками признакового пространства.

Наиболее  распространенной функцией расстояния между двумя объектами по некоторому признаку является расстояние в метрике  Евклида или евклидово расстояние.

Метрика Евклида позволяет не учитывать  знаковые различия, пропорционально  увеличивает расстояние между объектами  в случае разных абсолютных значений показателей. В результате увеличивается  размерность кластерного поля, объекты  искусственно отдаляются друг от друга, в результате чего границы между  кластерами становятся более четкими  и точными.

Второй  по значимости функцией расстояния принято  считать метрику несхожести Хемминга.

Метрика Хемминга может использоваться в  тех случаях, когда знаковые различия характеристик объектов имеют принципиальное значение. За счет нивелирования знаковых различий показателей объекты оказываются  сконцентрированными к области  ядра кластера, но при этом утрачиваются важные знаковые характеристики различий.

Так же существуют следующие функции расстояния:

1. L-норма
2. норма – верхняя граница
3. функция Махаланобиса

Независимые переменные в уравнении регрессии  можно представлять точками в  многомерном пространстве (каждое наблюдение изображается точкой). В этом пространстве можно построить точку центра. Эта "средняя точка" в многомерном  пространстве называется центроидом, т.е. центром тяжести. Расстояние Махаланобиса определяется как расстояние от наблюдаемой точки до центра тяжести в многомерном пространстве, определяемом коррелированными (неортогональными) независимыми переменными (если независимые переменные некоррелированы, расстояние Махаланобиса совпадает с обычным евклидовым расстоянием). Эта мера позволяет, в частности, определить является ли данное наблюдение выбросом по отношению к остальным значениям независимых переменных.

4. функция Джеффриса-Сатуситы
5. коэффициент дивергенции.

39. Дистанционный коэффициент  (Эвклидово расстояние)

Оно попросту является геометрическим расстоянием  в многомерном пространстве и  вычисляется следующим образом:

расстояние(x,y) = {_∑i (xi - yi)² }^1/2

Заметим, что евклидово расстояние (и его квадрат) вычисляется по исходным, а не по стандартизованным данным. Это обычный способ его вычисления, который имеет определенные преимущества (например, расстояние между двумя объектами не изменяется при введении в анализ нового объекта, который может оказаться выбросом). Тем не менее, на расстояния могут сильно влиять различия между осями, по координатам которых вычисляются эти расстояния. К примеру, если одна из осей измерена в сантиметрах, а вы потом переведете ее в миллиметры (умножая значения на 10), то окончательное евклидово расстояние (или квадрат евклидова расстояния), вычисляемое по координатам, сильно изменится, 

40. Информационные признаки, используемые при  кластеризации 

Особенностью  информационного сопровождения  задач, решаемых методами кластеризации, является возможность использования  практически любой информации об объектах исследования: формализованной  и записанной в произвольной форме, объективной и субъективной, непосредственно  измеренной или полученной косвенными путями, систематизированной и хаотичной - причем любая информация представляет определенную ценность для исследования. Такую разнородную и неструктурированную  информацию об изучаемых объектах правомерно считать сложным множеством, требующим  декомпозиции, шкалирования и нормирования для последующей кластеризации, структурного и содержательного анализа.

Выделяется  три типа информации, используемой в кластерном анализе:

1многомерные данные - первичная информация.

2данные о близости (метрические и иные расстояния между объектами).

3данные о кластерах: координаты в признаковом пространстве, характеристики и свойства, границы кластеров.

Качество  результатов обработки сложного множества, в первую очередь, зависит  от обоснованности выбора признакового пространства. Эта задача состоит  из двух взаимосвязанных подзадач: выбора наиболее информативных признаков  и исключения взаимно корелируемых характеристик объектов. При этом определяется информативность признака, т. е. его «важность» для классификации. Признаки, имеющие максимальный «вес», используются в качестве описательных элементов (дескрипторов) при поиске нужных групп. Поскольку признаки являются главной характеристикой объектов, по которой определяется сходство или различие, их выбор и дает ту или иную систему разделения на однородные группы.

Существенную  сложность в выборе правил разделения для классификации представляет ранжирование признаков. Процедура  установления рангов изучаемых характеристик  требует определения «полезности» каждого признака. В тех случаях, когда все признаки объявляются  «равнополезными», т. е. их «весовые» коэффициенты принимают равные значения, это приводит к избыточности размерности признакового пространства, лишние характеристики не только усложняют вычислительные процедуры, но и размывают границы между кластерами, нивелируют характеристики объектов.

Таким образом, классификация во многом зависит  от количества и качества выбора информационных показателей.

С ростом количества признаков снижается  устойчивость классификации, размываются  границы между группами. При неограниченном росте количества признаков усложняется  содержательная интерпретация изучаемых  процессов из-за необходимости учета  второстепенных деталей, не существенных с точки зрения основного содержания исследования, что, в свою очередь, приводит к расплывчатости в описании объектов. Однако излишнее сокращение количества признаков может привести к примитивному описанию объектов при интерпретации  содержания кластеров и отсутствию познавательной ценности результатов  классификации.

Признаковые пространства могут иметь природу двух типов. К первому типу относятся признаки, имеющие «непосредственное содержательное отношение к изучаемой проблеме». Эти признаки каким-либо способом фиксируются в ходе исследования или получаются с помощью расчетов исходных факторов. Второй тип признакового пространства получается в результате преобразования кластерной матрицы, в основном за счет трансформации строк, столбцов и самой системы координат.

Практика  разделения неоднородного множества  на некоторое количество однородных подмножеств указывает на возможность  рационального подбора переменных, с помощью которых выделяются или сглаживаются различия между  объектами. Выбор признаков, определяющих объекты, является основой формулировки решающих правил разделения исходного  множества на подмножества.

Выбор признаков для классификации  во многом зависит от целей исследования. Поэтому одно и то же множество  может быть разделено на принципиально  различные группы, отличающиеся не только количеством входящих в них  элементов, но и их смешением в  подгруппах. К примеру, классификация  бригад по производственным признакам (производительность труда, фондовооруженность, трудовая дисциплина и т. п.), скорее всего, не совпадет с классификацией по обобщенным социально-демографическим признакам их членов (возраст, семейное положение, обеспеченность жильем и т. п.). Следовательно, нельзя классифицировать группу социально-экономических объектов один раз для любых случаев - процесс этот должен повторяться при изменении целей исследования или управления.

Теоретически  классифицировать методами кластерного  анализа можно неограниченное количество объектов с любым набором признаков. Однако практически существуют довольно жесткие ограничения, связанные  со сложностью процедур, возможностями  быстродействия и объема памяти компьютера. Поэтому в начале исследования определяется желательная размерность признакового пространства и ориентировочное  количество групп, на которые следует  разделить исходное множество. Последнее  ограничение связано с возможностями  восприятия информации при исследовании и управлении.

С увеличением  количества распознанных объектов растет точность управления и достоверность  знаний об их специфике, и было бы идеальным  рассмотрение каждого элемента множества  в отдельности (в этом случае и  классификация не нужна). Но такая  детальная группировка не воспринимается человеком, и поэтому в реальных классификациях количество групп, как  правило, не превышает десяти. Размерность  признакового пространства не является столь жестким условием и варьируется  от одного показателя до пятидесяти, но может быть и больше. Если жё исследователи  не ограничены вычислительными мощностями, то количество признаков может быть весьма значительным.

Дать формальный ответ на вопрос о качестве выбора размерности признакового пространства классификации до окончания процедуры  кластеризации практически невозможно. Оценка размерности осуществляется на стадии интерпретации полученных результатов и в тех случаях, когда эти результаты не удовлетворяют  условиям или анализа, приходится возвращаться к исходным процедурам обработки  начальных массивов информации, но с использованием нового набора информационных признаков. В отдельных случаях, при нехватке характеристик, ведется  дополнительная работа по сбору данных. 

41. Схемы использования информации, предназначенной для кластеризации

Сильной стороной кластерного анализа можно считать  его «всеядность»: какой бы вид информации ни предложить, кластерной матрице он оказывается полезен. Тем не менее в необработанном виде многие виды информации использовать практически невозможно. Необработанная информация разнопланова еще и потому, что зачастую принадлежит разным содержательным группам и поэтому ее нельзя систематизировать в общем поле измерения. В таких условиях постановщик исследования вынужден находить способ преобразования исходных данных, чтобы они отвечали единой аксиоматике кластерной модели классификации. Некоторые типы исходной информации, а также возможные способы придания им удобного для классификации вида приведены в табл. 1.