Text Miner
обеспечивает логическую обработку
текста в среде пакета SAS Enterprise
Miner. Это позволяет пользователям
обогащать процесс анализа данных,
интегрируя неструктурированную
текстовую информацию с существующими
структурированными данными, такими как
возраст, доход и характер покупательского
спроса.
Основные
тезисы
- Обнаружение
знаний в тексте — это нетривиальный процесс
обнаружения действительно новых, потенциально
полезных и понятных шаблонов в неструктурированных
текстовых данных.
- Процесс анализа
текстовых документов можно представить
как последовательность нескольких шагов:
поиск информации, предварительная обработка
документов, извлечение информации, применение
методов Text Mining, интерпретация результатов.
- Обычно используют
следующие приемы удаления неинформативных
слов и повышения строгости текстов: удаление
стоп-слов, стэмминг, Л-граммы, приведение
регистра.
- Задачами
анализа текстовой информации являются:
классификация, кластеризация, автоматическое
аннотирование, извлечение ключевых понятий,
навигация по тексту, анализ трендов, поиск
ассоциаций и др.
- Извлечение
ключевых понятий из текстов может рассматриваться
и как отдельная прикладная задача, и как
отдельный этап анализа текстов. В последнем
случае извлеченные из текста факты используются
для решения различных задач анализа.
- Процесс извлечения
ключевых понятий с помощью шаблонов выполняется
в две стадии: на первой из текстовых документов
извлекаются отдельные факты с помощью
лексического анализа, на второй стадии
выполняется интеграция извлеченных фактов
и/или вывод новых фактов.
- Большинство
методов классификации текстов так или
иначе основаны на предположении, что
документы, относящиеся к одной категории,
содержат одинаковые признаки (слова или
словосочетания), и наличие или отсутствие
таких признаков в документе говорит о
его принадлежности или непринадлежности
к той или иной теме.
- Большинство
алгоритмов кластеризации требуют, чтобы
данные были представлены в виде модели
векторного пространства, которая широко
применяется для информационного поиска
и использует метафору для отражения семантического
подобия как пространственной близости.
- Выделяют
два основных подхода к автоматическому
аннотированию текстовых документов:
извлечение (выделение наиболее важных
фрагментов) и обобщение (использование
предварительно собранных знаний).
Вывод
Интеллектуальный
анализ данных является одним из наиболее
актуальных и востребованных направлений
прикладной математики. Современные процессы
бизнеса и производства порождают огромные
массивы данных, и людям становится все
труднее интерпретировать и реагировать
на большое количество данных, которые
динамически изменяются во времени выполнения,
не говоря уже о предупреждении критических
ситуаций. «Интеллектуальный анализ данных»
извлечь максимум полезных знаний из многомерных,
разнородных, неполных, неточных, противоречивых,
косвенных данных. Помогает сделать это
эффективно, если объем данных измеряется
гигабайтами или даже терабайтами. Помогает
строить алгоритмы, способные обучаться
принятию решений в различных профессиональных
областях.
Средства «Интеллектуального
анализа данных» предохраняют людей
от информационной перегрузки, перерабатывая
оперативные данные в полезную информацию
так, чтобы нужные действия могли быть
приняты в нужные времена.
Прикладные разработки
ведутся по следующим направлениям:
прогнозирование в экономических
системах; автоматизация маркетинговых
исследований и анализ клиентских сред
для производственных, торговых, телекоммуникационных
и Интернет-компаний; автоматизация
принятия кредитных решений и
оценка кредитных рисков; мониторинг
финансовых рынков; автоматические торговые
системы.
Список
литературы
- «Технологии
анализа данных: Data Mining. Visual Mining. Text Mining,
OLAP» А. А. Барсегян. M. С. Куприянов, В. В.
Стенаненко, И. И. Холод. — 2-е изд., перераб.
и доп.
- http://inf.susu.ac.ru/~pollak/expert/G2/g2.htm
- статья интернета
- http://www.piter.com/contents/978549807257/978549807257_p.pdf
-Технологии анализа данных
- http://ru.wikipedia.org/wiki/Data_mining
- Интеллектуальный анализ данных