1. Концепции хранилища данных (ХД)

       Хранилища данных представляют собой предметно ориентированные, интегрированные, неизменные, поддерживающие хронологию данных системы, организованные для целей поддержки управления.

       В основе технологии Хранилищ данных лежат две идеи:

1. интеграция ранее разъединенных детализированных данных, т.е. исторических архивов, данных из традиционных СОД, данных из внешних источников, в едином ХД, их согласование, и, возможно, агрегация;
2. разделение набора данных, используемых для операционной обработки, и набора данных, используемых для решения задач анализа.

       Чем больше информации вовлечено в процесс  принятия решений, тем более обоснованное решение может быть принято.  Информация, на основе которой принимается то или иное решение, должна обладать такими качествами, как достоверность, полнота, непротиворечивость и адекватность. Поэтому при проектировании СППР возникает вопрос, на каких данных эти системы будут работать.  В ИСР качество оперативных решений обеспечивается тем, что данные выбираются непосредственно из информационной системы управления предприятием (или из БД предприятия), которая адекватно отражает состояние бизнеса на данный момент времени. Ранние версии стратегических  СППР в качестве исходных использовали относительно небольшой объем агрегированных^* данных, поддающихся проверке на достоверность, полноту, непротиворечивость и адекватность.

       По  мере роста и развития ИСР, а также  совершенствования алгоритмов принятия решений на основе агрегированных данных, системы принятия решений столкнулись с проблемами, вызванными необходимостью  обеспечить растущие потребности бизнеса. В ИСР накопился объем данных, замедляющий процесс построения отчетов настолько, что менеджерский состав не успевал готовить на их основе соответствующие решения. Кроме того, с развитием межкорпоративных связей потребовалось вовлечь в процесс анализа данные из внешних источников, не связанных напрямую с производственными процессами и потому не входящих в систему управления предприятием.

       В  стратегических СППР традиционная технология подготовки интегрированной информации на основе запросов и отчетов стала неэффективной из-за резкого увеличения количества и разнообразия исходных данных.  Произошла задержка менеджмента, требующего быстрого принятия решений. Помимо этого, постепенное накопление в БД

предприятия данных для принятия решений и  последующий их анализ стали отрицательно сказываться на оперативной работе с данными. Решение было найдено  и сформулировано в виде концепции  Хранилища Данных (Data Warehouse,  ХД), которое выполняло бы функции предварительной подготовки и хранения данных для СППР на основе информации из сторонних источников, которые в достаточном количестве стали доступны на рынке информации (рис.1.). 
 
 
 
 
 
 
 
 
 
 
 

 Внешние                     Объе-                                            Витрины                 Отчеты

Источники                   дине-                                              данных  

                                       Ние 

  Прикладные                       и                      Опера-                                               СППР/

Системы                     очистка                 цион-                                                   ИСР    

                                    данных                   ная                                                   системы      

Накоплен.                                                  БД                   Корпора-

 Данные                                                                               тивное                 

                                                                                                ХД                      Средства

  Internet                                                                                                                             ИАД

       Intranet

  Исходные данные       Преобразование                                 Хранилища

                                                                                                      данных

Рис.1. Информационная структура хранилища данных

 

Цель  концепции Хранилищ данных:

• зафиксировать отличия в характеристиках данных в оперативных и аналитических системах (табл.1);
• определить требования к данным, помещаемым в целевую БД Хранилища данных;
• определить общие принципы и этапы ее построения, основные источники данных;
• предложить рекомендации по решению потенциальных проблем возникающих при выгрузке, очистке, согласовании, транспортировке и загрузке данных в целевую БД.

Таблица 1

Сравнение характеристик данных в информационных системах ориентированных на операционную и аналитическую обработку данных 

 

Предметом концепции ХД являются сами данные. После того как традиционная система обработки данных реализована и начинает функционировать, она становится таким же самостоятельным объектом, как и любой производственный процесс.  В этом смысле данные обладают теми же свойствами и характеристиками, что и любой промышленный продукт: сроком годности, местом складирования (хранения),  совместимостью с данными с других производств, рыночной стоимостью, транспортабельностью, компактностью, ремонтопригодностью и т.д.  Предметом рассмотрения являются не способы описания и отображения объектов предметной области, а собственно данные, как самостоятельный объект предметной области, порожденной в результате функционирования ранее созданных систем оперативной обработки данных. Для понимания данной концепции необходимо выделить следующие моменты:

• концепция Хранилищ данных – это концепция подготовки данных для анализа;
• концепция Хранилищ данных не предопределяет архитектуру целевой СППР. Она указывает на то, какие процессы должны выполняться в системе, но не на то, где конкретно и как эти процессы должны выполняться.

Концепция ХД предполагает реализацию единого интегрированного источника данных.

Аналитические системы предъявляют более высокие  требования к аппаратному и программному обеспечению, чем традиционные СОД. Реализация аналитической системы невозможна без разрешения таких вопросов, как:

 Неоднородность программной среды;

 Распределенность;

 Защита данных от НСД;

 Построение и ведение многоуровневых справочников метаданных;

 Эффективное хранение и обработка  очень больших объемов данных.

Таблица   

Основные  характеристики Хранилища данных 

 

2. Технология  разработки и внедрения  Хранилищ Данных

Первым  этапом разработки ХД является бизнес-анализ процессов и данных предприятия. Несмотря на широкое распространение CASE-технологии, в России к бизнес-анализу и проектированию данных на концептуальном уровне не всегда относятся достаточно серьезно. Однако разработка СППР на основе ХД без подробного анализа обречена на неудачу. Разработчикам необходимо понимать цели бизнеса, способы их достижения, возникающие при этом проблемы  и методы их решения, ресурсы, необходимые для разработки ХД. Самым критичным из ресурсов является время. Разработка СППР, в которой не определены заранее кто, когда, зачем и как будет принимать решения, какое влияние то или иное решение оказывает на бизнес, какие решения отнести к оперативным, а какие к стратегическим и т.д., обречена на провал в конкурентной борьбе.

     Особое  назначение модели предприятия –  определение и формализация данных, необходимых в процессе принятия решения. Существуют два подхода  к бизнес-анализу:

1. описание бизнес-процессов, протекающих на предприятии, которое моделируется набором взаимосвязанных функциональных элементов. Такой подход эффективен, если бизнес стабилен и внешние факторы не играют в нем решающей роли.
2. анализ  бизнес-событий. Он используется  при  проектировании СППР на основе ХД  и обеспечивает наибольшую эффективность:

• позволяет гибко модифицировать бизнес-процессы, ставя их в зависимость от бизнес-событий;

• интегрирует данные, которые при анализе бизнес-процессов остаются скрытыми в алгоритмах обработки данных;
• объединяет управляющие и информационные потоки;
• наглядно показывает, какая именно информация нужна при обработке бизнес-события и в каком виде она представляется.

Т.е., бизнес-событие  имеет более  тесную связь с  информационными и управляющими потоками, чем бизнес-процесс.

Через анализ бизнес-событий необходимо перейти  к анализу данных, используемых предприятием.  Для этого нужна информация об используемых внешних данных и их источниках; о форматах данных, периодичности и форме их поступления; о внутренних информационных системах предприятия, их функциях и алгоритмах обработки данных, используемых при наступлении бизнес-событий.  Особенность анализа данных при проектировании СППР на основе ИХ  состоит в необходимости создания модели представления информации (состав и форма отображения данных), которая является организационно-функциональным ядром модели системы. При ее разработке последовательно рассматриваются: