Подсистема хранения данных

Многомерное хранилище может быть организовано в виде одной из следующих структур.

Физической структуры, называемой MOLAP, в которую с определенной периодичностью загружаются данные из файлов-источников, принадлежащих базам оперативных данных (например, один раз в день). Инструментальным средством, которое поддерживает MOLAP является, например, Oracle.

Виртуальной структуры, называемой ROLAP, которая динамически используется при запросах, вызывающих физическое манипулирование с файлами-источниками из реляционных баз оперативных данных (формирование ответа на запрос к информационному хранилищу «на лету»), т.е. в процессе выполнения запросов осуществляется преобразование данных прямо из файлов-источников. Инструментальным средством, поддерживающим ROLAP, является, например, Informix.

Гибридной структуры, называемой HOLAP, которая используется при построении многоуровневых информационных хранилищ, применяемых на разных уровнях управления больших корпораций. Инструментальным средством, поддерживающим HOLAP, является, например, SAS System.

Подсистема метаинформации (репозиторий)

Репозиторий представляет описание структуры информационного хранилища:

· состава показателей;

· иерархии агрегации измерений;

· форматов данных;

· используемых функций;

· физического размещения на сервере;

· прав доступа пользователей;

· частоты обновления.

Важнейшей функцией репозитория является представление схем отображения данных файлов-источников на структуре данных информационного хранилища, в соответствии с которой осуществляется периодическая загрузка MOLAP-хранилища или непосредственная реализация запросов «на лету» в ROLAP-хранилищах.

В репозитории также задается схема отображения структуры информационного хранилища на схемах представления данных пользователей или витринах данных.

Отображение данных между источниками данных и информационными хранилищами, между информационными хранилищами и представлением данных осуществляется либо через механизм межуровневого взаимодействия, либо через процедуры преобразования данных.

Подсистема преобразования данных (загрузки хранилища)

Подсистема загрузки информационного хранилища создается только для MOLAP-систем. Для ROLAP-систем в процессе выполнения запросов осуществляется преобразование данных из файлов-источников. В том и другом случае требуется выполнение следующих основных функций:

· сбор данных (сбор данных предполагает передачу данных из источников в информационные хранилища в соответствии со схемой отображения, представленной в репозитории);

· очистка данных (в процессе очистки данных осуществляется проверка непротиворечивости (целостности), исключение дублирования данных, отбраковка шумовых (случайных) данных, приведение данных к единому формату;

· агрегирование данных (в случае необходимости агрегирования данных осуществляется суммирование итогов по заданным в репозитории признакам агрегации.

Подсистема представления данных (организация витрин данных)

Под витриной данных понимается предметно-ориентированное хранилище, как правило, агрегированной информации, предназначенное для использования группой пользователей (10-15 человек) в рамках конкретного вида деятельности ( например, маркетинг, финансы и т.п.).

Обычно общее информационное хранилище и витрины данных разрабатываются параллельно. Витрины данных являются подмножествами общего хранилища компании, которое служит для них источником данных. (В принципе витрины данных могут создаваться независимо друг от друга и от общего информационных хранилища, но в этом случае возникает проблема согласования множества представлений данных).