Процесс создания системы интеграции данных (СИД) в хранилище данных(на примере хранилища, построенного по технологии IBM BDW )   презентация

Процесс создания системы интеграции данных (СИД) в хранилище данных (на примере хранилища, построенного по технологии IBM BDW )   Позин Борис Аронович, технический директор, д.т.н., профессор Лычагин Кирилл Анатольевич, начальник сектора ЗАО «ЕС-лизинг» МГУ, Москва, 2012

Структура доклада

Система интеграции данных в Хранилище данных

Процесс создания СИД

Результат процесса создания

Актуальные проблемы разработки СИД СИД плохо отчуждаема, поскольку плохо описаны структура и состав метаданных, характеризующих преобразование данных в процессе интеграции Обеспечение быстрого предоставления результата бизнес – пользователям при изменении состава поступающих данных, ориентация на сокращение сроков разработки Отсутствие единой архитектуры СИД

Пример метаданных СИД Логическая и физическая модели данных источников, области первичных данных и Staging Area

Пример метаданных СИД Описание алгоритмов преобразования

Пример метаданных СИД Проект ETL заданий и исполняемый код

Цели создания потоковой архитектуры совместно с BDW

IBM Banking Data Warehouse BDW – методология описания бизнес деятельности банков и построения хранилища данных для их нужд

Концептуальная модель Иерархическая структура взаимосвязанных понятий, описывающих бизнес – деятельность банка

Концептуальная модель

Особенности BDW Позволяет бизнес - пользователю общаться с IT специалистом на «одном языке» Модели строятся на основании лишь требований бизнес – пользователей Концептуальная, логическая и физическая модели устойчивы к расширению состава поступающих данных

Модель данных ХД как отправная точка в создании СИД

Идея потоковой архитектуры

Принцип разделения СИД на потоки

Стандартные операции над данными

Компоненты потоков

Общая архитектура

Свойства источников Одновременное поступление данных из всех источников Экземпляры объекта идентифицируются простым идентификатором (строкой или числом) Локальные справочники в источниках содержат атомарные значения

Свойство расширяемости и устойчивости потоковой архитектуры к изменению входных данных

Преимущества и недостатки потоковой архитектуры Преимущества Устойчивость к расширению состава поступающих данных Устойчивость к изменению уже обрабатываемых данных Высокая степень параллелизма и масштабируемость Стандартизация компонентов потоков

Метаданные в потоковой архитектуре

Процесс создания СИД в потоковой архитектуре Процесс создания СИД более структурированный и целенаправленный - более короткие промежутки при развитие системы

Выводы

Спасибо!