Журнал «Современная Наука»

РАЗРАБОТКА МЕТОДОЛГИИ УНИФИКАЦИИ ЗАГРУЗКИ ДАННЫХ В ХРАНИЛИЩЕ ДАННЫХ МОДЕЛИ DATA VAULT

Конаков Павел Олегович (МИРЭА – Российский технологический университет)

В процессе работы предприятия с корпоративным хранилищем данных встаёт вопрос стандартизации и унификации потоков загрузки данных с источников. Единый подход необходим для того, чтобы в рамках загруженных объектов данных разными потоками сохранялся принцип актуализации и историчности. В рамках данной статьи предлагается создание дополнительного слоя абстракции для метаданных, описывающих принцип загрузки при помощи ETL-процессов. ETL-процесс подразделяется на две составные части: управляющий поток, создаваемый на основе заранее разработанного шаблона с проработанным алгоритмом сбора параметров запуска рабочего потока, который и реализует логику загрузки данных из источника в целевую таблицу. На основе описанной мета-информации соответствующий компонент КХД собирает потоки для оркестратора ETL-потоков.

Ключевые слова:большие данные, обработка информации, корпоративное хранилище данных, ETL-процесс, стандартизация разработки

Читать полный текст статьи …

Ссылка для цитирования:
Конаков П. О. РАЗРАБОТКА МЕТОДОЛГИИ УНИФИКАЦИИ ЗАГРУЗКИ ДАННЫХ В ХРАНИЛИЩЕ ДАННЫХ МОДЕЛИ DATA VAULT // Современная наука: актуальные проблемы теории и практики. Серия: Естественные и Технические Науки. -2023. -№04/2. -С. 78-84 DOI 10.37882/2223–2966.2023.04–2.14

ПРАВОВАЯ ИНФОРМАЦИЯ:
Перепечатка материалов допускается только в некоммерческих целях со ссылкой на оригинал публикации. Охраняется законами РФ. Любые нарушения закона преследуются в судебном порядке.
© ООО "Научные технологии"