Дементьева Елена Максимовна (Старший разработчик,
Московский технический университет связи и информатики, Москва, Россия
)
| |
Целью нашей работы является описание апробации некоторых архитектурных решений и методов, обеспечивающих надёжную, масштабируемую и высококачественную интеграцию данных в централизованное хранилище. Актуальность исследования обусловлена необходимостью эффективной интеграции данных из разнотипных и разнородных источников в условиях стремительного роста объёмов, скорости поступления и разнообразия данных, что является ключевым вызовом для корпоративных и информационного-аналитических систем. В статье рассматриваются подходы к объединению информации из реляционных СУБД, API-интерфейсов и файловых хранилищ с последующей загрузкой в аналитическую систему на базе ClickHouse. Представлены технологии и инструменты (Apache NiFi, Apache Airflow, Apache Kafka в связке с Debezium, dbt, Great Expectations), применяемые для реализации процессов ETL/ELT и контроля качества данных. В работе приведены результаты моделирования различных сценариев интеграции, включая пакетную и потоковую загрузку. Результаты исследования подтверждают эффективность ELT- и CDC-архитектур для построения современных платформ интеграции данных, способных обеспечить высокую производительность, устойчивость к сбоям и достоверность аналитической информации.
Ключевые слова:интеграция данных, хранилище данных, потоковая обработка, ETL/EL, архитектура данных.
|
|
| |
|
Читать полный текст статьи …
|
Ссылка для цитирования:
Дементьева Е. М. ИНТЕГРАЦИЯ ДАННЫХ В ХРАНИЛИЩЕ ИЗ РАЗНОФОРМАТНЫХ СИСТЕМ-ИСТОЧНИКОВ: МЕТОДЫ И ПРАКТИКИ // Современная наука: актуальные проблемы теории и практики. Серия: Естественные и Технические Науки. -2025. -№08. -С. 53-57 DOI 10.37882/2223-2966.2025.08.09 |
|
|
ПРАВОВАЯ
ИНФОРМАЦИЯ:
