一种数据加载清洗引擎、调度与存储系统

摘要

本发明公开了一种数据加载清洗引擎、调度与存储系统，包括数据源、数据仓库和用户展现模块，数据仓库连接有ETL管理模块，ETL管理模块包括ETL调度模块、ETL监控模块、数据质量模块和ETL任务模块，数据仓库包括接口文件区、细节数据暂存区SSA、细节数据SOR、数据集市、数据总结模块、反馈模块和元数据存储MDR。本发明具有实用性强，数据管理便捷，灵活性高，易于推广，高效能数据处理，大吞吐量，能够应对添加更多的数据源，支持更多分析需求的优点。

主权项

一种数据加载清洗引擎、调度与存储系统，其特征在于：包括数据源、数据仓库和用户展现模块，所述数据仓库连接有ETL管理模块，所述ETL管理模块包括ETL调度模块、ETL监控模块、数据质量模块和ETL任务模块，所述ETL调度模块用于控制所有ETL任务的运行，所述ETL监控模块用于跟踪监控ETL任务的运行，所述数据质量模块用于跟踪数据仓库的数据质量，所述ETL任务模块用于完成具体的数据ETL工作；所述数据仓库包括接口文件区、细节数据暂存区SSA、细节数据SOR、数据集市、数据总结模块、反馈模块和元数据存储MDR，所述细节数据SOR连接所述数据总结模块，所述数据总结模块连接所述反馈模块，所述文件接口区用于存储和处理接口文件，所述文件接口区连接有权限设定模块，所述权限设定模块用于按照特定的目录结构组织起来，对每个目录按照其特定的用途设定对不同用户的访问权限；所述细节数据暂存区SSA连接有验证模块，所述验证模块连接有查找模块，所述查找模块连接所述细节数据SOR，所述验证模块连接有处理模块，所述处理模块连接所述细节数据SOR，所述细节数据SOR连接有交换分区模块，所述元数据存储MDR用来保存关于数据仓库中的过程和数据的信息，所述元数据存储MDR连接有元数据管理模块；所述数据集市连接有多维立方体模块，所述多维立方体模块用于存储多维数据；所述用户展现模块连接有查询模块，所述查询模块用于根据用户需求展现业务内容。