数据仓库中的数据处理方法及系统

摘要

本发明公开了一种数据仓库中的数据处理方法及系统，以解决单一进程处理需要花费大量时间和人力成本，以及无法及时处理ETL过程异常的问题。所述方法包括：设置数据同步配置表及数据刷新配置表；对应数据源配置信息，并行启动多个同步进程；对应刷新级别，并行启动多个刷新进程，对多个数据源同时顺次执行同步及刷新处理。还包括并行监控处理：定时检查同步刷新信息表，若发现异常，将异常信息记录到报警信息表。还包括并行报警处理：定时检查报警信息表，对应新的异常信息，立即发送相应报警信息。本发明提高了同步和刷新的效率，可以节省大量的时间和人力成本。实时监控方式保证了问题处理的及时性及数据仓库安全、合理、稳定的运行。

主权项

1.数据仓库中的数据处理方法，其特征在于，包括：设置包括数据源配置信息的数据同步配置表及数据刷新配置表；对应所述数据源配置信息，并行启动多个同步进程，对多个数据源同时执行同步处理；启动刷新进程，执行刷新处理。