一种ETL数据处理的方法及系统

摘要

本发明公开了一种ETL数据处理的方法，其能够实现从多个源头读取原始数据，向多个异构存储系统同步数据，可以大大提升ETL研发的速度和数据交换的效率。该方法包括：(1)配置ETL系统的读插件，每一种读插件对应一个异构的数据源，读插件是开放的；(2)配置ETL系统的写插件，每一种写插件对应一个异构的目标存储系统，写插件也是开放的；(3)每一个ETL任务具有其对应的配置文件，任务驱动器通过配置文件中的配置信息加载相关的读写插件，完成数据多读和多写的并发执行。还有ETL数据处理的系统。

主权项

一种ETL数据处理的方法，其特征在于：该方法包括以下步骤：(1)配置ETL系统的读插件，每一种读插件对应一个异构的数据源，读插件是开放的；(2)配置ETL系统的写插件，每一种写插件对应一个异构的目标存储系统，写插件也是开放的；(3)每一个ETL任务具有其对应的配置文件，任务驱动器通过配置文件中的配置信息加载相关的读写插件，完成数据多读和多写的并发执行。