基于工作流机制的并发式ETL转换方法

摘要

一种基于工作流机制的并发式ETL转换方法，利用工作流技术和多线程并发技术，实现了ETL工作流的多个ETL任务并发执行和单个任务内的多个ETL活动的并发执行。当同时执行多个ETL工作流，且ETL工作流和ETL作业中并行分支较多时，可以明显的提高执行效率。与此同时，本方法提出通过一种通过构建集群分布处理，并行管道技术构建并行ETl数据抽取引擎，能够大大提高数据本身的抽取效率，解决了多数据流的并行处理问题和转换处理的瓶颈问题。

主权项

一种基于工作流机制的并发式ETL转换方法，其特征在于，该方法包括以下实现步骤：A、建立基于WFMC模型的面向数据任务的工作流进程，将多个工作流实例通过网络分布在不同的计算节点上；B、建立多个并行的数据抽取转换执行进程即ETL进程，用于执行各工作流任务；C、建立对上述并行进程即并行的工作流任务的主控管理进程，用于负责对并行抽取任务进行监控和管理； D、建立并行的任务管理调度进程，用于将工作流任务调取至主控管理进程。