基于OSGI的ETL处理装置及方法

摘要

本发明提供的基于OSGI的ETL处理装置，包括：流程设计器和流程执行引擎。其中，流程设计器由节点中心、控制策略和触发器模块组成，流程执行引擎由处理中心、执行策略和流程管理模块组成。任意模块基于OSGI平台，并由其为模块创建独立的运行环境。节点中心负责所有节点及其属性的预定义，控制策略定义了节点间的关系及触发方式，触发器向引擎发送任务请求。处理中心负责任务的执行及执行时的调度，执行策略有单线程串行、多线程并行以及条件判断，实现时基于缓存机制利用数据分发与复制技术。此外，本发明还提供了基于OSGI的ETL处理方法。通过本发明的技术方案，可以有效提高子任务的重用性，提高数据吞吐量及处理效率。

主权项

一种基于OSGI的ETL处理装置，其特征在于，包括：流程设计器，由节点中心、控制策略和触发器三个模块组成，用于定义任务流程中每一个节点及节点间的控制策略，并负责触发各项任务请求；流程执行引擎，由处理中心、执行策略和流程管理三个模块组成，接受并解析流程设计器传达的请求，调度、分发、执行请求，并返回执行结果。