数据增量抽取转换与分发系统及方法

摘要

本发明公开了数据增量抽取转换与分发系统及方法，包括：抽取转换设计器，对源数据库的数据源进行定义，设计转换规则然后定义数据目标，将设计完成的转换规则包装成KTR文件；抽取转换执行器，实时捕获源数据库的增量数据，并且分析增量数据的来源，将增量数据交给服务器，服务器分析得到的信息并选择调用对应的转换规则进行转换处理；批量的执行KTR文件；抽取转换监控单元，能够监测规则的运行情况和控制数据同步的开始和停止。采用日志分析技术和ETL相结合的技术，实现了实时捕获源数据库的增量数据，对增量数据进行转换处理，最后以准实时的方式装载到目标数据库中的功能。

主权项

数据增量抽取转换与分发系统，其特征是，包括：抽取转换设计器，首先对源数据库的数据源进行定义，设计转换规则然后定义数据目标，将设计完成的转换规则包装成KTR文件，通过节点连接形成的流，将数据信息或字段在模块之间进行传送；抽取转换执行器，实时捕获源数据库的增量数据，并且分析增量数据的来源，将增量数据交给服务器，服务器分析得到的信息并选择调用对应的转换规则进行转换处理；批量的执行KTR文件；抽取转换监控单元，能够监测规则的运行情况和控制数据同步的开始和停止，监测每一条转换规则当前是否正在进行数据同步，最近一次同步的数据量；另外，能够控制服务器的运行或停止，从而达到控制数据同步的运行或停止的效果。