一种金融数据实现ETL加工的方法和系统

摘要

本发明提供了一种金融数据实现ETL加工的系统，包括：调度模块，用于调起符合运行条件的作业有序集合；以及，通过作业统一接口模块，依序调起所述作业有序集合中的各项作业，并通知作业运行模块完成对该作业的运行；逻辑作业参数获取子模块，用于获取该作业实例相应的逻辑作业参数；运行参数获取子模块，用于依据所述作业有序集合的属性，将所述逻辑作业参数实例化为具体的运行参数；物理作业执行子模块，用于依据所述运行参数执行相应的物理作业。本发明提供了统一的作业接口和灵活的作业参数管理配置，能够适应各个系统间的物理差异很大的各种作业整合在一起的需求，以及各种复杂的金融数据加工需求。

主权项

1.一种金融数据实现ETL加工的系统，其特征在于，包括：作业统一接口模块，用于通过c函数和/或API接口实现对多种作业的调起；第一数据库，用于存储调度表；所述调度表包括有至少一个作业有序集合；调度模块，用于搜索所述第一数据库中的调度表，调起符合运行条件的作业有序集合；以及，通过作业统一接口模块，依序调起所述作业有序集合中的各项作业，并通知作业运行模块完成对该作业的运行；第二数据库，用于存储逻辑作业参数；作业运行模块，包括以下子模块：逻辑作业参数获取子模块，用于查询第二数据库，获取该作业实例相应的逻辑作业参数；运行参数获取子模块，用于依据所述作业有序集合的属性，将所述逻辑作业参数实例化为具体的运行参数；物理作业执行子模块，用于依据所述运行参数执行相应的物理作业。