| 主权项 |
一种数据同步ETL系统，其特征在于包括如下功能模块：上下文参数配置模块，同步接口定义模块，同步脚本生成模块，工作流配置模块，数据同步核心模块，日志、预警模块；模块之间的关系主要在两方面：（一）上下文参数配置模块、同步接口定义模块、同步脚本生成模块，是三个基础模块，按照模块的次序操作，生成同步脚本；生成的同步脚本中参数有来源于上下文参数配置模块中的上下文名称和其他参数、同步接口定义模块中定义的同步方法、需要同步的源和目标对应的表名称以及同步的条件；同步脚本生成模块在收到同步接口定义模块的请求后，根据传入的参数值，自动匹配同步方法名来生成同步脚本；（二）工作流配置模块主要起到调度中心的作用，在工作流中配置同步脚本实现并行或串行执行、并行的进程数量、什么时间或条件下来触发任务；并行任务中的分支配置成串行结构；调度中心中设置好调度时间，任务会在定义好的时间点自动触发执行，当工作流调取同步脚本发送请求到数据同步核心模块，同步核心模块收到请求后调用读取接口，通过上下文名称获取访问源和目标的数据连接，连接成功后读取数据记录，并将返回的结果集写入内存中，同时通知数据同步核心模块执行写入接口，将结果集写入目标数据源；上述执行步骤中发生异常或错误的任务，日志预警模块将捕获错误原因，并通知到系统管理人员。 |
