一种实现多源异构数据资源自动同步的方法

摘要

本发明涉及一种实现多源异构数据资源自动同步的方法。本发明涉及元数据服务节点、服务节点及生产节点；元数据服务节点负责存储分布式异构数据库系统中的数据字典；服务节点负责解析异构数据库系统中用户的请求，定期与生产节点上的数据库进行同步；生产节点负责相应生产应用系统中的查询、更新等请求；其中，服务节点由配置识别器、日志解析器和数据同步器构成；配置识别器用于分析生产节点上源数据库配置，选择可行的同步方式；日志解析器用于解析不同数据库系统的日志，是增量同步方式的前期准备工作部件；数据同步器根据配置识别器的同步方式，进行数据同步。本发明实现了多源异构数据资源的自动同步；可用于数据资源处理中。

主权项

一种实现多源异构数据资源自动同步的方法，其特征在于：首先，元数据服务节点向前置机节点发出同步更新请求，前置机节点接受请求，并从中解析出相关参数：数据库地址、数据库名、用户名、密码；解析出的参数传递给配置分析器，配置分析器连接源数据库，读取源数据库的日志配置信息，根据数据库的类型及配置信息，判断是否可以采用增量同步方式；如果增量同步方式可行，日志解析器将首先根据数据库类型，初始化解析环境，然后启用一个线程，从数据库中读取日志文件中记录的DDL和DML语句，并保存在本地的缓存中；接着，同步更新器再启用另外一个线程，从缓存中依次取出DML或DDL语句，更新前置机节点上的数据库；如果源数据库需要采用全量同步更新方式，同步更新器根据数据库类型，使用现有的数据同步或备份工具，构造出一个自动化的数据同步脚本文件；然后，同步更新器将创建一个新的进程运行脚本，进行数据同步；同步完成后，同步更新器将更新元数据节点中的同步状态信息，报告同步过程已完成。