一种异构数据库的虚拟访问管理方法

摘要

本发明涉及云数据库技术领域，尤其是一种异构数据库的虚拟访问管理方法。本发明提出一种客户机‑前置端‑服务端的数据控制处理架构和面向流程及基于成分的功能组件，引入基于用户、角色、权限的异构数据库系统的成分组件访问控制管理，完成平台、资源、通道等流程实现异构数据源注册、虚拟数据库对象注册、虚拟资源访问，完成异构数据库的共享访问管理，屏蔽数据库访问细节及异构系统多源性，并提供统一的数据标准和访问接口，支持对数据源的透明访问，实现多个独立的业务系统之间数据资源的共享和统一管理。本发明解决了服务器端、操作系统、数据库管理系统、数据结构等异构性因素引起的数据共享访问问题；可以用于异构数据库的虚拟访问管理上。

主权项

一种异构数据库的虚拟访问管理方法，其特征在于：所述的方法采用客户机‑前置端‑服务端的数据控制处理架构，具体步骤如下：第一步，客户机开放数据访问权限；第二步，前置机应用程序将客户机生产库同步到前置机数据服务器中，客户机新产生的数据将以增量方式完成同步；第三步，服务端进行数据预处理，配置数据清洗规则完成前置机数据抽取；第四步，对数据进行分布式存储、并行计算、分布式文件传输优化和Map/Reduce计算优化；第五步，服务端对异构数据库系统的成分组件访问进行控制管理，通过三大成分组件控制异构数据资源访问权限；第六步，服务端完成平台、资源、通道等异构数据库流程管理及访问；实现异构数据源虚拟数据库注册管理，虚拟数据库表对象访问控制管理；第七步，服务端基于虚拟数据库注册管理，绑定异构数据源物理连接信息，实现异构数据源的统一共享访问；所述的服务端数据预处理包括数据抽取、数据清洗、数据转换、数据加载等；具体流程如下：第一步，抽取待处理数据到缓冲池，包括增量抽取和全量抽取两种抽取方式；增量抽取完成部分新增数据或新增字段数据抽取；全量抽取完成当前中转数据池中数据整体抽取，原数据以历史数据形式保留；第二步，用户定义增量抽取方式抽取数据，抽取模式：1)、时间戳方式，要求源表中存在一个或多个字段(时间戳)，其值随着新纪录的增加而不断增加， 执行数据抽取时，通过时间戳进行数据过滤，抽取结束后，程序记录时间戳信息；2)、触发器方式，要求用户在源数据库中有创建触发器和临时表的权限，触发器捕获新增的数据到临时表中，执行抽取时，程序自动从临时表中读取数据；3)，全表对比方式，每次从源表中读取所有记录，然后逐条与目标表进行对比，有则插入，没有则放弃；第三步，用户定义全量抽取方式抽取数据，每次从源表中抽取全部数据更新到目标表中，更新前将目标表数据清空,目标表中数据以本次更新为主；第四步，读取数据清洗规则参数配置，进行数据清洗；清洗规则包括数据合法性检验、数据补缺、数据规范化；针对元数据及数据抽取后沉淀的数据进行数据清洗，清洗脏数据、重复数据，提高数据质量，减少后续应用的复杂度，满足业务支撑系统对数据的特定要求，提高决策分析的效率；第五步，数据转换负责将不同数据源的格式转换统一的数据格式，在转换过程中，根据转换规则的定义可以完成数据从原始格式，到既定统一格式的转换；第六步，定义空值数据转换，可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库；第七步，规范化数据格式转换，可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式；第八步，拆分数据，将复杂数据字段拆分；第九步，加载经清洗、转换的数据到目标数据库中，可实现SQL或批量加载，将数据按照物理数据模型定义的表结构装入；加载方式支持自动及时间调度方式；加载策略有时间戳方式、日志方式、全表比对方式、全表删除插入方 式；服务端数据共享支撑访问包括数据平台、数据资源、数据通道、数据注册、数据共享访问等；具体如下：第一步，用户创建数据平台，平台是异构数据库核心管理单位，平台支持创建、查询、修改、删除操作；第二步，数据资源是异构数据库系统的管理单位之一，一种虚拟映射关系，映射类型可分成：数据库、文件系统、存储过程、URL等；数据资源按照映射的属性又分成虚拟资源和物理资源；区分原则为，物理资源的映射范围包括关系数据库的物理对象如表、视图等；虚拟资源的映射范围除物理对象外还包括基于多个物理对象抽象子集的映射；第三步，数据通道是资源实体对象的访问途径，将数据库系统或文件系统中的数据按照资源的映射要求加载到异构数据库系统中，提供统一访问功能；第四步，数据注册，根据系统提供的可选资源类型注册访问资源类型；物理资源定义为数据库表对象，虚拟资源定义为单个或多个表对象的集合或子集，虚拟资源支持二级映射；第五步，数据映射交换，根据物理模型、概念模型绑定数据结构，自定义数据结构类型、字段、别名；第六步，数据访问抽取，加载数据到异构数据库系统中；第七步，异构数据库系统虚拟数据库服务器资源节点的动态伸缩管理、数据安全性加密、数据副本备份、并行数据模型计算、数据模型分析、数据库管理实例分析；完成数据分析、挖掘、数据计算及分布式集群计算能力的数据库管理系统。