分布式数据源数据集成系统及方法

摘要

本发明公开一种分布式数据源数据集成系统及方法，该发明利用管理器数据集成应用动态管理；利用应用解析器实现将外部数据集成应用需求解析为内部数据集成任务，并实现将最终数据集成任务结果集返回给外部数据集成应用；利用数据源管理器实现系统中分布式数据源管理，配制数据集成任务；利用查询转换器实现数据集成任务中面向异构数据源的查询指令格式及函数转换；利用通信对话器实现系统与数据源端采集器之间的网络通信；本发明提供数据集成低成本、高效灵活的应用，也决定了网络数据交换、数据集成等数据应用的现实可行性，具有重要的社会意义和经济效益。

主权项

1.一种分布式数据源数据集成系统，该系统是一种在互联网、局域网和广域网环境中，具有开放性的数据集成应用解析、数据源管理、查询转换、通讯对话、数据采集、数据聚集能力的跨网络、跨平台、跨数据库的分布式数据源数据集成系统，其特征在于，该系统包括：一个实现了数据集成应用动态管理、应用任务建立、数据源资源分配、数据查询语言转换、数据源通信对话的管理器，该管理器提供上述系统中的模块调用和设备管理；一个连接在上述管理器的应用解析器，该应用解析器实现将外部数据集成应用需求解析为内部数据集成任务，并实现将最终数据集成任务结果集返回给外部数据集成应用；一个连接在上述管理器的数据源管理器，该数据源管理器实现管理数据集成系统中分布式数据源，配制数据集成任务，将数据集成任务涉及的数据源地址、数据源连接、数据库类型、数据表名及字段名、数据查询指令赋予数据集成任务；一个连接在上述管理器的查询转换器，该查询转换器实现针对数据集成任务涉及的数据源数据库类型，完成数据查询指令语句中字段格式转换、查询条件格式转换和函数转换；一个连接在上述管理器的数据聚集器，该数据聚集器实现聚集基于数据集成任务来自分布式数据源的数据并标准化，实现数据集成任务最终数据结果集管理；一个实现了数据集成任务数据源端数据动态采集管理的采集器，该采集器支持异构数据源访问，提供数据集成采集过程的算法、模型、字典、进程调用和设备管理；一个连接在上述管理器的通信对话器，该通信对话器建立管理器与采集器之间的对话通道，实现数据集成任务分解及分发，实现数据收集和校验，进行系统与分布式数据源端采集器之间的数据交换和设备管理。