一种多对多的数据采集系统及其采集方法

摘要

本发明涉及计算机应用技术领域，特别涉及一种多对多的数据采集系统及其采集方法。本发明的系统由采集管理平台、采集引擎和数据处理服务器三部分构成。采集管理平台，用于管理节点、通信协议、ETL规则和采集任务；采集引擎，支持多种通信方式，通过通信协议与数据提供方节点进行握手，识别提供方的合法性并进行数据采集，完成后通知数据处理服务器；数据处理服务器包括了数据清洗和拔插式的数据处理组件。本发明将数据采集流程规范化，组件接口标准化，具有扩展性好，适用范围广等特点，可应用于多种关系型数据库的系统中。

主权项

一种多对多的数据采集系统，其特征在于：所述的系统由采集管理平台、采集引擎和数据处理服务器构成，并提供相应的开发和集成接口；所述的采集管理平台，用于管理数据提供方节点、接收方节点、通信协议、ETL规则和采集任务；每一个提供方或接收方作为一个子节点，描述了与平台的交互及状态，通过平台统一管理；通信协议包括了可配置的通信方式及其规则，是数据采集的方式；ETL规则负责对采集文件进行栏位、条件清洗；采集任务是一条包含了节点信息、通信协议、ETL规则以及其他任务补充信息的数据集合；所述的采集引擎，支持多种通信方式，通过通信协议与数据提供方进行握手，识别提供方的合法性并进行数据采集，通知数据处理服务器；所述的数据处理服务器，包括了数据清洗和拔插式的数据处理组件；数据清洗模块利用ETL规则以及任务指定的数据处理组件对采集数据进行萃取、转换并加载至目标节点；数据处理组件采用系统提供的标准接口，每一个组件处理一种数据文件，可根据实际情况进行拔插。