数据处理系统、管理中心和数据处理方法

摘要

本发明公开了一种数据处理系统，属于网络技术领域。所述系统包括：管理中心、分别与管理中心相连的接入子系统、计算子系统和存储子系统，接入子系统还与计算子系统相连，计算子系统还与存储子系统相连。本发明通过管理中心获取各个数据集分别对应的配置信息，并根据配置信息为各个数据集生成对应的配置文件和数据集标识，各个子系统根据对应的配置文件对数据集进行处理；使得该系统可以根据用户的配置完成各种类型的数据的处理；从而解决了由于要处理多种类型的数据而需要开发建立多套系统导致需要花费大量资源和时间的问题；达到了一种数据处理系统只需通过简单的配置即可完成多种数据类型的处理的效果。

主权项

一种数据处理系统，其特征在于，所述系统包括：管理中心、分别与所述管理中心相连的接入子系统、计算子系统和存储子系统，所述接入子系统还与所述计算子系统相连，所述计算子系统还与所述存储子系统相连；所述管理中心，用于获取至少两个数据集所分别对应的配置信息，并根据所述至少两个数据集所分别对应的配置信息为所述至少两个数据集分别生成各自的配置文件和数据集标识，所述配置文件包括接入配置子文件、计算配置子文件和存储配置子文件；分别向所述接入子系统、所述计算子系统和所述存储子系统发送对应的配置子文件和所述数据集标识；所述接入子系统，用于接收所述至少两个数据集和各自对应的所述数据集标识，查询与各个数据集标识对应的接入配置子文件，并根据所述接入配置子文件将各个数据集和各个数据集对应的数据集标识发送给所述计算子系统；所述计算子系统，用于接收各个数据集和各个数据集对应的数据集标识，查询与各个数据集标识对应的计算配置子文件，并根据所述计算配置子文件对各个数据集进行相同或者不同的统计分析以得到对应的结果数据集，并将各个数据集标识和对应的所述结果数据集发送给所述存储子系统；所述存储子系统，用于接收各个数据集标识和对应的所述结果数据集，查询与各个数据集标识对应的存储配置子文件，根据所述存储配置子文件将所述结果数据集按照相同或不同的方式存储至不同存储位置。