一种面向快速服务的大数据聚合方法

摘要

本发明提供一种面向快速服务的大数据聚合方法采用包括服务描述子和子数据序列的二维结构化模板，并提出了与该模板匹配的面向服务的大数据快速聚合与传送的方法。本发明可广泛适用于大数据系统中大数据聚合服务、数据切片存储、并行快速传送等方面。采用本发明能够显著地提高服务数据的聚合与传送效率，从而实现面向客户的大数据聚合快速服务。还可将整合好的子数据序列作为面向服务主题的特种结构化数据块，存储到大数据管理系统中，实现大数据存储的结构化，从而提高大数据的管理与访问效率。

主权项

面向应用的大数据快速聚合与服务传递方法，其特征在于包括1）面向服务的大数据聚合二维结构化模板设计方法；2）基于二维结构化模板的大数据存储与快速传送方法，其中：一、面向服务的大数据聚合二维结构化模板设计方法,模板包含二部分：总体服务描述子和子数据序列，其中：(1)服务描述子，包括以下内容：a)服务编号，是针对某个数据聚合服务需求而指派的流水代号，作为整个服务周期中的统一标识；b)服务类型，一个表示服务类型的数据字段，由实际使用者定义,按服务对象类别分为1‑N级客户；按业务类型分实时、准实时、非实时多种响应级别，服务类型字段描述包含多种分类信息的复合类型；c)服务目标地址，服务目标对象的网络地址；d)服务源地址，提供数据聚合服务的IT系统的网络地址；e)扩展段长度，指此单元后面跟随的扩展字段的总数；f)扩展段，为增强模板的功能，专门设置了扩展字段，扩展段的多少根据需要设置，每个扩展段的内容根据实际需要灵活约定，包括用第一个扩展段表示该聚合服务的安全加密方式、用最后一个扩展段表示总体描述模块的结束标志；(2)子数据序列a)子数据结构编号，编号组成为“服务描述子中的服务编号+结构化扩展码”， 表示服务数据中某一数据子列或子模块的编号，此处的数据子列，是指大数据中为存储管理和传输方便而将一个数据模块整体分解成具有结构化特性的、相关联的一系列子数据模块，即一个多媒体服务数据模块可分解成语音数据子列、视频数据子列、文本数据子列；子数据结构编号，携带着子数据在数据块整体中的结构位置、与其他子数据的组装关系； b)子数据地址，指子数据序列的存储地址，通常是一个网络地址；c)子数据段，用来装载子数据序列，因子服务数据的大小是变化的，所以此段的长度是可变的；d)子扩展段长度，指此单元后面跟随的子数据模块中子扩展字段的总数；e)子扩展段，为增强模板中子数据模块的功能，专门设置了子数据扩展字段，子扩展段的多少可根据需要设置，每个子扩展段的内容可根据实际需要灵活约定；二、基于二维结构化模板的大数据存储与快速传送，采用下面的方法实现大数据的结构化存储与快速传送；1)面向服务的大数据结构化存储在大数据系统中，数据存储管理功能子系统通常对大数据进行分类、分拆处理，将大数据制作成各种类型、较小粒度的数据片或数据段，并建立索引系统；根据服务需求搜索发现所需要的一系列相关的数据片，并将这些数据片整合成不同的子数据序列，存储在二维结构化模板中；整合好的子数据序列，作为面向服务主题的特种“结构化数据块”，存储到大数据管理系统中，以便此后遇到类似服务需求时能够直接快速地调用；2)面向服务的聚合数据快速传送基于建好大数据聚合二维结构化模板， 采用并行方式向客户快速传送主描述模块、各类子数据模块，在一次聚合服务中，服务描述子只传送一次，但每个子数据序列因为受到数据包大小的限制或服务数据的变化而需要分为多次传送； 在客户端，根据主描述模块对服务数据结构和属性的说明，将接收到的各个子数据模块组装起来，实现最终需要的聚合数据。