一种基于格式数据集的分布式数据存储与计算方法

摘要

本发明涉及计算机技术领域，本发明采用一种基于格式数据集的分布式数据存储与计算方法，包括：将计算统计的过滤条件转换为一个规则集；根据规则集，将原始无序的数据记录转换为格式数据集；将转换后的格式数据集进行存储；基于存储的格式数据集，执行统计计算。本发明可以极大地缩短海量数据的统计计算时间，并且易于计算规模的扩展，能够有效地应对数据的多样性和异常数据。

主权项

一种基于格式数据集的分布式数据存储与计算方法，用于快速执行统计计算，其特征在于，包括：将计算统计的过滤条件转换为一个规则集；根据所述规则集，将原始无序的数据记录转换为格式数据集；将转换后的格式数据集进行存储；基于存储的格式数据集，执行统计计算；所述基于存储的格式数据集，执行统计计算，包括：先执行点过滤过程：对于格式数据集中的每个格式数据对，检查其格式数据对中的属性值，过滤掉不符合点过滤条件的格式数据对，剩下的格式数据对组成第一中间结果数据集；对于第一中间结果数据集中的每个格式数据对，对数据集中的数据记录进行所需要的统计计算，然后依据点过滤条件过滤格式数据对，剩下的格式数据对组成第二中间结果数据集；然后执行范围过滤：对于第二中间结果数据集中的每个格式数据，使用二分查找算法，找到数据集中的一组满足范围过滤条件的数据记录，组成第三中间结果数据集；第三中间结果数据集中的所有格式数据集就是满足要求的点过滤条件和范围过滤条件的数据记录；对第三中间结果数据集中的每个格式数据集中的数据记录执行指定的计算操作，输出结果。