一种在键值库中进行分布式数据分析的方法

摘要

本发明一种在键值库中进行分布式数据分析的方法，属于数据处理技术领域。将键值库中与哈希范围对应的数据作为一个数据块，每个数据块有多个副本，选取一个副本进行映射处理，得到多个中间数据块，存储在当前计算机上；聚集处理从映射处理的计算机上读取中间数据块，进行排序后进行聚集处理，得到一个输出文件并存储在非关系型数据库上的文件系统中；启动时，用户将数据分析程序打包成一个代码包，将该代码包和数据块描述信息存储在文件系统中，中心计算机从文件系统中读取数据块描述信息,根据该信息分配任务。本方法消除了映射聚集框架对分布式文件系统的依赖，可执行代码包都被存储在非关系型数据库上的文件系统中，降低了资源消耗和维护成本。

主权项

一种在键值库中进行分布式数据分析的方法，其特征在于该方法包括以下步骤：（1）将键值库中与一个哈希范围相对应的数据作为一个数据块，每个数据块有多个相同的副本，多个副本分别存储在不同的计算机上；（2）从上述多个副本中随机选取一个副本，对该副本进行映射处理，得到多个中间数据块，将该多个中间数据块存储在进行映射处理的当前计算机上；（3）从当前计算机上读取多个中间数据块，对读取的多个中间数据块根据用户定义的排序方法进行排序，得到一个有序数据块，对该有序数据块进行聚集处理，得到一个输出文件，该输出文件存储在非关系型数据库上的文件系统中；（4）启动分布式数据分析过程时，将用户的分布式数据分析程序打包成一个代码包，将该代码包存储在上述非关系型数据库上的文件系统中，并将描述步骤（1）的数据块的信息存储在该文件系统中，数据块的信息包括哈希范围的起点和终点以及每个副本所在的计算机位置；（5）中心计算机的任务分配组件根据每个数据块的描述信息，获得数据块的副本所在的计算机位置，并向该计算机分配任务，重复步骤（1）～（3）。