云计算平台中的任务处理系统、设备及方法

摘要

本发明公开了云计算平台中的任务处理系统、设备及方法，其中，云计算平台中的任务处理设备包括：文件信息获取器，被配置为从存储任务数据文件的存储节点中获取各任务数据文件的信息，并基于各任务数据文件的信息来确定各任务数据文件的编号；节点信息确定器，被配置为获取任务执行节点的信息；任务执行节点的信息包括任务执行节点的数量以及任务执行节点的编号；以及任务分配器，被配置为根据各任务数据文件的编号和任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点进行处理，其中将相邻编号的任务数据文件分配给不同的任务执行节点。通过本发明，可以降低由于某个任务执行节点处理数据量很大而拖慢整个计算任务的概率。

主权项

一种云计算平台中的任务处理设备，包括：文件信息获取器，被配置为从存储任务数据文件的存储节点中获取各任务数据文件的信息，并基于各任务数据文件的信息来确定各任务数据文件的编号，其中各任务数据文件的编号与任务数据文件产生的先后顺序相关；节点信息确定器，被配置为获取任务执行节点的信息；所述任务执行节点的信息包括所述任务执行节点的数量以及所述任务执行节点的编号；以及任务分配器，被配置为根据各任务数据文件的编号和任务执行节点的信息，将任务数据文件均匀分配到对应的任务执行节点进行处理，其中将相邻编号的任务数据文件分配给不同的任务执行节点，以使得每个任务执行节点上处理相同或基本相同数量的任务数据文件，而且同一任务执行节点上处理的任务数据文件的编号呈等差数列分布或者基本等差数列分布，所述基本相同数量的任务数据文件是指不同任务节点上分配的任务数据文件的数量之差不超过一定的阈值，所述基本等差数列是指数列中每一项与它的前一项的差值不是同一个常数，但是各个差值之间的差距小于某阈值。