一种基于MapReduce的自适应作业调度方法

摘要

本发明涉及分布式并行计算领域中MapReduce自适应作业调度方法，包括下列步骤：MapReduce计算各个计算节点单CPU内核的能力指数；计算MapReduce作业的数据块规模；调度节点对新进入的MapReduce作业的数据进行划分；调度节点动态将MapReduce作业的数据块组装成任务，分配给各计算节点；动态统计各计算节点的资源使用率，如果资源使用率低于门限，重新计算MapReduce作业的数据块规模。本发明提供一种基于计算节点实际计算能力，具有自适应任务划分和任务调度的方法。

主权项

一种基于MapReduce的自适应作业调度方法，其特征在于，包括下列步骤：第一步，MapReduce计算节点根据自身的计算能力、存储能力与网络吞吐能力参数，生成各个计算节点单CPU内核的能力指数；第二步，参照MapReduce集群计算系统内所有计算节点的能力指数，计算MapReduce作业的数据块规模；第三步，调度节点根据计算出的数据块规模，对新进入的MapReduce作业的数据进行划分；第四步，结合各计算节点的能力指数，调度节点动态将MapReduce作业的数据块组装成任务，分配给各计算节点；第五步，动态统计各计算节点的资源使用率，如果资源使用率低于门限，重新计算MapReduce作业的数据块规模。