MapReduce系统的慢任务调度方法和装置

摘要

本发明提供一种MapReduce系统的慢任务调度方法和装置，其中方法包括：分别获取MapReduce系统中的各计算节点的计算能力值，根据计算能力值将各计算节点排列为慢节点队列，并选取队列中的前M个计算节点作为目标计算节点；获取目标计算节点在加载待调度的慢任务之后预估的计算能力值，并将目标计算节点与其他各计算节点按照计算能力值从大到小的顺序排列成新的慢节点队列，并预设慢节点队列中从队尾开始向前的第N个计算节点为评价基准节点，所述N为自然数；在目标计算节点预估的计算能力值大于评价基准节点的计算能力值时，将待调度的慢任务调度到目标计算节点。本发明有效抑制了慢任务调度时抖动现象的发生。

主权项

1.一种MapReduce系统的慢任务调度方法，其特征在于，包括：分别获取MapReduce系统中的各计算节点的计算能力值，所述计算节点的计算能力值所述v₁......v_m表示所述计算节点上的各计算任务的处理速度，所述表示所述各计算任务分别所属的工作的平均处理速度，所述m表示所述计算节点上的计算任务的总数量；根据所述计算能力值从大到小的顺序将所述各计算节点排列为慢节点队列，并选取所述慢节点队列中的前M个计算节点，每个选取的所述计算节点作为目标计算节点，所述M为自然数；分别获取M个所述目标计算节点在加载待调度的慢任务之后预估的计算能力值，所述预估的计算能力所述v_i表示目标计算节点上的待调度慢任务的处理速度，所述表示目标计算节点上的待调度慢任务所属的工作的平均处理速度；根据所述目标计算节点的预估的计算能力值以及所述目标计算节点之外的各计算节点的计算能力值，将所述目标计算节点与所述目标计算节点之外的各计算节点按照计算能力值从大到小的顺序排列成新的慢节点队列，并预设所述慢节点队列中从队尾开始向前的第N个计算节点为评价基准节点，所述N为自然数；在所述目标计算节点预估的计算能力值大于所述评价基准节点的计算能力值时，将所述待调度的慢任务调度到所述目标计算节点。