基于待释放资源列表的MapReduce任务推测执行方法和装置

摘要

本发明公开了一种异构环境下基于待释放资源列表的MapReduce任务推测执行方法和装置，描述了在作业的执行过程中，空闲资源向主节点提交任务请求。如果当前作业存在沿未开始运行的任务，则从尚未开始运行的任务中选择一个任务在空闲资源上执行，算法结束。否则通过记录的作业执行信息，生成作业的慢任务列表。如果慢任务列表大小为0，则表明没有慢任务，不需要进行推测执行，算法结束。否则继续生成待释放资源列表。假设慢任务列表大小为N，待释放资源列表大小为M，根据本发明的备份任务选择算法，选择任务M分配给申请任务的资源，算法结束。本发明相比传统推测执行算法能够找到使慢任务更快完成的资源，从而提高执行效率。

主权项

一种基于待释放资源列表的MapReduce任务推测执行方法，其特征在于，所述方法包括：作业运行过程中出现空闲资源，该空闲资源向主节点提交任务请求；判断作业是否存在尚未运行的任务，如果当前作业还有尚未开始运行的任务，则从尚未开始运行的任务中选择一个任务在空闲资源上执行，否则，继续往下执行；获取需要的作业运行时信息；寻找慢任务，获取所有慢任务的剩余完成时间EstimatedTaskTimeLeft，按剩余完成时间由大到小对慢任务列表进行排序，生成慢任务列表CandidateTasks[N]；如慢任务列表大小为0，即不存在慢任务，则不需要进行推测执行，否则，继续往下执行；获取所有正在运行任务所在资源的待释放时间EstimatedNodeTimeLeft，获取备份任务在待释放资源和已释放资源上执行需要的最终完成时间CandidateTaskTime，将获取的最终完成时间CandidateTaskTime由小到大进行排序，并只保留总时间小于已释放资源执行完成备份任务所需时间的待释放资源，生成待释放资源列表CandidateNodes[M]；对慢任务列表CandidateTasks[N]和待释放资源列表CandidateNodes[M]进行判断，如果M<＝N，且慢任务列表中第M个慢任务的剩余完成时间estimatedTaskTimeLeft[M]大于备份任务在待释放资源列表的第M个资源上的最终完成时间candidateTaskTime[M]时，则选择慢任务candidateTasks[M]在该申请任务的空闲资源上进行备份执行，否则不为该空闲资源分配慢任务。