一种HADOOP调度法的优化方法

摘要

本发明公开了一种HADOOP调度法的优化方法，属于计算机软件及并行计算技术领域，方法如下：通过调整hadoop任务各阶段的权值，准确地确定出任务进度值，掌握任务的剩余完成时间；找到真正的掉队任务，并在正常节点上进行推测执行；根据网络的负载情况，不断改变后备任务的数量上限值，保证网络的负载均衡，避免因过度执行后备任务导致网络拥塞。本发明的一种HADOOP调度法的优化方法和现有技术相比，具有的有效果是：对任务各阶段的权值进行调整，根据不同的作业进行不同权值的设置，使其更接近真实值，能够帮助更准确地计算任务的进度值、进程速率与预计剩余完成时间。

主权项

一种HADOOP调度法的优化方法，其特征在于，采用任务各阶段进度值选取模块、申请任务的 TaskTracker 是否为掉队节点判定模块、掉队任务判定模块、掉队任务排序模块以及后备任务建立模块；方法如下：通过调整hadoop任务各阶段的权值，准确地确定出任务进度值，掌握任务的剩余完成时间；找到真正的掉队任务，并在正常节点上进行推测执行；根据网络的负载情况，不断改变后备任务的数量上限值，保证网络的负载均衡，避免因过度执行后备任务导致网络拥塞。