Hadoop云平台下基于负载监控的混合调度方法

摘要

本发明公开了一种Hadoop云平台下基于负载监控的混合调度方法。通过分析Max-D算法、FIFO算法以及公平调度算法的调度效果和各自应用场景，提出一个基于负载监控的混合调度策略。本发明通过对系统负载的实时监控，在三个算法中选择最合适现负载状况的调度算法。相比单一的使用一种调度算法，基于负载监控的混合调度策略有着明显的优势，能够适应Hadoop系统中负载的变化，使得系统能够保持比较好的性能。

主权项

一种Hadoop云平台下基于负载监控的混合调度方法，其特征在于方法如下：（1）Hadoop系统中的资源taskTracker向中心节点jobTracker持续发送自身节点的实时信息，实时信息包括是否空闲、正在执行任务的已执行时间以及执行进度；（2）对系统负载进行实时监控，根据资源发送的实时信息计算系统内的负载程度：（3）当有资源向中心节点请求任务task时，根据实时负载程度选择调度方案：在系统资源低载情况下，使用FIFO调度方法，降低调度消耗；在负载平衡情况下使用公平调度方法，提高系统的公平性，保证作业都能得到执行；在过载情况下使用Max‑D调度方法，使得作业平均完成时间缩短。