一种基于Hadoop多作业环境下的资源调度方法

摘要

本发明公开了一种基于Hadoop多作业环境下的资源调度方法，包括：(1)实时采集集群负载、Hadoop平台以及硬件三方监控信息，(2)实时采集集群各计算节点上用户的作业执行监控信息，(3)汇总集群三方监控数据，建模评估节点的计算能力，并将集群节点划分为优势计算节点和劣势计算节点，(4)若节点为优势计算节点，则启动基于相似度评估的作业任务资源需求配置策略，(5)若节点为劣势计算节点，则还原为Yarn默认的资源需求配置策略。本发明解决了Yarn现有资源调度器中任务资源需求划分粒度过大导致的资源碎片问题，能够综合考虑集群节点和作业的异构性，通过合理、有效地分配节点资源增加集群执行并发度，从而提高Hadoop集群多作业的执行效率。

主权项

一种基于Hadoop多作业环境下的资源调度方法，其特征在于，包括以下步骤：(1)实时采集集群负载、Hadoop平台以及硬件三方监控信息，并按照数据采集的先后顺序进行存储，生成三方监控输出反馈文件；(2)实时采集集群各计算节点上用户的作业执行监控信息，生成作业执行监控输出反馈文件；(3)汇总、解析步骤(1)中得出的三方监控输出反馈文件，建模评估节点的计算能力，并根据计算能力评分的高低将集群计算节点划分为优势计算节点和劣势计算节点；(4)若节点为优势计算节点，则根据步骤(2)中得出的作业执行监控输出反馈文件启动基于相似度评估的作业任务资源需求配置策略；(5)若节点为劣势计算节点，则还原为Yarn默认的资源需求配置策略。