发明名称 |
一种于Hadoop平台中动态调整任务数目的方法及系统 |
摘要 |
本发明公开了一种于Hadoop平台中动态调整任务数目的方法及系统,包括:步骤10,持续获取节点中运行的任务的执行速率;步骤20,计算执行速率在下降的任务的个数;步骤30,根据该个数判断是否需要调整节点中所运行的任务的数目。本发明自动的调整节点上运行的任务数目,以使Hadoop平台体现出较高的任务执行效率。使用感知节点的计算能力、任务执行状态实现动态调整Slots数目,有效的感知了集群和作业的异构性。实现集群运行任何异构性的作业或者作业运行在任何异构性的集群中都能使Hadoop平台体现出良好的性能。 |
申请公布号 |
CN103699433A |
申请公布日期 |
2014.04.02 |
申请号 |
CN201310700010.1 |
申请日期 |
2013.12.18 |
申请人 |
中国科学院计算技术研究所 |
发明人 |
康凯;赵霞;宋莹;孙毓忠 |
分类号 |
G06F9/46(2006.01)I;G06F9/50(2006.01)I |
主分类号 |
G06F9/46(2006.01)I |
代理机构 |
北京律诚同业知识产权代理有限公司 11006 |
代理人 |
祁建国;田景宜 |
主权项 |
一种于Hadoop平台中动态调整任务数目的方法,其特征在于,包括:步骤10,持续获取节点中运行的任务的执行速率;步骤20,计算执行速率在下降的任务的个数;步骤30,根据该个数判断是否需要调整节点中所运行的任务的数目。 |
地址 |
100190 北京市海淀区中关村科学院南路6号 |