一种基于任务类型的动态MapReduce 调度方法及系统

摘要

本发明提供了一种基于任务类型的动态MapReduce调度方法及系统，该基于任务类型的动态MapReduce调度方法包括如下步骤：A.进入等待队列，B.工作任务分类，C.工作任务迁移,D.工作任务调度，CPU密集型队列和I/O密集型队列分别独立调度，将工作任务调度到工作结点集群，执行任务。本发明的有益效果是本发明基于任务类型的动态MapReduce调度方法，通过对工作任务类型预测，然后为不同类型任务分别设置队列，各队列独立调度。本发明基于任务类型的动态MapReduce调度方法，提高不同类型任务环境下集群的吞吐量。

主权项

一种基于任务类型的动态MapReduce调度方法，其特征在于，包括如下步骤：A.进入等待队列，所有提交到工作结点集群上的工作任务都先进入等待队列，由等待队列将工作任务部分调度到工作结点集群；B.工作任务分类，根据预测机制将工作任务分为CPU密集型和I/O密集型；C.工作任务迁移,根据步骤B得到的预测结果将工作任务迁移到CPU密集型队列或I/O密集型队列；D.工作任务调度，CPU密集型队列和I/O密集型队列分别独立调度，将工作任务调度到工作结点集群，执行任务。