一种基于遗传算法的Hadoop作业调度方法

摘要

本发明公开了一种基于遗传算法的Hadoop作业调度方法，首先对作业进行预处理，生成编码解码表，然后生成若干执行作业的初始调度表，对各初始调度表进行适应度检测排序，得到调度表队列，最后对调度表队列中的初始调度表进行遗传操作，形成最终调度表队列；将排在最终的调度表队列最前的调度表作为最优调度表，根据最优调度表分别将不同作业的任务分配到对应的TaskTracker上执行，完成Hadoop作业调度任务。本调度方法在作业调度前无需对平台中的资源进行预设，在调度过程中会动态的采集统计并分配，减轻了管理员的负担；另外，本调度方法能够在作业的总完成时间和作业的平均完成时间两个方面进行控制，既保证了执行作业的公平性，又能确保执行作业效率。

主权项

一种基于遗传算法的Hadoop作业调度方法，其特征在于，按照以下步骤实施：步骤1：对等待调度的作业进行预处理，在JobTracker节点汇总等待调度的作业Job_m和集群中的节点TaskTracker_n；步骤2：生成编码解码表；步骤3：根据编码解码表生成若干初始调度表；步骤4：对各初始调度表进行适应度检测排序，得到调度表队列A；步骤5：对调度表队列A中的初始调度表进行遗传操作，形成最终调度表队列；步骤6：选取最终的调度表队列中处于队首的调度表作为最优调度表，然后根据最优调度表分别将不同作业Job_m的任务分配到对应的TaskTracker_n上执行，完成Hadoop作业调度任务。