一种Hadoop集群管理任务的分发方法和系统

摘要

本发明公开了一种Hadoop集群管理任务的分发方法及装置。所述方法首先根据Hadoop组件的依赖关系对管理任务进行阶段规划，然后依次处理每一阶段中的管理任务，将同一阶段内配往同一组件节点的管理任务规划为一个子阶段；然后当进入一个调度周期后，扫描当前待调度的所有子阶段，并对其进行排序。最后根据预设筛选条件按照排序后的子阶段从前到后的顺序依次判断当前子阶段是否适合在当前调度周期内进行任务分发。在该分发方法中，子阶段作为最小的调度单元，并且同一个子阶段内部以及同一父阶段内的子阶段之间能够并行执行。本发明能够实现在更细粒度上并行分发任务。而且，本发明提供的方法能够提高任务分发的吞吐量，进而提高Hadoop集群管理的效率。

主权项

一种Hadoop集群管理任务的分发方法，其特征在于，包括：接收来自用户的管理操作命令，并验证所述管理操作命令的有效性；当所述管理操作命令有效时，解析所述管理操作命令，以生成管理任务集合；所述管理任务集合至少包括一个管理任务；根据预先定义的Hadoop组件的依赖关系对所述管理任务集合内的管理任务进行阶段规划；其中，在阶段规划中，将能够并行执行的管理任务规划到同一阶段，将执行有先后顺序的管理任务规划到不同阶段；依次处理每一阶段中的管理任务，将同一阶段内配往同一目标组件节点的管理任务规划为一个子阶段，形成<管理操作、阶段、子阶段>的三级层级的规划数据；当进入一个调度周期后，扫描当前待调度的子阶段，并依据<管理操作、阶段、子阶段>的层级对所有待调度的子阶段进行排序；根据预设筛选条件按照排序后的子阶段从前到后的顺序依次判断当前子阶段是否适合在当前调度周期内进行任务分发；如果当前子阶段适合在当前调度周期内进行任务分发，并且该当前子阶段所属管理操作之前分发的管理任务没有失败，则将当前子阶段中的所有管理任务进行分发；所述预设筛选条件为：当前子阶段的调度不会破坏其所属管理操作各阶段执行的有序性；当前子阶段中任务配往的目标组件节点在当前调度周期内没有任务安排。