一种MapReduce系统及其调度任务的方法和装置

摘要

本发明提供了一种MapReduce系统及其调度任务的方法和装置。该方法包括：预先配置多种调度器、将系统资源划分为多个资源子网，并预先配置所述调度器与所述资源子网的对应关系；其中，每种调度器包括任务队列和调度策略；接收工作节点的任务请求，从该工作节点所在的资源子网对应的所有调度器中选择调度器，根据选出的调度器的调度策略从该调度器的任务队列中调度任务，将调度出的任务返回给该工作节点。应用本发明能够提高系统进行任务调度的灵活性，增加了系统的适用场景。

主权项

一种MapReduce系统调度任务的方法，其特征在于，该方法包括：预先配置多种调度器、将系统资源划分为多个资源子网，并预先配置所述调度器与所述资源子网的对应关系；其中，每种调度器包括任务队列和调度策略；接收工作节点的任务请求，从该工作节点所在的资源子网对应的所有调度器中选择调度器，根据选出的调度器的调度策略从该调度器的任务队列中调度任务，将调度出的任务返回给该工作节点；接收作业任务，按照该作业任务所属的应用类型选出该作业任务对应的调度器，将该作业任务排列在该调度器的任务队列中；其中，所述资源子网的划分是拓扑无关的，所述资源子网是MapReduce系统所有工作节点的总资源量中预定比例的资源量。