一种基于多队列和多优先级的大数据任务管理系统和方法

摘要

一种基于多队列和多优先级的大数据任务管理系统，以及利用该系统实现大数据任务管理的方法。该方法包含：S1、客户端发起任务请求，并对该任务设定任务队列标签和优先级；S2、资源管理器接收由客户端发起的任务请求，将其分配至对应任务队列中；S3、每个节点资源管理器将其所在的分布式节点所拥有的资源上报给资源管理器以形成资源池，资源管理器对各个任务队列分配资源；S4、资源管理器依次将多个任务队列中当前需要执行的任务分配给节点资源管理器，节点资源管理器在接收任务指令后，调度容器单元执行该任务。本发明能够进行资源的统一管理和调配，并且基于多队列和多优先级进行任务调度执行，提高资源的利用率，加快任务执行的速度。

主权项

一种基于多队列和多优先级的大数据任务管理系统，其特征在于，包含：多个客户端（1），用于发起任务请求；每个客户端（1）包含设定模块，其用于对发起请求的任务设定任务队列标签和优先级；资源管理器（2），其分别与多个所述的客户端（1）相连接，用于接收各个客户端（1）发起的任务请求，将其分配至对应任务队列中，并统一管理和分配所有资源；多个节点资源管理器（3），分别对应设置在各个分布式节点上且与所述的资源管理器（2）相连接，将该分布式节点所拥有的资源上报给资源管理器（2）进行统一管理和分配，并接收并调度资源管理器（2）下达的任务指令；其中，每个所述的分布式节点上还包含多个容器单元（4），分别与对应的节点资源管理器（3）相连接，该节点资源管理器（3）根据接收到的任务指令，调度各个容器单元（4）利用该分布式节点上的资源执行任务。