一种面向流式数据的作业调度方法及装置

摘要

本发明涉及一种面向流式数据的作业调度方法，包括以下步骤：调度管理器从调度队列中实时获取待调度作业，根据待调度作业的信息利用有向无环图生成处理单元队列;调度管理器根据物理节点的非本地通信数和主导资源比例，为处理单元队列中的每个处理单元分别选择物理节点，将所有处理单元分别分配给对应的物理节点；执行器在启动处理单元时，先在该物理节点上创建一个linux容器，然后在linux容器内部启动处理单元。本发明将处理单元调度到非本地通信数较小、负载较低的物理节点上，可以将需要频繁通信的处理单元集中到同一物理节点，减少了跨物理节点的网络通信。

主权项

一种面向流式数据的作业调度方法，其特征在于，包括以下步骤：步骤1：调度管理器从存储待调度作业的调度队列中实时获取待调度作业，并根据待调度作业的信息利用有向无环图生成包括多个处理单元的处理单元队列，所述调度管理器设置于高配置的物理节点上，未设置有调度管理器的其他物理节点上分别设置有一个执行器;步骤2：调度管理器根据物理节点的非本地通信数和主导资源比例，为处理单元队列中的每个处理单元分别选择物理节点，将所有处理单元分别分配给对应的物理节点，每个物理节点上设置有处理单元的数量为零至多个；步骤3:执行器在启动处理单元时，先在该物理节点上创建一个linux容器，然后在linux容器内部启动处理单元。