基于ICE的分布式作业调度引擎

摘要

基于ICE的分布式作业调度引擎，采用三层分布式对象的体系结构，分为服务接口层、调度管理层和计算资源层。引擎定义了计算节点队列和可用节点队列，并利用先进先出(FIFO)算法对可用节点队列中的多个计算节点进行分布式的管理，并且能够根据计算节点的负载情况，将计算作业分配给集群内的计算节点。引擎采用ICE中间件技术实现服务端与客户端之间的通讯，可以根据实际应用时引擎的负载情况增删计算节点而不会影响引擎的稳定性，具有容易扩展维护、占用网络带宽和系统资源低、可靠性高等优点。

主权项

基于ICE的分布式作业调度引擎，其特征在于：采用三层分布式对象的体系架构，包括服务接口层、调度管理层和计算资源层，调度管理层和计算资源层之间通过ICE进行通信，服务接口层和调度管理层之间通过接口函数完成作业提交和结果返回，其中：服务接口层：属于引擎服务端，接收外部输入的计算作业请求，将计算作业请求提交到调度管理层；将调度管理层传来的计算作业处理结果返回给外部；调度管理层：属于引擎服务端，实时监控计算资源层中各计算节点的负载状态，根据各计算节点的负载情况将服务接口层接收的计算作业请求分配给相关的计算节点进行处理；将计算资源层中各计算节点的计算作业请求处理结果返回给服务接口层；计算资源层：包含有多个计算节点，各计算节点部署了引擎客户端，服从调度管理层的调度分配，对分配的计算作业请求进行处理并将处理结果返回给调度管理层；所述的调度管理层包括配置文件、计算节点列表、可用节点列表、作业等待列表、作业分配控制器和节点管理器，其中：配置文件：存储计算资源层中各计算节点的信息，包括计算节点的名称、地址、最大作业数；计算节点列表：记录计算资源层中各计算节点的名称、地址、最大作业数，同时实时记录计算节点的可用状态；可用节点列表：记录处于可用状态的计算节点正在执行作业的参数、占用的作业数和空闲的作业数；作业等待列表：记录需要等待分配计算节点的计算作业请求；作业分配控制器：负责对计算作业请求进行分配，当有计算作业请求时，从可用节点列表中取出第一个节点，如果该节点的空闲作业数不为零，将当前的计算作业请求分配给该节点，同时修改该节点的负载情况，将该节点的已占 用作业数增加，空闲作业数减小，并把该节点排到可用节点列表的末尾，如果该节点的空闲作业数为零，则直接将该节点排到可用节点列表的末尾，依次类推从可用节点列表中读取下一节点进行处理；当计算作业请求处理完成后，从可用节点列表中将处理该计算作业请求的计算节点找出，修改该节点的负载情况，同时将该节点的已占用作业数减小，空闲作业数增加；如果可用节点列表中的所有节点都没有空闲作业资源，则将该计算作业请求送入作业等待列表排队等待，直到可用节点队列中的作业节点释放出空闲的作业资源；节点管理器：将配置文件存储的信息送至计算节点列表和可用节点列表，对各计算节点定时发送监控请求，根据计算节点是否对监控请求发出回应判断计算节点状态正常或者故障并对计算节点列表和可用节点列表进行实时更新。