一种适用于网格环境的基于可靠性代价的作业调度系统

摘要

本发明为一种适用于网格环境的基于可靠性代价的作业调度系统。整个系统分为三层：第一层为作业提交接口模块1，第二层为作业调度模块2，以及底层为网格资源平台7。从工作原理上说，本发明的核心为第二层的作业调度模块，它包括预调度模块3、调度决策模块4、作业完成时间预测模块5和资源信息模块6。本发明系统提出作业运行时间预测模型和资源可用性预测模型。作业运行时间预测模型基于数学模型，资源可用性预测模型基于马尔科夫模型，具有很高的准确性和通用性。本发明系统根据作业服务质量需求和资源特点的不同分别采用复制容错策略、主副本异步运行复制容错策略和重试容错策略，具有很高的灵活性和有效性。同时，本发明系统支持计算密集型作业和数据密集型作业，具有很好的通用性。本发明与现有的调度系统相比，具有支持更多的并发用户、提高资源的利用率、通用性好、可扩展性好、系统吞吐率高等优点。

主权项

一种适用于网格环境的基于可靠性代价的作业调度系统，其特征在于：它包括作业提交接口模块(1)和作业调度模块(2)；作业提交接口模块(1)用于用户提交作业，并传送给作业调度模块(2)；作业调度模块(2)用于接收作业提交接口模块(1)提交的作业，进行调度和容错策略定制后，将作业分配到网格资源平台(7)中相应的资源节点；它包括预调度模块(3)、调度决策模块(4)、作业完成时间预测模块(5)和资源信息模块(6)；预调度模块(3)通过对作业的服务质量需求进行分析，对用户作业进行分类排队；预调度模块(3)接收作业提交模块(1)传送来的作业，并与作业完成时间预测模块(5)进行交互，根据作业完成时间预测模块(5)的预测信息对作业进行分类排队；预调度模块(3)同时作为调度决策模块(4)的作业池，为调度决策模块(4)提供作业；作业完成时间预测模块(5)用于对每个作业在各资源节点上的完成时间进行预测；作业完成时间预测模块(5)接受预调度模块(3)和调度决策模块(4)的作业完成时间预测请求，在进行预测后，将预测结果分别返回至预调度模块(3)和调度决策模块(4)；作业完成时间预测模块(5)与资源信息模块(6)进行交互，作业完成时间预测模块(5)通过资源信息模块(6)查询各资源的性能信息；资源信息模块(6)负责收集网格资源节点的实时状态信息，资源信息模块(6)接受调度决策模块(4)和作业完成时间预测模块(5)的资源查询请求，并将相应的查询结果返回调度决策模块(4)和作业完成时间预测模块(5)；资源信息模块(6)采用定期查询和订阅/发布机制与底层网格资源(7)中的各资源进行交互，及时更新各资源的性能信息；调度决策模块(4)根据资源节点未来的可用性，对用户作业进行基于可靠性代价的调度，同时也根据作业的服务质量需求和被调度资源节点的未来可用性，为每一调度作业制定容错策略；调度决策模块(4)从预调度模块(3)中取回待调度作业，请求作业完成时间预测模块(5)对作业在各资源上的运行时间进行预测；然后，根据作业运行需求和作业在各资源上的运行时间，与资源信息模块(6)进行交互，完成作业与最佳资源的匹配；最后，调度决策模块(4)将作业调度到网格资源平台(7)上对应的资源节点。