一种文件作业任务的调度方法及系统

摘要

本申请公开了一种文件作业任务的调度方法，包括：查找执行作业任务所需文件的数据块所在的节点，所述数据块的数量为多个；计算所述文件对其每个数据块所在节点产生的负载及所述节点的运行负载；对所述节点的运行负载进行比较，获取负载最轻的节点作为预设节点；当所述预设节点上由所述文件产生的负载与所述预设节点的运行负载之和小于设定负载阈值时，调度所述作业任务至所述预设节点执行。通过本申请提供的方法当针对文件有作业提交时，系统将分发该作业的任务到已经计算好的预设节点上执行，从而最大化的满足了数据本地性，减少了任务并发执行时数据移动造成IO开销的增加，并且使系统的负载更加均衡。

主权项

一种文件作业任务的调度方法，其特征在于，包括：查找执行作业任务所需文件的数据块所在的节点，所述数据块的数量为多个；计算所述文件对其每个数据块所在节点产生的负载及所述节点的运行负载；对所述节点的运行负载进行比较，获取负载最轻的节点作为预设节点；当所述预设节点上由所述文件产生的负载与所述预设节点的运行负载之和小于设定负载阈值时，调度所述作业任务至所述预设节点执行。