一种任务调度方法和装置

摘要

本发明提出了一种任务调度方法，该方法包括：对用户的任意一个任务设置相应的CPU资源需求和内存资源需求，并预测该任务的完成时间；预测用户能够同时运行的任务数，使得YARN平台中每一个用户的支配份额比相同；根据用户的总任务数、预测的任务的完成时间和预测的用户能够同时运行的任务数计算作业完成的总时间；在预设的CPU资源需求范围和内存资源需求范围内，改变设置的CPU资源需求和内存资源需求，重复上述步骤，直到计算得到的作业完成的总时间最小。本发明能够降低用户在YARN平台提交作业时设置CPU资源需求和内存资源需求的主观偏差，从而缩短作业的完成时间，提供YARN平台的整体运行效率。

主权项

一种任务调度方法，其特征在于，该方法包括：对用户的任意一个任务设置相应的CPU资源需求和内存资源需求，并预测该任务的完成时间；预测用户能够同时运行的任务数，使得YARN平台中每一个用户的支配份额比相同；根据用户的总任务数、预测的任务的完成时间和预测的用户能够同时运行的任务数计算作业完成的总时间；在预设的CPU资源需求范围和内存资源需求范围内，改变设置的CPU资源需求和内存资源需求，重复上述步骤，直到计算得到的作业完成的总时间最小；所述预测任务的完成时间包括：生成实例库，实例库保存有实例的特征值和该实例在不同的CPU资源需求和内存资源需求时的运行时间；查找实例库中与设置的所述任务的CPU资源需求和内存资源需求均相同的实例；计算查找到的实例的特征值和所述任务的特征值的相似度，将相似度最大的实例的运行时间作为所述任务的完成时间。