一种面向Hadoop的实时作业公平调度的方法和装置

摘要

本发明涉及一种面向Hadoop的实时作业公平调度的方法和装置，包括接收作业单元、建立模型单元、获得时间单元和分配资源单元；所述接收作业单元，用于接收提交的作业和该作业的期望执行时间；所述建立模型单元，用于建立代价模型；所述获得时间单元，用于计算获得所述作业的预估执行时间；所述分配资源单元，用于分配给所述作业实际需要的资源量。该方法和装置，针对用户提交的实时作业，通过读取对应的作业历史执行数据并建立代价模型，以获得作业的预估执行时间，再通过分析用户提交作业时设置的作业期望执行时间计算作业实际需要的资源量，从而使得用户实时提交的作业的计算任务，在用户设定的期望执行时间内完成。

主权项

一种面向Hadoop的实时作业公平调度的方法，其特征在于，包括：接收提交的作业和该作业的期望执行时间；根据所述作业，获得预设的对应所述作业的作业历史执行数据，并建立代价模型；将所述作业历史执行数据代入所述代价模型，计算获得所述作业的预估执行时间；根据所述预估执行时间和期望执行时间，分配给所述作业实际需要的资源量，以便所述作业在所述期望执行时间内完成。