一种基于Hadoop的车联网内存感知实时作业调度方法

摘要

本发明属于云计算领域，具体涉及一种满足实时性好，资源利用率高的要求的基于Hadoop的车联网内存感知实时作业调度方法。本发明包括：(1)用户将作业提交到主节点，主节点中的资源管理器对作业进行初始化操作，之后将作业交给资源分配中心进行可调度性判断；(2)资源分配中心根据集群负载情况和作业截止期为其分配资源；(3)将作业放入到队列中，等待从节点中的心跳包，将作业中的任务分配到从节点上执行。通过该方法能够满足车联网作业的实时性要求，同时方法中设计的抢占策略和资源分配中心能有效的提高资源的使用效率，并平衡节点间资源的分配。

主权项

一种基于Hadoop的车联网内存感知实时作业调度方法，其特征在于，包括如下步骤：(1)用户将作业提交到主节点，主节点中的资源管理器对作业进行初始化操作，之后将作业交给资源分配中心进行可调度性判断；(2)资源分配中心根据集群负载情况和作业截止期为其分配资源；(3)将作业放入到队列中，等待从节点中的心跳包，将作业中的任务分配到从节点上执行；所述步骤(1)中的资源分配中心在对集群资源和作业所需资源进行量化时，以内存资源为标准；对于集群中的节点，通过内存来描述其可用的资源量；任务对资源的需求同样采用内存资源进行量化；所述步骤(1)中可调度性通过一个最小内存资源评估模型进行判断，通过最小内存资源评估模型能够判断出作业在Deadline前完成所需的最小资源量；所述资源分配中心对含有过剩资源的作业采用红黑树进行管理；红黑树中每个节点表示一个含有过剩资源的作业，节点的关键字为作业的过剩资源量；在作业的抢占、开始和结束过程中，都需要通过修改红黑树来管理含有过剩资源的作业；所述步骤(2)中在为作业分配资源时包括两种方案：当系统资源充足时，资源分配中心最大资源分配策略为作业分配资源；当系统资源紧缺时，按照最小资源分配策略为作业分配资源；在资源紧缺时，又分为非抢占和抢占两种情况；所述的最小资源评估模型，以内存作为资源量化的标准，在计算最小资源量时，通过拉格朗日乘数法求得保证作业在Deadline前完成时Map和Reduce阶段所需的最小资源量；在抢占过程中采用双层抢占策略：首先在所有含有过剩资源的作业中选则具有最大过剩资源量的作业；其次根据作业中任务的运行进度，选则进度最慢的任务进行强。