一种任务调度的方法及装置

摘要

本发明公开了一种任务调度的方法及装置，属于计算机领域。所述方法包括：获取待处理作业被分解后的多个任务；从多个任务中选择待调度任务，并在接收到工作节点发送的任务请求后，根据待调度任务的任务类型和预先获取到的网络可用带宽信息从发送任务请求的工作节点中选择执行节点；将待调度任务发送给执行节点，由执行节点执行待调度任务。本发明通过根据待调度任务的任务类型和网络可用带宽信息从发送任务请求的工作节点中选择执行节点，将待调度任务发送给执行节点执行，由于在执行任务时需要在网络中传输大量的数据，根据网络可用带宽信息而选择执行节点能够提高网络中数据传输的速率，从而减少任务执行所需的时间，提高了系统的整体性能。

主权项

一种任务调度的方法，其特征在于，所述方法包括：获取待处理作业被分解后的多个任务，每个任务的任务类型为映射Map任务或者化简Reduce任务；从所述多个任务中选择待调度任务，并在接收到工作节点发送的任务请求后，根据所述待调度任务的任务类型和预先获取到的网络可用带宽信息从发送任务请求的工作节点中选择执行节点；将所述待调度任务发送给所述执行节点，由所述执行节点执行所述待调度任务；所述根据所述待调度任务的任务类型和预先获取到的网络可用带宽信息从发送任务请求的工作节点中选择执行节点之前，还包括：预先获取网络拓扑信息，所述网络拓扑信息至少包括交换机和工作节点之间的连接关系，每个交换机的端口速率和每个工作节点的端口速率；按照预设周期获取每个工作节点的本地可用带宽和每个交换机的可用端口速率，所述每个工作节点的本地可用带宽包括每个工作节点的本地上行可用带宽和本地下行可用带宽；根据所述网络拓扑信息、所述每个工作节点的本地可用带宽和所述每个交换机的可用端口速率确定每两个工作节点之间的路径可用带宽；将所述每个工作节点的本地可用带宽和所述每两个工作节点之间的路径可用带宽确定为网络可用带宽信息。