控制MapReduce任务调度的方法、装置和系统

摘要

本发明公开一种控制MapReduce任务调度的方法、装置和系统。其中当接收到监测装置发送的节点失效信息时，从节点失效信息中提取出发生故障的失效节点标识，其中监测装置实时监测与主控节点相关联的任务节点状态，在监测到任务节点从有效状态转换为失效状态而成为失效节点后，在发送条件满足时发送所述节点失效信息；从有效节点集合中删除所述失效节点标识，其中有效节点集合中包括的节点用于MapReduce任务调度；将所述失效节点标识添加到失效节点集合中。更加全面的任务节点状态检测，从而优化MapReduce任务节点的调度选择。

主权项

一种控制MapReduce任务调度的方法，其特征在于，包括：当接收到监测装置发送的节点失效信息时，从节点失效信息中提取出发生故障的失效节点标识，其中监测装置实时监测与主控节点相关联的任务节点状态，在监测到任务节点从有效状态转换为失效状态而成为失效节点后，在发送条件满足时发送所述节点失效信息；从有效节点集合中删除所述失效节点标识，其中有效节点集合中包括的节点用于MapReduce任务调度；将所述失效节点标识添加到失效节点集合中。