基于MapReduce编程架构的任务分配方法及装置

摘要

本发明实施方式提供了一种基于MapReduce编程架构的任务分配方法及装置，该方法及装置属于网络通信领域，该方法包括：预先将数据分块逻辑分片成多个逻辑小块，并以逻辑小块为基本单元。在空闲时，发送空闲消息，并接收该空闲消息的响应消息，该响应消息包括需要转移的任务量和该任务量所对应的节点地址；将该需要转移的任务量对应的节点地址存储在过载节点列表中，并发送任务转移请求消息，接收转移的任务并进行计算处理。多个Reduce任务处理完成后，将处理结果按用户指定需要输出的文件数量进行合并。本发明具体实施方式提供的方法及装置具有负载均衡，避免任务重复转移，防止系统抖动的优点。

主权项

一种基于MapReduce编程架构的任务分配方法，其特征在于，所述方法包括：在判断出空闲时，发送空闲消息，并接收所述空闲消息的响应消息，所述响应消息包括需要转移的任务量和所述任务量所对应的节点地址；在判断出所述需要转移的任务量小于剩余能力时，将所述需要转移的任务量对应的节点地址存储在过载节点列表中，向所述过载节点列表中的一个节点地址发送任务转移请求消息，接收转移的任务并进行计算处理；或在判断出过载且未进行任务转移时，回复所接收到的空闲消息的响应消息；在收到任务转移请求消息后，将转移的任务发送给所述任务转移请求消息所对应的节点。