用于MapReduce的中间数据传输方法及系统

摘要

本发明提出了一种用于MapReduce的中间数据传输方法，包括以下步骤：中间传输服务器从多个映射任务服务器分别获取多个映射任务的多个中间结果数据；中间传输服务器获取映射任务信息，并根据映射任务信息对多个中间结果数据进行合并，以生成用于化简任务的合并数据，并将合并数据提供至化简任务服务器。根据本发明实施例的方法可消除化简任务（reduce task）资源存储（hoarding），同时消除就算节点网络负载不均衡，提高资源利用率。本发明还提出了一种用于MapReduce的中间数据传输系统及中间传输服务器。

主权项

一种用于MapReduce的中间数据传输方法，其特征在于，包括以下步骤：中间传输服务器从多个映射任务服务器分别获取多个映射任务的多个中间结果数据；以及所述中间传输服务器获取映射任务信息，并根据所述映射任务信息对所述多个中间结果数据进行合并，以生成用于化简任务的合并数据，并将所述合并数据提供至化简任务服务器。