在具有存储网络的数据中心进行MapReduce数据传输的方法和系统

摘要

本发明公开一种在具有存储网络(SAN)的数据中心进行MapReduce数据传输的方法，该数据中心包括部署有作业服务器、Map任务服务器和Reduce任务服务器的多台服务器，该方法包括：响应于接收到作业服务器分配的Map任务，Map任务服务器执行Map任务并产生Map任务输出结果；Map任务服务器将Map任务输出结果写入存储网络；以及响应于接收到作业服务器分配的Reduce任务，Reduce任务服务器从存储网络读取Map任务输出结果。

主权项

一种用于在具有存储网络SAN的数据中心进行MapReduce数据传输的方法，该数据中心包括部署有作业服务器、Map任务服务器和Reduce任务服务器的多台服务器，该方法包括：响应于接收到作业服务器分配的Map任务，Map任务服务器执行Map任务并产生Map任务输出结果，包括：响应于接收到作业服务器分配的Map任务，从作业服务器指定的存储位置读取Map任务的输入数据分片；从输入数据分片中分析出键值对；调用Map函数对所述键值对进行计算并产生Map函数的输出；以及通过对Map函数的输出做分割形成Map任务输出结果；Map任务服务器将Map任务输出结果写入存储网络SAN；以及响应于接收到作业服务器分配的Reduce任务，Reduce任务服务器从存储网络SAN读取Map任务输出结果。