一种Hadoop集群批处理作业的方法及系统

摘要

本发明公开了一种Hadoop集群中批处理作业的方案，涉及Hadoop集群批处理作业技术。本发明公开的方法，包括：构建一个混合异构内存的硬件平台，在该硬件平台中部署Hadoop集群，其中，所构建的硬件平台中混合异构内存采用非易失性存储介质与动态随机存取存储器(DRAM)的混合；当在硬件平台上进行Hadoop集群批处理作业时，将Hadoop集群批处理作业的内存申请分配到混合异构内存的非易失性存储介质中；在Map阶段，将Hadoop集群批处理作业的中间结果存储在所述混合异构内存的非易失性存储介质中，在Reduce阶段，从所述非易失性存储介质中读取中间结果进行处理。本发明还公开了一种Hadoop集群系统。本申请技术方案提高了Hadoop集群批处理作业的效率。

主权项

一种Hadoop集群批处理方法，其特征在于，包括：构建一个混合异构内存的硬件平台，在该硬件平台中部署Hadoop集群，其中，所构建的硬件平台中混合异构内存采用非易失性存储介质与动态随机存取存储器(DRAM)的混合；当在所述硬件平台上进行Hadoop集群批处理作业时，将所述Hadoop集群批处理作业的内存申请分配到混合异构内存的非易失性存储介质中；在Map阶段，将Hadoop集群批处理作业的中间结果存储在所述混合异构内存的非易失性存储介质中，在Reduce阶段，从所述非易失性存储介质中读取中间结果进行处理。