基于多数据架构中心面向数据密集型应用的并行编程方法

摘要

本发明涉及一种基于多数据架构中心面向数据密集型应用的并行编程方法，包括构建系统架构的主节点、构建系统架构的子节点、加载、执行等步骤。本发明的有益效果为：大规模数据密集型科学数据领域技术人员，无需熟悉基于多数据中心的并行计算模型、也无需具备与高性能计算相关的MapReduce和MPI并行编程技术，只需要在多个分布式机群上进行简单配置，并加载MapReduce计算任务，无需改变已有集群系统的软硬件配置，就可实现架构于多数据中心，基于MapReduce编程模型的数据密集型应用的快速并行化，达到较高的并行效率，从而大大提高大规模分布式数据密集型科学数据的处理性能。

主权项

一种基于多数据架构中心面向数据密集型应用的并行编程方法，其特征在于，包括以下步骤：1）构建系统架构的主节点，接收用户提交的若干作业，并通过主节点将所述作业分割成相对应的次一级任务，并将所述次一级任务分布到子节点上；2）构建系统架构的子节点，所述子节点包括任务跟踪程序TaskTracker服务器、作业跟踪程序、I/O服务器程序和网络共享程序；3）将MapReduce应用及其配置置于网络的共享位置中，供机群中的所有计算节点访问共享位置中的作业，并加以执行；以及4）设计自动加载MapReduce作业并行处理模型，所述并行处理模型包括提交作业、作业初始化、任务分配、任务定位、任务提交、任务执行和释放资源功能。