海量计算粗颗粒并行的自动启停及计算任务动态分配方法

摘要

本发明公开了海量计算粗颗粒并行的自动启停及计算任务动态分配方法，包括：根据问题计算特征，定义为并行粗颗粒；基于文件标记技术和动态分配计算任务策略，主进程将并行粗颗粒中的每个计算任务以及该计算任务对应的输入参数动态分配到包含主进程的所有进程中；基于自动启停技术针对有计算任务的进程动态分配内存；待所有并行粗颗粒的并行计算完成后，主进程收集所有进程的输出参数，对其归并整理得到所述完整运行的最终结果。本发明最大限度的减少了进程之间的通信，避免了多进程并行计算时因为内存峰值大于可用物理内存而造成的硬盘读写瓶颈，同时完美解决计算实例复杂度不对等问题，进而大大提高并行计算效率。

主权项

一种海量计算粗颗粒并行的自动启停及计算任务动态分配方法，其特征在于，包括：步骤1、根据问题计算特征，将一个完整运行中相同类型的所有独立完整计算定义为并行粗颗粒，并行粗颗粒执行的一个独立完整计算作为一个计算任务；步骤2、在并行粗颗粒并行计算前，采用主进程执行并行粗颗粒之外的处理任务；步骤3、基于文件标记技术和动态分配计算任务策略，主进程将并行粗颗粒中的每个计算任务以及该计算任务对应的输入参数动态分配到包含主进程的所有进程中；步骤4、基于自动启停技术，对有计算任务的进程动态分配内存，并完成该计算任务的计算；步骤5、重复步骤3～步骤4，完成并行粗颗粒的并行计算；步骤6、待所有并行粗颗粒的并行计算完成后，主进程收集所有进程的输出参数，对其归并整理得到所述完整运行的最终结果。