一种面向数据并行计算的容错方法

摘要

本发明公开了一种面向数据并行计算的容错处理方法，属于并行系统容错的技术领域，是一种基于出错任务对应的数据块进行二次划分及二次调度的错误恢复策略与方法。该方法包括：对关键计算任务进行二次冗余或三次冗余计算及结果判定；基于内存页调度策略的数据组成结构的构造方法；基于空闲节点个数以及最小数据块的容错数据块的二次划分。本发明完全可应用于大规模海量数据的并行数字地形分析的高性能计算的容错处理场合，例如，规则格网并行插值、坡度坡向并行计算、洼地填平并行计算等地形因子提取；可以应用于地理信息处理的高性能计算；也可以应用于基于地理信息的空间决策分析和数据挖掘等应用场合，提高处理效率。

主权项

一种面向数据并行计算的容错方法，其特征在于，所述方法包括：a)对关键计算任务进行二次冗余或三次冗余计算策略及错误判定；b)基于内存页调度策略的容错数据块的理论层次结构；构建过程包括：步骤101，基于内存页调度策略,可以得到最小数据单位fmin；按照四叉树结构组合得到复合数据,从而得到一个树结构；步骤102，根据计算结点内存大小M和可用比例δ，计算复合数据块最大值fmax，并确定四叉树的层数l；步骤103，根据出错任务对应的数据块的大小、最小数据块的大小以及四叉树结构，可得出出错任务对应的数据块可被分解的层数f为：其中MSize代表出错任务对应的数据块的大小；c)基于空闲节点个数以及最小数据块的容错数据块的二次划分。