一种基于MapReduce的非精确任务并行处理方法

摘要

一种基于MapReduce的非精确任务并行处理方法，步骤为：（1）选取M个Map子任务执行节点和一个Check节点，Check节点存储有将要执行的具有非精确计算特征的任务是否完成的判断逻辑；（2）将任务分解成N个Map子任务分配给前述M个执行节点执行；（3）每一个Map子任务执行完毕时，向Check节点发送任务执行完毕信息以及与判断逻辑相关的结果信息；（4）每收到一个Map子任务执行完毕的信息，Check节点会将它累计到之前的结果中，直至累计结果满足判断逻辑；（5）终止所有Check节点尚未接收到执行完毕信息的Map子任务，结束Map任务执行过程，同步进入Reduce子任务；（6）获取Reduce任务执行结果，整个任务执行完毕。

主权项

一种基于MapReduce的非精确任务并行处理方法，其特征在于步骤如下：（1）选取M个分布式节点作为Map子任务的执行节点，同时选取一个分布式节点作为Check节点，所述的Check节点上存储有将要执行的具有非精确计算特征的任务是否完成的判断逻辑，其中M为正整数；（2）将所述的具有非精确计算特征的任务分解成N个Map子任务分配给所述M个执行节点执行；（3）每一个Map子任务执行完毕时，均向Check节点发送子任务执行完毕信息以及与判断逻辑相关的结果信息；（4）每收到一个Map子任务执行完毕信息，Check节点就将新收到的结果信息累计到此前已收到的结果信息中，并判断累计结果是否满足判断逻辑，如果已经满足则转步骤（5）；如果没有满足则继续等待接收新的Map子任务执行完毕信息，直至累计结果满足判断逻辑后再转入步骤（5）；（5）终止所有Check节点尚未接收到执行完毕信息的Map子任务，结束Map任务执行过程，同步开始Reduce子任务；（6）获取Reduce任务的执行结果，具有非精确计算特征的任务执行完毕。