最优化映射减少框架中数据处理的装置和方法

摘要

由本发明的方法最优化、由主节点实现的用于大规模数据的映射减少框架。该方法包括在指向由工人节点执行的任务的输入数据的读取指针位置上的这些工人节点的数据的接收以及从这些任务接收工作，被窃取的该工作被应用于输入数据，该输入数据尚未被工作从其窃取的任务处理。

主权项

一种用于处理映射减少框架中的数据的方法，其特征在于所述方法由主装置（800,900）执行，并且在于所述方法包括：将输入数据分割（10001）为输入数据片段；向工人节点分配（10002）用于处理所述输入数据片段的任务，其中向每一个工人节点分配用于处理输入数据片段的任务；根据从执行所述任务的工人节点（901,902，903）接收的数据确定（10003）指向由任务处理的输入数据片段中的当前读取位置的读取指针是否尚未达到输入数据片段结尾之前的预定阈值；并且将新任务分配（10004）给空闲的工人节点，新任务被归于由在尚未达到输入数据片段结尾之前预定阈值的所述任务尚未处理的输入数据片段的、称为分割部分的部分，所述分割部分是位于所述当前读取指针位置之后的所述输入数据片段的一部分。