容错的批量处理

摘要

处理批量的输入数据包括：读取包括数个记录的批量，并且使所述批量经过数据流程图。至少一个但少于全部的图组成部分包括检查点处理，用于针对与一个或更多个记录相关联的数个工作单元中的每一个执行的动作；检查点处理包括：在处理开始时，打开检查点缓存。如果由于对工作单元执行所述动作所产生的结果在之前被保存在检查点缓存中，则使用所保存的结果完成工作单元的处理而不再次执行所述动作。如果由于对工作单元执行所述动作所产生的结果未被保存在检查点缓存中，则执行所述动作以完成工作单元的处理并且将由于执行所述动作所产生的结果保存在检查点缓存中。

主权项

一种用于以容错方式处理批量输入数据的方法，该方法包括：从一个或更多个数据源读取包括多个记录的批量输入数据；以及使所述批量经过包括由链路连接的代表组成部分的两个或更多个节点的数据流程图，所述链路代表各组成部分之间的数据的流，其中，至少一个但少于全部的组成部分包括检查点处理，用于针对与一个或更多个记录相关联的数个工作单元中的每一个执行的动作；其中，所述检查点处理包括：在针对批量的处理开始时，打开非易失性存储器中存储的检查点缓存；以及对于来自所述批量的每个工作单元，如果由于对工作单元执行所述动作所产生的结果在之前被保存在检查点缓存中，则使用所保存的结果完成工作单元的处理而不再次执行所述动作，或者如果由于对工作单元执行所述动作所产生的结果未被保存在检查点缓存中，则执行所述动作以完成工作单元的处理并且将由于执行所述动作所产生的结果保存在检查点缓存中。