发明名称 |
容错的批量处理 |
摘要 |
处理批量的输入数据包括:读取包括数个记录的批量,并且使所述批量经过数据流程图。至少一个但少于全部的图组成部分包括检查点处理,用于针对与一个或更多个记录相关联的数个工作单元中的每一个执行的动作;检查点处理包括:在处理开始时,打开检查点缓存。如果由于对工作单元执行所述动作所产生的结果在之前被保存在检查点缓存中,则使用所保存的结果完成工作单元的处理而不再次执行所述动作。如果由于对工作单元执行所述动作所产生的结果未被保存在检查点缓存中,则执行所述动作以完成工作单元的处理并且将由于执行所述动作所产生的结果保存在检查点缓存中。 |
申请公布号 |
CN102473122B |
申请公布日期 |
2016.01.20 |
申请号 |
CN201080031812.2 |
申请日期 |
2010.07.13 |
申请人 |
起元技术有限责任公司 |
发明人 |
B.P.多罗斯;M.D.阿特布里;T.瓦克林 |
分类号 |
G06F11/00(2006.01)I |
主分类号 |
G06F11/00(2006.01)I |
代理机构 |
北京林达刘知识产权代理事务所(普通合伙) 11277 |
代理人 |
刘新宇 |
主权项 |
一种用于以容错方式处理批量输入数据的方法,该方法包括:从一个或更多个数据源读取包括多个记录的批量输入数据;以及使所述批量输入数据经过包括由链路连接的代表组成部分的两个或更多个节点的数据流程图,所述链路代表各组成部分之间的数据的流,其中,所述组成部分中的至少一个但少于全部包括检查点处理,所述检查点处理用于针对与一个或更多个记录相关联的数个工作单元中的每一个执行的动作;其中,所述检查点处理包括:在针对批量输入数据的处理开始时,打开非易失性存储器中存储的检查点缓存;以及对于来自所述批量输入数据的每个工作单元,检查由于对工作单元执行所述动作所产生的结果是否在之前被保存在检查点缓存中;以及对于来自所述批量输入数据的每个工作单元,如果由于对工作单元执行所述动作所产生的结果在之前被保存在检查点缓存中,则使用所保存的结果完成工作单元的处理而不再次执行所述动作,或者如果由于对工作单元执行所述动作所产生的结果未被保存在检查点缓存中,则执行所述动作以完成工作单元的处理并且将由于执行所述动作所产生的结果保存在检查点缓存中。 |
地址 |
美国马萨诸塞州 |