发明名称 |
数据处理方法和流计算系统 |
摘要 |
本申请提出一种数据处理方法和流计算系统,该数据处理方法包括数据接收模块接收到要处理的数据后,将所述数据写入文件系统中,并在所述数据被写入文件系统后,发送所述数据给逻辑处理模块;逻辑处理模块根据对数据的接收情况获取有效数据,并且,定期对预设的检查点进行更新;以及,在发生失效转移时,确定最新的检查点,获取与所述最新的检查点对应的有效数据,并恢复所述有效数据。该方法能够满足对外服务化的诉求,以及在发生失效转移时避免数据源头重发。 |
申请公布号 |
CN106294357A |
申请公布日期 |
2017.01.04 |
申请号 |
CN201510246697.5 |
申请日期 |
2015.05.14 |
申请人 |
阿里巴巴集团控股有限公司 |
发明人 |
李妹芳;魏蒲萌;段培乐;李闪 |
分类号 |
G06F17/30(2006.01)I;G06F21/53(2013.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京清亦华知识产权代理事务所(普通合伙) 11201 |
代理人 |
张大威 |
主权项 |
一种数据处理方法,其特征在于,包括:数据接收模块接收到要处理的数据后,将所述数据写入文件系统中,并在所述数据被写入文件系统后,发送所述数据给逻辑处理模块;逻辑处理模块根据对数据的接收情况获取有效数据,并且,定期对预设的检查点进行更新;以及,在发生失效转移时,确定最新的检查点,获取与所述最新的检查点对应的有效数据,并恢复所述有效数据。 |
地址 |
英属开曼群岛大开曼资本大厦一座四层847号邮箱 |