发明名称 |
海量报表数据并发分布式处理方法 |
摘要 |
一种海量报表数据并发分布式处理方法,包括:获取报表数据;生成报表数据公式集,并对所生成的报表数据公式集按行切分成多个公式集片段,其中每个公式集片段包括多行报表数据公式;将报表数据推送到计算机集群中的每个计算机节点;将对公式集片段的运算分配到计算机集群中的多个计算机节点进行运算处理;保存多个计算机节点运算处理的状态快照;以及当对任一公式集片段的运算中断时,根据状态快照恢复中断前的运算状态,继续执行中断的运算。通过上述技术方案,将报表数据公式集切分成公式集片段,使公式集能够以片段的形式在不同的处理节点进行处理,每个处理节点只处理一部分公式集片段和相对应的报表数据,极大地提高了报表数据的处理效率。 |
申请公布号 |
CN104281636A |
申请公布日期 |
2015.01.14 |
申请号 |
CN201410187511.9 |
申请日期 |
2014.05.05 |
申请人 |
神华集团有限责任公司 |
发明人 |
谭映忠;张克慧;刘新宇;刘畅;关丹凤;王亮;陈璇;郭磊 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京润平知识产权代理有限公司 11283 |
代理人 |
陈潇潇;肖冰滨 |
主权项 |
一种海量报表数据并发分布式处理方法,其特征在于,该方法包括:获取报表数据;生成报表数据公式集,并对所生成的报表数据公式集按行切分成多个公式集片段,其中每个公式集片段包括多行报表数据公式;以及将所述报表数据推送到计算机集群中的每个计算机节点;将对公式集片段的运算分配到所述计算机集群中的多个计算机节点进行运算处理;保存所述多个计算机节点运算处理的状态快照;以及当对任一公式集片段的运算中断时,根据所述状态快照恢复中断前的运算状态,以及继续执行中断的运算。 |
地址 |
100011 北京市东城区安外西滨河路22号神华大厦 |