发明名称 |
一种数据合并的方法和装置 |
摘要 |
本发明公开了一种数据合并的方法和装置,涉及计算机技术领域。所述方法包括:获取每个存储表的平均数据长度,并以所述平均数据长度对各个存储表进行分类;所述平均数据长度为存储表中存储的各用户数据的平均数据长度;将同一分类的存储表对应的合并任务提交至负责所述分类的工作队列中;由所述工作队列的工作线程执行所述合并任务。本发明解决了平均数据长度短keyspace的sstable文件的合并阻塞整个各keyspace之间的compaction过程的问题,取得了可使不同数据长度的keyspace均可以及时的完成其SStable的合并,缩短系统整体compaction的时间有益效果。 |
申请公布号 |
CN104360824A |
申请公布日期 |
2015.02.18 |
申请号 |
CN201410645460.X |
申请日期 |
2014.11.10 |
申请人 |
北京奇虎科技有限公司;奇智软件(北京)有限公司 |
发明人 |
王锋 |
分类号 |
G06F3/06(2006.01)I |
主分类号 |
G06F3/06(2006.01)I |
代理机构 |
北京润泽恒知识产权代理有限公司 11319 |
代理人 |
苏培华 |
主权项 |
一种数据合并的方法,包括:获取每个存储表的平均数据长度,并以所述平均数据长度对各个存储表进行分类;所述平均数据长度为存储表中存储的各用户数据的平均数据长度;将同一分类的存储表对应的合并任务提交至负责所述分类的工作队列中;由所述工作队列的工作线程执行所述合并任务。 |
地址 |
100088 北京市西城区新街口外大街28号D座112室(德胜园区) |