发明名称 |
一种基于远程日志备份的HBase数据可用性及持久性的方法 |
摘要 |
本发明公开了一种基于远程日志备份的HBase数据可用性及持久性的方法,HBase的数据节点写入时,首先通过分布式系统封装日志记录,并通过网络把日志备份到预先指定的远程节点,保证数据的可用性和持久性,并以此为基础,把大量用户数据和日志记录暂存在内存中,减少数据处理过程中的数据持久化进程;当HBase的数据节点处于空闲的时候,主动把内存中的数据持久化到文件系统,减轻内存存储压力,减少写操作过程中发生持久化进程的频率,提高数据写入的时间性能。这种基于远程日志备份的HBase数据可用性及持久性的方法保证了数据的可用性、持久性,大大提高数据写入速度、提高系统性能。 |
申请公布号 |
CN103870570A |
申请公布日期 |
2014.06.18 |
申请号 |
CN201410095611.9 |
申请日期 |
2014.03.14 |
申请人 |
广州携智信息科技有限公司 |
发明人 |
杨峰;陈宁昕;孙晓燕;周学海;唐长城;谢飞;赵伟;李政 |
分类号 |
G06F17/30(2006.01)I;G06F11/14(2006.01)I;G06F11/34(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
广州圣理华知识产权代理有限公司 44302 |
代理人 |
陈业胜;张春耀 |
主权项 |
一种基于远程日志备份的HBase数据可用性及持久性的方法,其特征在于:HBase的数据节点写入时,首先把数据暂存在内存中,通过分布式系统封装日志记录,并通过网络把日志备份到预先指定的远程节点;当HBase的数据节点处于空闲状态时,主动把内存中暂存的中的数据持久化到文件系统。 |
地址 |
510000 广东省广州市天河区黄埔大道西路33号23楼BCD1房 |