发明名称 |
一种基于HBase数据库的海量数据快速导入方法 |
摘要 |
提出一种基于HBase的海量数据快速导入方法,基于HBase数据库中表的格式,对数据源中的数据进行拆分;基于数据源中数据量的大小和HBase数据库中行键的设计,在建立所述表的时候进行预分区;设置HBase数据库的预写日志系统,关闭自动提交功能,设置缓存大小;启用多线程,将所述数据导入HBase数据库的表中。所述方法不需要对数据源进行预处理,方便操作,提高了效率。 |
申请公布号 |
CN104516985A |
申请公布日期 |
2015.04.15 |
申请号 |
CN201510020951.X |
申请日期 |
2015.01.15 |
申请人 |
浪潮(北京)电子信息产业有限公司 |
发明人 |
范荣盛;辛国茂;赵仁明;金洪殿 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京安信方达知识产权代理有限公司 11262 |
代理人 |
王康;李丹 |
主权项 |
一种基于HBase的海量数据快速导入方法,包括:S1.基于HBase数据库中表的格式,对数据源中的数据进行拆分;S2.基于数据源中数据量的大小和HBase数据库中行键的设计,在建立所述表的时候进行预分区;S3.设置HBase数据库的预写日志系统,关闭自动提交功能,设置缓存大小;S4.启用多线程,将所述数据导入HBase数据库的表中,流程结束。 |
地址 |
100085 北京市海淀区上地信息路2号2-1号C栋1层 |