发明名称 一种基于HBase数据库的海量数据快速导入方法
摘要 提出一种基于HBase的海量数据快速导入方法,基于HBase数据库中表的格式,对数据源中的数据进行拆分;基于数据源中数据量的大小和HBase数据库中行键的设计,在建立所述表的时候进行预分区;设置HBase数据库的预写日志系统,关闭自动提交功能,设置缓存大小;启用多线程,将所述数据导入HBase数据库的表中。所述方法不需要对数据源进行预处理,方便操作,提高了效率。
申请公布号 CN104516985A 申请公布日期 2015.04.15
申请号 CN201510020951.X 申请日期 2015.01.15
申请人 浪潮(北京)电子信息产业有限公司 发明人 范荣盛;辛国茂;赵仁明;金洪殿
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 北京安信方达知识产权代理有限公司 11262 代理人 王康;李丹
主权项 一种基于HBase的海量数据快速导入方法,包括:S1.基于HBase数据库中表的格式,对数据源中的数据进行拆分;S2.基于数据源中数据量的大小和HBase数据库中行键的设计,在建立所述表的时候进行预分区;S3.设置HBase数据库的预写日志系统,关闭自动提交功能,设置缓存大小;S4.启用多线程,将所述数据导入HBase数据库的表中,流程结束。
地址 100085 北京市海淀区上地信息路2号2-1号C栋1层