基于HBase的高效存储方法及系统

摘要

本发明公开了一种基于HBase的高效存储方法及系统，涉及大数据领域，该方法包括以下步骤：输入一行待存储到目标表的用户数据；判断内存中是否有目标表的字节组合编码的初始化信息，如果没有，则访问元数据库，对目标表的字节组合编码进行初始化，将初始化信息写入内存；如果有，解析出主键列值，进行字节编码并组合，形成1个字节序列，作为键值对存储格式的行键值；根据初始化信息解析出非主键列值，进行字节编码并组合，形成1个字节序列，作为键值对存储格式的值字段内容；将行键值字节序列和值字段字节序列组装成键值对，完成HBase写入。本发明能节省HBase的存储空间，提高HBase的吞吐性能。

主权项

一种基于HBase的高效存储方法，其特征在于，包括以下步骤：步骤101、输入一行待存储到目标表的用户数据；步骤102、判断内存中是否有目标表的字节组合编码的初始化信息，如果没有，则转到步骤103；如果有，则转到步骤104；步骤103、访问元数据库，对目标表的字节组合编码进行初始化，并将初始化信息写入内存中，返回步骤102；步骤104、根据内存中目标表行键字节组合编码的初始化信息，从待存用户数据中解析出主键列值作为字节组合编码对象，逐一进行字节编码并组合，形成1个字节序列，作为键值对存储格式的行键值，转到步骤105；步骤105、根据内存中目标表值字段字节组合编码的初始化信息，从待存用户数据中解析出非主键列值作为字节组合编码对象，逐一进行字节编码并组合，形成1个字节序列，作为键值对存储格式的值字段内容，转到步骤106；步骤106、存储HBase：将步骤104得到的行键值字节序列和步骤105得到的值字段字节序列，组装成键值对，并调用HBase客户端应用编程接口的数据插入方式完成HBase写入。