一种基于Hbase的海量数据导入方法及装置

摘要

本发明提供了一种基于Hbase的海量数据导入方法及装置，该方法包括：生成数据导入工具，并在所述数据导入工具中实现行健的至少一种自由组合设计；利用所述数据导入工具确定待导入的目标源数据；针对每一种行健的自由组合设计，通过编排相应的任务完成对所述目标源数据的处理工作；针对处理后的输出结果，通过调用Hbase中相应的导入函数，将所述目标源数据导入到Hbase中。本发明通过生成的数据导入工具实现主键的自由组合设计，通过将主键的每一种组合设计作为数据处理的输入端，最终将数据导入到Hbase中。因此，即使查询的数据信息很大，但根据主键的组合设计在Hbase中可搜索到所有相关信息，从而能够实现增加数据查询的准确性功能。

主权项

一种基于Hbase的海量数据导入方法，其特征在于，该方法包括：生成数据导入工具，并在所述数据导入工具中实现行健的至少一种自由组合设计；利用所述数据导入工具确定待导入的目标源数据；针对每一种行健的自由组合设计，通过编排相应的任务完成对所述目标源数据的处理工作；针对处理后的输出结果，通过调用Hbase中相应的导入函数，将所述目标源数据导入到Hbase中。