发明名称 |
一种基于hive的历史数据存档与查询方法 |
摘要 |
本发明提出一种基于hive的历史数据存档与查询方法,首先建立hive表,然后使用ETL工具导出源数据并验证,通过验证后将源数据导入hive表,以及基于Thrift接口从hive表中查询历史数据。本发明提出的所述方法能够向其它软件提供接口,并完成定制化历史数据导入和数据查询的功能。 |
申请公布号 |
CN104102701A |
申请公布日期 |
2014.10.15 |
申请号 |
CN201410321111.2 |
申请日期 |
2014.07.07 |
申请人 |
浪潮(北京)电子信息产业有限公司 |
发明人 |
卢军佐;曹连超;辛国茂;亓开元;赵仁明;房体盈 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京安信方达知识产权代理有限公司 11262 |
代理人 |
王丹;李丹 |
主权项 |
一种基于hive的历史数据存档与查询方法,其特征在于,包括:1)建立hive表,并在hive表中建立分区;2)使用ETL工具从其它数据库中导出源数据,将源数据作为文件中的记录保存在文件中,即从其他数据库中导出的一条源数据对应于文件中的一条记录;3)对文件中的记录进行验证;4)通过验证后,将文件中的记录导入临时表,再将临时表中的数据插入有分区结构的hive表;5)基于Thrift接口从hive表中查询历史数据。 |
地址 |
100085 北京市海淀区上地信息路2号2-1号C栋1层 |