一种数据库表Hive Table的数据加载方法和装置

摘要

本申请实施例提供了一种数据库表Hive Table的数据加载方法，包括：获取需要加载到数据库表Hive Table的待加载数据；确定所述待加载数据中的目标数据；采用预设的多个压缩算法对所述目标数据进行压缩处理；依据所述目标数据经过各个压缩算法的压缩处理后的压缩结果选取最优的压缩算法；采用所述最优的压缩算法对目标数据之外的其余数据进行压缩；将压缩后的待加载数据加载到数据库表Hive Table中。本申请实施例通过采用符合Hive表数据列值的分布情况的压缩算法，结合自适应决策为待加载数据选择适合其分布特征的压缩算法进行压缩，获得更高的数据压缩，节省更多的存储空间，减少磁盘数据传输量IO，提高Hive查询效率。

主权项

一种数据库表Hive Table的数据加载方法，其特征在于，所述的方法包括：获取需要加载到数据库表Hive Table的待加载数据；确定所述待加载数据中的目标数据；采用预设的多个压缩算法对所述目标数据进行压缩处理；依据所述目标数据经过各个压缩算法的压缩处理后的压缩结果选取最优的压缩算法；采用所述最优的压缩算法对目标数据之外的其余数据进行压缩；将压缩后的待加载数据加载到数据库表Hive Table中。