用于大规模数据存储的高效的基于列的数据编码

摘要

本发明涉及基于列的数据编码，其中要压缩的原始数据按照列来组织，然后，作为数据大小的第一层和第二层缩减，向按列组织的数据应用字典编码和/或值编码，来创建对应于各列的整数序列。接着，混合贪婪行程长度编码和位打包压缩算法根据位节省分析来进一步压缩数据。混合数据缩减技术与基于列的组织相呼应的协同作用，加上归功于紧凑数据的表示的扫描和查询效率，以常规系统的一小部分成本得到了显著改进的数据压缩。

主权项

一种用于编码数据的方法，包括：根据对应于所述数据的不同数据字段的一组基于列的值序列来组织210所述数据；根据至少一个编码算法将所述一组基于列的值序列变换220成一组基于列的整数值序列；以及根据至少一个压缩算法压缩230所述一组基于列的整数序列。