一种键-值存储系统中数据文件的合并压缩方法及装置

摘要

本发明公开一种键‑值存储系统中数据文件的合并压缩方法及装置，属于计算机技术领域。所述方法包括：将数据节点的所有数据文件划分为若干个数据层级进行存储，其中，新增的数据文件存储在最低的数据层级；按照预定的合并周期对各数据层级中的数据文件进行合并压缩，并将合并压缩生成的数据文件从当前数据层级搬移到上一层数据层级，其中，所述合并压缩为消除各数据文件中的重复数据块。根据本发明，能够在保证重复数据块消重效果、提高存储空间利用率的基础上，降低对磁盘I／O资源的占用率。

主权项

一种键‑值存储系统中数据文件的合并压缩方法，包括：将数据节点的所有数据文件划分为若干个数据层级进行存储，其中，新增的数据文件存储在最低的数据层级；按照预定的合并周期对各数据层级中的数据文件进行合并压缩，并将合并压缩生成的数据文件从当前数据层级搬移到上一层数据层级，其中，所述合并压缩为消除各数据文件中的重复数据块，每个数据层级对应一个相同或不同的合并周期；还包括：对于除了最低的数据层级之外的其他所有数据层级，将各数据层级的存储空间划分为若干个存储范围；所述将合并压缩生成的数据文件从当前数据层级搬移到上一层数据层级为：将合并压缩生成的数据文件存储到上一层数据层级中与该数据文件对应的存储范围中，其中，当合并压缩生成的数据文件跨两个或多个存储范围时，将合并压缩生成的数据文件分割成两个或多个数据文件，并分别存储到对应的存储范围中。