基于Bigtable分布式存储系统的数据压缩方法

摘要

本发明公开了一种基于Bigtable分布式存储系统的数据压缩方法，主要解决现有技术生成的SSTable文件大小不可预测的问题，其实现步骤是：1）系统根据运行情况为每个层级的SSTable文件设置数量阈值；2）检测系统中第L层的SSTable文件数量是否超过阈值，若超过则执行步骤3，否则，继续检测；3）从第L层中轮流选择待压缩的SSTable文件；4）从第L+1层中找出所有与L层选定的SSTable文件在键值区间上有重叠的文件，并将这两个层级中选出的SSTable文件进行合并压缩。本发明充分利用了SSTable文件的层级结构，加快了数据的读取速度，可用于分布式存储系统中数据的合并和压缩。

主权项

一种基于Bigtable分布式存储系统的数据压缩方法，包括如下步骤：（1）Bigtable分布式存储系统根据其实际运行情况，为每个层级的SSTable文件设置数量阈值；（2）检测Bigtable分布式存储系统中第L层的SSTable文件数量是否超过该层的数量阈值，若超过则执行步骤（3），否则，继续检测；（3）采用轮流的方式从第L层中选择待压缩的SSTable文件：当L>0时，从第L层中任意选择一个SSTable文件；当L=0时，在选定一个SSTable文件之后，找出该层中所有与选定的SSTable文件在关键字区间上有重合的文件；（4）从第L+1层中找出所有与第L层中选定的SSTable文件在键值区间上有重叠的文件，并将找出的SSTable文件与第L层中选定的SSTable文件进行如下合并压缩：4a)将第L层中选定的SSTable文件和第L+1层中找出的SSTable文件进行汇总，并分解成K个能够一次性装入内存的部分；4b)依次将这K个部分读入内存，并利用内部排序算法对每一部分进行排序；4c)采用多路归并排序法将排序后的K个初始有序部分进行归并。