云存储系统中可变分块大小的块数据分块方法

摘要

本发明公开了一种在云存储系统中采用动态自适应的方法对存储文件进行分块存储的方法，主要解决现有技术中因使用固定分块大小而引起的空间利用率低和磁盘碎片问题。其实现方案是：云存储系统先制定一个分组因子向量，当需要存储文件时，先得到该文件的大小和热度标志，当该文件大小小于最小分组因子时，用该文件最终的大小；若热度标志是1，则对该文件进行复制存储，反之，则直接将该文件存储到单个节点上；当文件大小大于最小分组因子时，通过将文件大小与分组因子进行比较，得到最优分块大小。本发明比固定分块方法具有更好的文件均匀度，同时相对于固定分块能更好的解决由于热点文件引起的负载均衡问题，特别适合于云存储系统。

主权项

一种云存储系统中可变分块大小的块数据分块方法，包括如下步骤：(1)由云存储系统确定n个分块大小的标准di，i＝1，2...，n，并将这些标准按照从小到大的顺序排列，得到分块因子向量：D＝{d1，d2，...，dn}；(2)对于要存储到云存储系统中的文件，由云存储系统先得到该文件的大小size，及热度标志位flag，再将该文件大小size与分块因子向量D中的最小因子d1进行比较，若文件大小size小于d1，则不需要进行分块，执行步骤(3)，反之执行步骤(4)；(3)判断文件热度标志flag是否为1，若为1，则对该文件进行复制，并将复制的文件存储在多个存储节点，结束分块；若flag不为1，则直接将该文件存储在单个存储节点上，结束分块；(4)设分组因子向量D中的di＝dn，i＝1，2，...，n，即从最大的分组因子dn开始作为分块的判定标准，执行步骤(5)；(5)将分组因子di与文件的大小size进行比较，若size％di＜di/2，则分块的大小为di，即di为最终确定的最合适的分块大小，结束分块；若size％di＞di/2，则执行步骤(6)；(6)令i＝i‑1；执行步骤(5)。