一种面向重复数据删除技术的指纹预取方法及系统

摘要

本发明公开了一种面向重复数据删除技术的指纹预取方法及系统，方法包括：首先利用文件的相似性特点，将相似文件的所有指纹一次性预取到cache中，提高cache的命中率。如果未检测到系统中的相似文件，则根据指纹的空间局部性，从指纹库中最近访问的位置将后续可能访问到的指纹一次性预取到cache中。由于文件的相似性是通过数据块采样判定的，在很大的概率上保证两个文件大部分数据块是相同。这种方法的指纹预取比局部性能更好的保证cache的命中率。同时，经过指纹顺序排列模块的指纹有了空间局部性，利用局部性特点继续预取指纹也可以提高cache命中率。这样，从两个层次上基本可以保证绝大部分的cache命中率，极大的减少磁盘I/O带来的开销。

主权项

一种面向重复数据删除技术的指纹预取方法，其特征在于，包括下述步骤：(1)、对于备份文件，利用一个固定大小的滑动窗口，计算窗口内的Rabin指纹，抽取样本数据块，并根据每个样本数据块的内容计算出一个指纹，将所有样本数据块的指纹顺序合并成一个长字符串，成为该文件的特征指纹，代表着该文件；将指纹按照数据流的顺序而顺序的存储在磁盘上；(2)、根据步骤(1)中计算得到文件的特征指纹到系统中检索，如果检索到系统中存在相似文件，则记录该文件的指纹在指纹库中的起始位置，并执行步骤(3)操作，如果系统中不存在相似文件则执行步骤(4)操作；(3)、找到该文件的指纹在指纹库中的起始位置和结束位置，将文件的数据块指纹读取到cache中，执行步骤(5)操作；(4)、从最近一次指纹库中的访问位置开始，预取一定量指纹到cache中；(5)、采用固定分块、基于内容的分块或者滑动分块其中一种分块算法对当前文件进行切块；(6)、得到切分好的数据块，根据数据块内容使用hash函数计算该数据块的指纹，并将计算得到的指纹在指纹库进行检索，如果检索匹配成功，则执行步骤(8)操作，否则执行步骤(7)操作；(7)、将当前指纹加入指纹库，分配数据块ID，并将数据块内容写入磁盘；(8)、写入数据块的ID信息，并更新相关元数据信息。