一种采用双指纹哈希校验的重复数据删除方法

摘要

本发明提出了一种采用双指纹哈希校验的重复数据删除方法，包括将待备份对象划分成等长的待备份数据块；判断其中一个待备份数据块的弱指纹与服务器中任意一个数据块的弱指纹是否相同，若不同，则对该数据块进行备份；若相同，则判断该数据块的强指纹与服务器中任意一个数据块的强指纹是否相同，若不同，则对该数据块进行备份；对所有待备份数据块均进行上述操作。本发明所述的重复数据删除方法首先采用计算量低的哈希函数对每个数据块进行弱校验，再采用计算量大的哈希函数进行强校验，从而避免全部数据都采用计算量大的哈希函数来校验，大大降低了校验过程中的指纹计算量，提升系列性能，为基于海量数据存储的数据备份提供可观的传输性能。

主权项

一种采用双指纹哈希校验的重复数据删除方法，包括以下步骤：(1)将待备份对象划分成等长的待备份数据块；(2)选取一个待备份数据块；(3)判断该待备份数据块的弱指纹与服务器中任意一个数据块的弱指纹是否相同，若相同，则进入步骤（4）；若不同，则对该数据块进行备份，转入步骤（5）； (4)判断该待备份数据块的强指纹与服务器中任意一个数据块的强指纹是否相同，若相同，则进入步骤（5）；若不同，则对该数据块进行备份，进入步骤（5）； (5)重复步骤（2）到（4），遍历步骤（1）中划分的所有待备份数据块。