一种重复数据处理技术

摘要

本发明公开了一种重复数据处理技术，包括两种方法分别为：静态的切分文件和动态的切分文件，所述静态的切分文件是将文件按照固定大小来切分，所述动态的切分文件包括以下步骤：首先按照一定的算法来查找数据块的边界位置；然后解决数据指纹；接着用数据指纹来判断两个数据块是否相同；将相同数据块存储一份，并存储相同数据块的索引值，以便恢复时所用。采用本发明技术方案，可以减少数据对存储容量的需求，同时在深入研究容灾备份中存储容量优化技术的基础上，对重复数据删除技术进行了一定的技术改进，实现了高质量的存储。

主权项

一种重复数据处理技术，其特征在于，包括两种方法分别为：静态的切分文件和动态的切分文件，所述静态的切分文件是将文件按照固定大小来切分，所述动态的切分文件包括以下步骤：步骤1）按照一定的算法来查找数据块的边界位置；步骤2）解决数据指纹，即将文件切割成多个小模块后，需要给每个小数据块计算出数据指纹；步骤3）用数据指纹来判断两个数据块是否相同；在查找数据块，由于数据块数量众多，采用基于函数形式的HASH查找方法，可以有效缩短查找时间； 步骤4）将相同数据块存储一份，并存储相同数据块的索引值，以便恢复时所用。