一种全局重复数据删除的方法和系统及存储装置

摘要

一种全局重复数据删除的方法和系统及存储装置，该方法包括如下步骤：1.1初始化；1.2接收层将数据流分成多个写入数据段，为每个写入数据段计算写入数据段指纹值，并查找与之对应的管理节点，将其发送给管理节点；1.3管理节点判断收到的写入数据段指纹值是否已经在指纹值索引结构中存在，存在则由接收层直接将该写入数据段写入存储设备或者存储介质中，并进行指纹值索引结构的更新；不存在则直接进行更新。系统用来实现上述方法。存储装置包括存储介质和存储控制器，存储控制器包括上述全局重复数据删除的系统。本发明只需要传输数据段的指纹值，不要求传输全部数据段，并通过建立指纹值索引结构和划分指纹值管理范围，大大提升了指纹值交互操作性能。

主权项

一种全局重复数据删除的方法，其特征在于，包括如下步骤：1.1 将管理层划分成若干个管理节点，为每一个管理节点划分可接收指纹值的范围，并将存储设备或者存储介质上所有已存储数据段的指纹值按照上述范围与相应的管理节点建立唯一的映射关系；每一个管理节点为与其有映射关系的指纹值建立指纹值索引结构，并将所述指纹值索引结构写入存储设备或者存储介质中；1.2 接收层对接收到的数据流进行分段，得到多个写入数据段，为每个写入数据段计算写入数据段指纹值，并查找该写入数据段指纹值所对应的管理节点，将该写入数据段指纹值发送给所对应的管理节点；1.3 管理节点判断收到的写入数据段指纹值是否已经在指纹值索引结构中存在，如果不存在，则由接收层直接将该写入数据段写入存储设备或者存储介质中，并进行指纹值索引结构的更新；如果已存在，则直接进行指纹值索引结构的更新。