重复数据删除系统及其删除方法

摘要

重复数据删除系统及其删除方法，为分布式架构，主要由客户端、管理服务器和存储节点服务器组成；客户端主要用于接收用户保存文件/还原文件请求、切分文件/组合文件；管理服务器的主要功能有指纹值比对、维护指纹库、纠删码编码和数据压缩；存储节点服务器主要负责存储压缩后的数据块；客户端与管理服务器端、管理服务器与存储节点服务器端均通过局域网相连。用户通过客户端保存和还原文件。本发明对切分数据块进行纠删码编码和数据压缩，将压缩后的数据块分散存储到不同的存储节点服务器，一旦部分存储节点发生故障，可利用剩余存储节点中保存的数据进行文件还原，不仅提高了重复数据删除系统的可靠性，而且减少了存储空间的浪费。

主权项

重复数据删除系统，其特征在于：为分布式架构，主要由客户端、管理服务器和存储节点服务器组成；客户端主要用于接收用户保存文件/还原文件请求、切分文件/组合文件；管理服务器的主要功能有指纹值比对、维护指纹库、纠删码编码和数据压缩；存储节点服务器主要负责存储压缩后的数据块；客户端与管理服务器端、管理服务器与存储节点服务器端均通过局域网相连；其中，管理服务器主要由指纹库、文件索引库和压缩数据块索引库三部分组成；指纹库用来记录系统中所有数据块的指纹值，其结构由FingerPrint、ReferenceCount组成，其中FingerPrint为指纹值，ReferenceCount记录此指纹值的数据块被共享的次数，初始值为1；文件索引库记录组成文件的数据块指纹值，以及数据块的顺序；压缩数据块索引库用来记录每个压缩数据块的信息，其结构由Datablock Name、IpAddress、SavePath、DataBlockLength、FingerPrint、ReferenceCount组成；其中Datablock Name表示数据块名称，IpAddress表示保存数据块服务器的IP地址，SavePath表示保存数据块的目录，DataBlockLength表示数据块的长度，FingerPrint为数据块的指纹值，ReferenceCount记录此数据块被共享的次数，初始值为1，其与指纹库中相同指纹值的ReferenceCount字段值相等。