重复数据删除的处理系统

摘要

一种重复数据删除的处理系统，处理系统包括：客户端与服务端。将每一数据区块的特征值与客户端所储存的特征值进行比对，若客户端中已存在相同的特征值，删除进行比对的特征值相应的数据区块；服务端数据管理模块通过网络连接于客户端数据管理模块。若特征值不存在于服务端中则向客户端获取相应的数据区块，将新的数据区块与特征值储存于服务端中；文件管理模块将数据区块位在服务端的储存地址记录至索引文件中，如此一来，不需由服务端完全执行各客户端的重复数据删除的处理，进而降低频宽的占用与提高服务端的处理效率。

主权项

一种重复数据删除的处理系统，将一输入文件通过一服务端与一客户端进行重复数据删除的处理，其特征在于，该重复数据删除的处理系统包括：一客户端数据管理模块，于每一该客户端中设置该客户端数据管理模块，该客户端数据管理模块接收该输入文件，该客户端数据管理模块还包括：一数据切块模块、一指纹特征模块、一特征值查找模块，该数据切块模块用以将该输入文件进行一数据切分程序，并产生至少一数据区块；该指纹特征模块对该些数据区块进行一特征处理程序，并产生相应的一特征值；该特征值查找模块将每一该数据区块的该特征值与该客户端所储存的该些特征值进行比对，若该客户端中已存在相同的该特征值，则删除进行比对的该特征值相应的该数据区块，若该客户端中不存在相同的该特征值，则该客户端向该服务端发送一查询请求；以及一服务端数据管理模块，通过网络连接于该客户端数据管理模块，该服务端数据管理模块还包括：一特征储存模块、一文件管理模块、一数据储存模块，该特征储存模块根据该查询请求判断该特征值是否已经记录于该服务端中，若该特征值不存在于该服务端中则向该客户端获取相应的该数据区块，并将新的该数据区块与该特征值储存于该服务端中；该文件管理模块用以将每一该输入文件的该些数据区块在该服务端的一储存地址记录至一索引文件中；该数据储存模块用以储存该些数据区块与该输入文件的一元数据。