一种基于指纹的数据备份系统

摘要

一种基于指纹的数据备份系统，属于计算机存储备份技术领域，目的在于降低数据备份的管理、存储以及网络开销，提高备份性能。本发明包括备份服务器、备份代理、存储服务器和Web服务器，它们通过网络相互通信完成数据备份与恢复；本发明采用基于锚的文件分块技术识别备份文件的冗余数据，具有修改稳定性，计算开销小；数据分块以其指纹为索引存储在存储服务器的磁盘阵列上，消除了冗余数据的备份，节省磁盘存储空间；数据分块一旦存储就不再擦除，可以连续追加在磁盘上，消除了磁盘存储碎片；采用有效的备份缓冲策略，减少了备份的网络开销，提高了数据备份速度，降低了备份对应用服务器的影响。

主权项

1.一种基于指纹的数据备份系统，包括备份服务器、备份代理、存储服务器和Web服务器，它们通过网络相互通信完成数据备份与恢复，其特征在于：所述备份服务器装有配置文件和目录数据库，备份服务器的配置文件中记录用户定义的作业对象，作业对象包含指定系统操作作业运行的属性，备份服务器通过作业对象控制着整个数据备份和恢复的过程；目录数据库存储作业记录，作业记录保存作业对象运行的管理信息；所述备份代理安装于网络中每一个需要备份数据的主机上，备份时由备份代理从所在主机的文件系统中读取需要备份的文件，对文件进行基于锚的分块并计算分块的指纹，把指纹和部分需要的分块数据通过网络送往存储服务器；恢复时备份代理通过网络从存储服务器接收文件数据并写到所在主机的文件系统中指定的目录下；备份代理对文件进行基于锚的分块步骤为：(1)以文件的开头48字节b1，b2，...，b48为一个窗口，以式H1＝(b1*p47+b2*p46+...+b48)mod M计算文件的第一个窗口的哈希值；式中p为17，M为232，哈希值存储在变量H1中；(2)向后滑动一个字节，以式H2＝(p*H1+b49-b1*p48)mod M计算文件第二个窗口b2，b3，...，b49的哈希值，存储在变量H2中；(3)以此类推，计算文件的所有窗口的哈希值；(4)对每个窗口的哈希值，取其低13位组成一个二进制数，如果此数等于61，则确定其相应的窗口为一个锚，以锚为边界把文件分成大小不一的数据块；上述基于锚的文件分块遵守如下三个约定：a)如果文件小于48字节，则退出基于锚的文件分块算法，整个文件为一个数据块；b)如果在某一段字节流中包含过多的锚，则舍弃一些锚使得最小的分块不小于2KB，文件末尾的一个分块是唯一的可能小于2KB的分块；c)如果在连续64KB的字节流中都没有锚，则取此64KB为一个分块；所述存储服务器安装有大容量磁盘阵列，大容量磁盘阵列是数据备份的目的地，备份时通过网络从相应的备份代理接收指纹或数据分块，把数据分块存储到磁盘上，并建立文件的索引；恢复时则从大容量磁盘阵列根据文件索引重构文件，并把文件数据通过网络送到相应的备份代理；所述Web服务器是本系统的B-S模式网页用户管理界面，通过登录Web服务器，用户既可以指定系统完成交互式的备份或恢复作业、监视系统自动调度型作业的运行情况，还可以修改备份服务器的配置文件、定制作业对象，进行设备管理。