一种提高存储系统间海量文件同步速度的方法

摘要

本发明提供一种提高存储系统间海量文件同步速度的方法，涉及计算机存储领域，该方法涉及如下几个主要步骤：比较源端和目的端对应文件的大小和修改时间；目的端文件分块，计算校验和。该步骤首先对目的端的文件进行分块，之后对每个块分别计算校验和；将目的端文件的校验和列表传输到同步源；在源端进行文件的数据块比对；将步骤4中得到的结果数组传输到目的端；目的端根据从源端接收到的结果数组，重新生成文件。本发明能够有效的提高的存储系统中的海量文件的同步速度，提升网络利用率。

主权项

一种提高存储系统间海量文件同步速度的方法，其特征在于该方法涉及如下几个主要步骤：1）、比较源端和目的端对应文件的大小和修改时间；如果源端文件和目的端文件的大小和修改时间中有一项不同，则启动一个线程，在新线程中开始执行步骤2;之后重复步骤1，比较下一个文件的大小和修改时间；2）、目的端文件分块，计算校验和；该步骤首先对目的端的文件进行分块，之后对每个块分别计算校验和；3）、将目的端文件的校验和列表传输到同步源；校验和列表中包括数据块的编号和校验和；4）、在源端进行文件的数据块比对;在同步的源端，计算文件中的第一个数据块的校验和，并在从目的端得到的校验和列表中，查找该校验和是否存在；如果存在，则将该校验和对应的目的端文件数据块编号记录到结果数组中的对应位置，并将数据块窗口向后移动一个数据块的长度；如果不存在，则将该数据块的第一个字节保存到结果数组的对应位置，并将数据块窗口向后移动一个字节;重复以上过程，直至整个文件比对完毕；5）、将步骤4中得到的结果数组传输到目的端；6）、目的端根据从源端接收到的结果数组，重新生成文件。