基于分布式存储系统进行数据冗余处理方法

摘要

本发明提供一种基于分布式存储系统进行数据冗余处理方法，所述分布式存储系统包括至少一控制节点的控制服务器和至少两个存储节点的存储服务器，数据至少在两个或两个以上存储节点保存有相同的副本；所述数据冗余处理方法包括不分先后顺序的读取数据的处理和写入数据的处理；其读取数据的处理：读取数据时，系统从保存数据副本的所有存储服务器中随机选取一个存储节点进行读取，若读取失败，自动转向其它存储节点访问别的副本。写入数据的处理：采用文件数据分片技术、同步复制功能及异步更新功能相结合的方式实现数据写入的高可靠。本发明在分布式存储系统上既实现了数据读取的高可靠性，又实现了数据写入的高可靠性。

主权项

一种基于分布式存储系统进行数据冗余处理方法，其特征在于：所述分布式存储系统包括至少一控制节点的控制服务器和至少两个存储节点的存储服务器，至少在两个或两个以上存储节点的存储服务器保存有相同的数据副本；所述数据冗余处理方法包括不分先后顺序的读取数据的处理和写入数据的处理；所述读取数据的处理：当客户端要读取一文件数据时，分布式存储系统从保存有数据副本的所有存储节点中随机选取一存储节点的存储服务器与客户端进行通信，判断客户端从选取的存储服务器中是否成功读取文件数据；否，则转向分布式存储系统的其他任意一保存有数据副本的存储节点的存储服务器再进行访问读取文件数据；是，则提示读取文件数据成功；所述写入数据的处理：当客户端要写入一文件数据时，将所述文件数据按一预设定的切片大小切片后进行写操作；所述写操作为：先将分布式存储系统中的各存储服务器进行分组，所述各组存储节点的存储服务器为包括至少两个存储服务器，选取一组存储节点的存储服务器将文件数据切片后的第一切片数据进行写入，写入成功后，重新选择分布式存储系统的其他一组存储节点的存储服务器进行文件数据的第一切片数据的写入，所有存储服务器第一切片数据均写完后，各组存储服务器进行下一切片数据的写入，如此不断循环将所有的切片数据进行写入；任意一切片数据在写入的过程中，被写入的存储服务器发生故障，则设置当前要写入的切片数据大小为故障前文件数据最后写入的大小位置，并立即从文件数据的该大小位置开始生成新的切片数据，选择新的一组存储节点的存储服务器继续写入该新的切片数据；切片数据采用同步复制方法写入；所述同步复制方法为：保存数据的一组存储节点中的任何一存储节点在接收到写入数据时，先往组内其它存储节点写入数据，最后再写所述一存储节点。