数据冗余处理方法、装置和分布式存储系统

摘要

本发明提供了一种数据冗余处理方法、装置和分布式存储系统。所述装置包括数据分段模块、冗余数据生成模块和存储模块。所述方法为将写入数据进行等长切分，不足长度用二进制0填充，对切分的每个片段再等长切分为4个数据块，通过冗余算法计算出4个冗余数据块，将每个片段的8个数据块存储到至少4个存储节点上。所述分布式存储系统利用所述装置或方法存储数据，并包括4个以上的存储节点。当一个片段的8个数据块中部分数据出现损坏时，可利用剩余数据块对损坏的数据进行恢复。本发明提高了存储空间的利用率，降低了存储节点的负载，节省了数据访问时间，且支持多种类型的冗余备份方式，灵活性较高。

主权项

一种数据冗余处理方法，其特征在于，具体实现方案为：首先，将写入数据以固定长度L进行切分，得到K个片段数据，当最后一个片段的长度小于L时，以二进制值00000000进行填充，L为4N个字节，K为不小于1的自然数，N为正整数；然后，将每个片段数据等分成4个数据块，由4个数据块计算出4个冗余数据块；最后，对每个片段数据，将对应的4个数据块和4个冗余数据块存储到至少4个存储节点上，每个存储节点包含每个片段数据的至多2个数据块。