一种基于可擦除编码和链式备份的分布式存储系统

摘要

本发明公开了一种基于可擦除编码和链式备份的分布式存储系统，包括：由多台代理服务器组成的代理服务器集群以及由多个物理存储节点组成的对象存储集群。该装置通过结合传统的应用于分布式存储系统中的链式备份方法与可擦除编码的存储方法，在读写性能和存储空间效率之间取得了良好的平衡；相比起传统的多副本备份方法，本发明装置在大大降低了存储开销的同时，维持了同样高效的读写响应性能；相比起纯可擦除编码的存储方案，本发明装置极大地提高了数据对象的读写效率，增强了分布式存储系统的可用性。

主权项

一种基于可擦除编码和链式备份的分布式存储系统，包括：由多台代理服务器组成的代理服务器集群以及由多个物理存储节点组成的对象存储集群；其特征在于：所述的代理服务器根据客户端发送的请求报文中所包含的对象ID，计算出对象ID所对应的哈希值并将该请求导向到对象存储集群中对应的物理存储节点上，同时维护对象存储集群中各物理存储节点的相关元数据信息，进而根据环形一致性哈希算法，按照一定的层次结构来组织所有物理存储节点；所述的物理存储节点用于存储数据且具有唯一的设备标识号，每一份数据即为一个对象，每个对象同时以两种形式存储于对象存储集群中：第一种形式是以完整的备份模式存储在某一台物理存储节点上，该物理存储节点对应为对象的主节点；第二种形式是以可擦除编码的方式对对象进行编码，编码后生成k个数据块和m个校验块，这k+m个块分别存储于k+m个物理存储节点上，每个块的大小均为对象大小的1/k；存放数据块的物理存储节点为数据节点，存放校验块的物理存储节点为校验节点；k和m均为大于0的自然数。