一种分布式存储系统的数据分片方法

摘要

本发明公开了一种分布式存储系统的数据分片方法，该方法是通过集群控制器监控物理节点状态和保证数据传输的正确性；通过一致性哈希算法将每个存储节点的物理空间进行统一管理，组成逻辑存储空间；通过多副本切片方式保证系统的可靠性。本发明存储容量更大且具有弹性，主机虚拟化的存储容量依赖于本机的资源，但一个主机由于硬件设计上的限制存储容量不会无限增大，而采用本分布式系统之后存储容量不再受主机存储容量的限制，可以随着客户的要求任意的增加存储资源或者减少存储资源，最大化的提高了系统的存储能力与弹性。

主权项

一种分布式存储系统的数据分片方法，其特征在于，包括下述步骤： S1、采用集群控制器管理多个节点，再将每个节点的物理存储资源进行汇总，同步至每个节点内存中进行记录； S2、每台物理节点加入集群后，会对该节点的存储空间进行计算，之后计算出所有节点存储总和，将该节点存储容量除以全部节点的容量得到权重值，再用该权重值乘以默认虚节点个数，得到该节点的虚节点实际数目，再将该节点映射至虚节点列表中生成对应数目的虚节点； S3、系统的分配空间请求根据负载均衡部分的一致性哈希算法得到物理节点的实际空间，具体为每个节点对应的虚节点作为哈希环中的元素，每个请求都计算哈希值，然后按顺序在哈希环上搜索节点，这样可以对存储空间进行实际的使用，每个读写请求都会首先通过虚拟磁盘来进行，虚拟磁盘将读写请求通过元数据提供的位置服务定位至具体的物理数据对象上，每个物理对象存在于不同的物理主机上，可以通过存有多个数据对象的副本来保证数据的可靠性。