发明名称 |
一种节点支持多数据分片的分布式集群的扩容和缩容方法 |
摘要 |
本发明创造提供一种节点支持多数据分片的分布式集群的扩容和缩容方法,包括以下步骤:S1.规划集群总的数据分片数以及各个数据分片和物理节点间的对应关系,这种对应关系简称为集群distribution;S2.根据集群配置的distribution把数据分布到对应的物理节点上;S3.根据集群总的数据分片数和集群改变后的所有物理节点,重新建立新的集群distribution;S4.按照集群新的distribution,部分数据分片迁移到新的物理节点上;S5.当所有需要迁移的数据分片的数据搬移完成后,切换集群原有的distribution到新的集群distribution,集群按照该新的distribution对外提供服务。本设计不需要对所有数据进行hash计算;按照数据分片来重分布数据,扩容性能得到提升;迁移完的数据分片直接删除即可,数据空间可以完全释放。 |
申请公布号 |
CN104615657A |
申请公布日期 |
2015.05.13 |
申请号 |
CN201410854728.0 |
申请日期 |
2014.12.31 |
申请人 |
天津南大通用数据技术股份有限公司 |
发明人 |
张绍勇;孔德生;崔维力;武新 |
分类号 |
G06F17/30(2006.01)I;H04L29/08(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
天津滨海科纬知识产权代理有限公司 12211 |
代理人 |
杨慧玲 |
主权项 |
一种节点支持多数据分片的分布式集群的扩容和缩容方法,其特征在于:包括以下步骤:S1.规划集群总的数据分片数以及各个数据分片和物理节点间的对应关系,这种对应关系简称为集群distribution;S2.数据按照hash方式进行数据分布,根据集群配置的distribution把数据分布到对应的物理节点上;S3.扩容时,集群总的数据分片数不改变,但物理节点数增加了,根据集群总的数据分片数和集群改变后的所有物理节点,重新建立新的集群distribution;S4.按照集群新的distribution,部分数据分片迁移到新的物理节点上;S5.当所有需要迁移的数据分片的数据搬移完成后,切换集群原有的distribution到新的集群distribution,集群按照该新的distribution对外提供服务。 |
地址 |
300384 天津市滨海新区高新区华苑产业区海泰发展六道6号海泰绿色产业基地J-518 |