一种基于数据缓存的纠删码集群存储扩容方法

摘要

本发明公开了一种基于数据缓存的纠删码集群存储扩容方法，包括响应用户读请求、迁移缓存数据分块和更新校验分块的步骤；迁移旧节点缓存中的数据分块，同时利用新节点生成新条带中的校验分块，实现扩容后存储集群中各个节点的负载均衡；每个计算校验分块的节点本地磁盘保存一个校验分块，其他的校验分块发送给旧节点替换掉条带中的数据分块，条带中其余数据分块在旧节点的位置保持不变，当一个新条带分块均匀分布在集群各节点后，热数据分块从旧节点迁移到新增节点，由此最小化条带分块重新分布带来的网络传输流量开销；缓存数据分块迁移支持热点数据在所有节点上的均匀分布，有效提高集群节点的并行访问效率；新增节点利用接收的缓存数据分块生成校验分块，分散计算操作的同时可减少新校验分块的网络传输量；充分利用缓存数据来减少存储扩容时的旧数据分块读取，可及时响应客户端请求，且能提高扩容效率。

主权项

一种基于数据缓存的纠删码集群存储扩容方法，其特征在于，具体包括如下步骤：(1)根据客户端读数据请求，在元数据服务器上定位目标数据分块所在的节点；并判断该目标数据分块是否命中该节点的缓存；将命中缓存的数据分块直接返回给客户端；对于未命中缓存的数据分块，则将其从磁盘读取到缓存；若从磁盘读取的数据分块处于新条带，则将其从缓存发送到客户端，若从磁盘读取的数据分块处于旧条带，则在将其发送到客户端，并发送到新增节点；(2)新增节点根据接收到的旧数据分块，采用RS纠删编码计算得到新校验分块；由所述旧数据分块和新校验分块构成新条带；将新条带上的分块均匀分布到存储集群的各节点；所述旧数据分块指的是新增节点接收的处于旧条带的数据分块。