一种分布式环境中的分级存储系统

摘要

本发明公开了一种分布式环境中的分级存储系统，包括至少一个策略服务器、至少两种不同性能的网络存储单元以及至少两个客户端代理；客户端代理为用户提供访问分级存储系统的接口；策略服务器将担当客户端代理与网络存储单元之间的桥梁，管理网络存储单元和客户端代理，并选择客户端代理进行数据迁移操作，将数据按照热度的不同，分布在不同性能的网络存储单元上。本发明可以解决现有网络存储中的诸多问题。通过分级管理，可以在性能和成本之间做出最好的平衡，此外，通过设定优化的策略规则，能使重要数据和常用数据在最短时间内访问到，使极少使用的数据备份在成本较低的存储器中。因此，提高了客户端代理的访问性能，以及存储资源的整体性能。

主权项

1.一种分布式环境中的分级存储系统，其特征在于，该系统包括至少一个策略服务器、至少两种不同性能的网络存储单元以及至少两个客户端代理；所述网络存储单元为分级存储系统提供存储设备；所述客户端代理为用户提供访问分级存储系统的接口；所述策略服务器将担当客户端代理与网络存储单元之间的桥梁，一方面，管理网络存储单元和客户端代理；另一方面，选择客户端代理进行数据迁移操作，将数据按照热度的不同，分布在不同性能的网络存储单元上；所述策略服务器包括登记模块、负载接收模块、负载分析模块、心跳检测模块和策略服务模块；登记模块用于登记客户端代理和网络存储单元的注册工作，将登记过的网络存储单元加入存储池，为客户端代理分配合适性能和容量的存储设备，并将分配的存储设备的相关信息发送给客户端代理；负载接收模块是策略服务器与客户端代理之间的接口，它接收客户端代理的负载信息，并提供给负载分析模块，客户端代理的负载信息包括：随机访问/顺序访问、读/写、数据传输率以及数据传输量；负载分析模块用于周期性地对负载接收模块收集的客户端代理的负载信息进行整理，为策略服务模块制定迁移策略，提供客户端代理的负载信息；心跳检测模块是策略服务器与网络存储单元之间的接口，周期性的检测所有网络存储单元的心跳信息，以判断网络存储单元的当前状态，并为策略服务模块提供网络存储单元的心跳信息；策略服务模块根据负载分析模块和心跳检测模块的数据结果，以及策略规则，制定分级策略，确定要执行迁移操作的客户端代理，向客户端代理发送迁移命令；策略服务模块还周期性监测网络存储单元的心跳，如果有新插入的网络存储单元，并且性能比当前最热数据所在的网络存储单元的性能高，则将当前的热数据向上迁移到新插入的网络存储单元，以保证在线数据得到最佳的访问性能；向拥有热数据的客户端代理启动向上迁移；负载分析模块按在第一次对客户端代理负载信息进行分析时，将所有客户按照热度Ti(n)值进行降序排列；之后只对Ti(n)>H(n)的客户端代理进行向上迁移的队列排序，构成向上迁移队列；对Ti(n)<L(n)的客户端代理进行向下迁移的队列排序，构成向下迁移队列；Ti(n)＝η*Ti(n-1)+(1-η)*(i1*αi(n)+i2*βi(n)+i3*γi(n)+i4*δi(n))    式I$H\left(n\right)={\mu }^{*}H(n-1)+{\tau }^{*}\underset{i=1}{\overset{n}{\Sigma }}\mathrm{Ti}\left(n\right)$式II式Ⅲ式I中，i表示客户端代理的序号，Ti(n)为客户端代理i在第n次分析过程中的热度，Ti(n-1)为第n-1次分析时的热度，η为热度历史参数，i1，i2，i3，i4为热度参数，αi为客户端代理i的随机访问/顺序访问的比率，βi为客户端代理i的读/写的比率，γi为客户端代理i的数据传输率，δi为客户端代理i的数据传输量；其中Ti(0)=0；式II中，μ为式II中的历史参数，τ为高阈值参数，H(0)=0；式Ⅲ中，μ为式Ⅲ中的历史参数，为低阈值参数，L(0)=0。