一种基于副本的动态元数据集群系统

摘要

本发明公开了一种基于副本的动态元数据集群系统，其包括运行于客户端的客户端模块和运行于元数据服务器集群中各元数据服务器节点上的服务器模块，其中，客户端模块用于将元数据请求发送到对应的元数据服务器节点上，并根据负载信息调节客户端读请求的发送，使得读负载分摊到各元数据服务器节点上；服务器模块用于维护元数据服务器集群中所有的元数据服务器所缓存的MLT表，并在新的元数据服务器节点加入集群中以及元数据恢复期间进行元数据迁移，同时统计各个元数据服务器上的负载信息。本发明方法通过副本实现负载均衡，并通过基于副本的动态元数据集群方案提高了集群的可扩展性、元数据集群的服务性能和可用性。

主权项

一种基于副本的动态元数据集群系统，其包括运行于客户端的客户端模块和运行于元数据服务器集群中各元数据服务器节点上的服务器模块，其中，所述客户端模块用于将元数据请求发送到对应的元数据服务器节点上，并根据负载信息调节客户端读请求的发送，使得读负载分摊到各元数据服务器节点上；所述服务器模块用于维护元数据服务器集群中所有的元数据服务器所缓存的MLT表，并在新的元数据服务器节点加入集群中以及元数据恢复期间进行元数据迁移，同时统计各个元数据服务器上的负载信息；其中，所述的客户端模块包括：元数据服务器选择模块(100)，用于将元数据请求发送到对应的元数据服务器；元数据服务器连接维护模块(101)，其用于建立客户端与新加入集群中的元数据服务器的连接，并维护客户端与元数据服务器集群中的各元数据服务器的连接；MLT表维护模块(102)，用于更新客户端缓存的MLT表，使得客户端实时跟踪元数据服务器集群的变化，以将请求正确定位到对应的元数据服务器；负载均衡模块(103)，用于收集元数据服务器集群的负载信息，并根据所述负载信息调节客户端读请求的发送，使得读负载分摊到各元数据服务器上，该负载均衡模块(103)包括负载收集模块、负载计算模块和负载重定位模块，其中所述负载收集模块用于收集元数据服务器上的负载信息，所述负载计算模块其根据收集到的负载信息计算负载的权值以反映各元数据服务器的负载程度，所述负载重定位模块根据所述负载程度对读请求进行重定位，以实现负载调节；所述的服务器模块包括：MLT表维护模块(201)，用于维护元数据服务器集群中所有的元数据服务器所缓存的MLT表；元数据迁移模块(202)，用于在新的元数据服务器节点加入以及在元数据恢复时，将集群中一部分元数据从一个元数据服务器节点迁移到另外一个元数据服务器节点上；负载统计模块(206)，用于统计各个元数据服务器上的负载信息。