面向云存储的分布式文件系统

摘要

本发明提出了一种面向云存储的分布式文件系统，主要解决现有云存储系统性能与可靠性瓶颈、高负载和单点失效问题。该系统包括块数据服务层、元数据服务层和应用客户端层，其中，元数据服务层由多个代理机服务器，代替GFS系统中的单个元数据服务器，采用点对点的P2P网络配置，组成对等式的服务网络；系统三层之间的交互为：应用客户端层向元数据服务层请求写入，元数据服务层返回块数据服务器信息；客户端层根据返回的结果，将文件写入到块数据服务层并进行冗余备份，元数据服务层根据备份结果生成元数据，并更新本地元数据和向量时钟。本发明增强了现有云存储系统的性能和业务支持能力，可用于高性能、高可靠性云存储系统的设计与优化。

主权项

一种面向云存储的分布式文件系统，包括：块数据服务层，用于数据块信息的管理、读写和传输，以及向元数据服务器发送心跳信息、处理元数据服务器的指令信息，并处理应用客户端层的请求信息；元数据服务层，用于侦听客户端和块数据服务器端的请求事件，并负责处理请求事件返回结果，以及对元数据管理，块数据服务器的负载均衡操作，客户端的租约管理；应用客户端层，用于对系统目录、文件的管理，以及与块数据服务器的交互，读写数据流的操作；其特征在于：元数据服务层，采用元数据服务器的代理冗余方式，即用多个代理机，代替Google文件系统GFS中元数据服务层采用的单个元数据服务器，构成一个对等式的分布式服务网络；每一个代理机作为对等式分布式服务网络的一个服务节点，分担整个元数据服务层的部分服务，每个服务节点均构成服务的接入口，所有元数据在各个服务节点上维持一份，以保证系统的容错；多个代理机之间采用点对点的P2P网络配置和服务调度，保证访问每个服务节点均能从任意一个代理机接入，来分担单个元数据服务器结构的负载，提高服务访问的并发性；所述三层之间的交互为：应用客户端层向元数据服务层请求写入，同时发送文件信息；元数据服务层返回块数据服务层的主存块服务器信息，包括文件名映射、块大小，客户端层根据元数据服务层返回的结果，将文件写入到块数据服务层；块数据服务层对文件进行冗余备份，将块存储结果发送给元数据服务层以生成元数据，同时，块数据服务层发送客户端层处理结果，元数据服务层更新本地元数据和对应的向量时钟，完成一次交互过程。