一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法

摘要

本发明提供一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法，通过lustre文件系统来实现利用集群计算节点空闲硬盘空间扩展并行文件操作，Lustre对象存储文件系统是由客户端、存储服务器和元数据服务器MDS三个主要部分组成，Lustre的客户端运行Lustre文件系统，它和OST进行文件数据I/O的交互，和MDS进行命名空间操作的交互，即用计算节点的闲置磁盘空间做lustre文件系统的存储服务器ost，把计算节点的闲置磁盘空间整合成一个大的文件系统，然后客户端或计算节点来挂载此文件系统使用；通过利用计算节点空闲硬盘空间做并行文件系统的方法，不仅可以解决文件系统IO并发和带宽问题，而且能提高整个集群系统的存储空间，合理利用集群资源。

主权项

一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法，其特征在于，通过lustre文件系统来实现利用集群计算节点空闲硬盘空间扩展并行文件操作，Lustre对象存储文件系统是由客户端、存储服务器和元数据服务器MDS三个主要部分组成，Lustre的客户端运行Lustre文件系统，它和OST进行文件数据I/O的交互，和MDS进行命名空间操作的交互，即用计算节点的闲置磁盘空间做lustre文件系统的存储服务器ost，把计算节点的闲置磁盘空间整合成一个大的文件系统，然后客户端或计算节点来挂载此文件系统使用；具体实现过程如下：构建一小型集群，一个管理节点和10个计算节点，其中计算节点的硬盘容量为500G，Luster文件系统实现方式如下：1）mds服务器的创建在管理节点划分一个30G的区分格式化为mdt和mgs分区；2）ost服务器的创建共10个计算节点，每个节点500G的磁盘空间，拿出50G安装操作系统，剩下的450G空间做为lustre的ost空间；把10个计算节点的空闲分区依次格式化为ost1—ost10；至此lustre文件系统构建完毕，由10个450G容量的ost分区组成，文件系统共4.5T的容量；3）客户端挂载管理节点和10个计算节点，都挂载此4.5T存储空间使用，这样不仅计算节点的硬盘得到合理利用，增加了整个集群的存储空间，多出4.5T的使用容量，而且，对于有10个ost的lustre文件系统，其IO并发能力和带宽都要远远高于nfs文件系统，提高了集群的整体性能。