一种集群存储中并行访问大量小文件的方法及系统

摘要

本发明提供了一种集群存储中并行访问大量小文件的方法及系统，该方法包括：对写入的小文件进行缓冲；将缓冲的多个小文件合并为一个临时文件；将所述临时文件的元数据和数据对象存储至元数据服务器节点和数据服务器节点的后端存储中。该方法可以有效地提高集群文件系统服务的响应时间和速度，提升数据整体的单位时间数据读写次数、吞吐量。

主权项

一种集群存储中并行访问大量小文件的系统，其特征在于，包括应用主机集群、元数据服务器集群、数据服务器集群、后端存储和高速互联设备，其中：所述应用主机集群，用以为客户端提供文件系统接口，在检测到有小文件写入时，缓存所述小文件，将多个缓存的小文件合并为一个临时文件，将所述临时文件的元数据和数据对象经所述高速互联设备分别推送至集群中的各元数据服务器节点和各数据服务器节点；具体地，所述应用主机集群用以在检测到缓存的小文件的大小的总和达到一第一预设值时，将所述缓存的小文件合并成一个临时文件，存放在缓存中；在接收到所述元数据服务器集群发送的存储控制命令后，将其缓存的所述临时文件的元数据和数据对象经所述高速互联设备分别推送到集群中的各元数据服务器节点和各数据服务器节点，并清空缓存；所述元数据服务器集群，用以管理集群中各元数据服务器节点的后端存储；还用以对所述应用主机集群的缓存进行统一管理，当检测到缓存中的所述临时文件的大小的总和达到一第二预设值时，向所述应用主机集群发送存储控制命令，以及将集群中各元数据服务器节点接收到的所述临时文件的元数据存储至其后端存储中；所述数据服务器集群，用以管理集群中各数据服务器节点的后端存储；具体地，所述数据服务器集群用以将集群中各数据服务器节点接收到的所述临时文件的数据对象存储至其后端存储中；所述后端存储，包括元数据服务器节点的后端存储和数据服务器节点的后端存储，所述元数据服务器节点的后端存储为用以存储元数据的磁盘阵列，所述数据服务器节点的后端存储为用以存储数据对象的磁盘阵列；所述高速互联设备，用以实现集群中各服务器节点之间数据通信的数据包的高速交换。