一种面向海量小文件的分布式存储方法

摘要

本发明公开了一种面向海量小文件的分布式存储方法：创建一定数量的数据分区，把这些数据分区称为写入窗口，一个数据分区由K个大文件组成，这些大文件分别存储在不同网段的存储节点上；存储小文件时，从写入窗口中选择一个数据分区，以追加写的方式将该小文件写入该数据分区；当某个数据分区存储的数据量到达阈值时，将该数据分区从写入窗口中剔除，创建一个新的数据分区，并将其纳入写入窗口。本发明可根据存储节点的实时负载状态以及计算性能将海量小文件均衡地分布在各个存储节点，同时，较好地实现了存储集群的容灾与平滑扩容。

主权项

一种面向海量小文件的分布式存储方法，其特征在于：包括以下步骤：步骤1、在存储集群初始化阶段，将数据副本数设置为K，将存储节点分配在N个网段，每个网段包含M个存储节点，其中，N大于K；步骤2、在存储集群初始化阶段，创建P个数据分区，将所述P个数据分区称为写入窗口，数据分区的数量P由用户设定，一个数据分区由K个大文件组成，K个大文件分别存储在不同网段的存储节点上；在写入窗口的各个数据分区上设置用于标记的序号，将写入窗口的各个数据分区的可写标志位设置为可写；步骤3、存储小文件时，从写入窗口中选择一个数据分区，以追加写的方式将该小文件写入该数据分区；步骤4、当某个数据分区存储的数据量到达阈值时，将该数据分区从写入窗口中剔除，当数据分区数量少于P时，参考存储集群中存储节点的实时负载状态和计算性能创建一个新的数据分区，并纳入写入窗口。