一种小文件存储效率的优化方法

摘要

本发明提供一种小文件存储效率的优化方法，采用序列文件技术将小文件合并为大文件，结合多属性决策理论和实验得出合并文件的最优方式，通过基于层次分析法的系统负载预测算法实现系统的负载均衡。该一种小文件存储效率的优化方法和现有技术相比，实现了节省名称节点所占内存空间的目的，同时也实现了对合并之后的小文件的透明操作；实用性强，适用范围广泛，易于推广。

主权项

一种小文件存储效率的优化方法，其特征在于其具体优化步骤为：一、序列文件合并：所述序列文件是HDFS提供的一种二进制文件，在存储系统中，对二进制文件由小文件合并为大文件，以小文件的索引号为key、内容为value的形式进行合并，合并的同时实现基于数据块的压缩；二、对小文件存储效率优化：1）由存储系统为每个用户建立三种队列：第一种为序列文件队列SFQ，用于小文件的合并；第二种为序列文件操作队列SFOQ，用于对合并后小文件的操作；第三种为备用队列BQ，用于操作的小文件数超过第一种或第二种长度的情况；2）用户将本地的文件上传至云存储服务器；3）服务器开始对该文件的类型进行判断；4）如果是小文件，将该文件的索引号放入SFQ中；5）当SFQ满时，将发送“队列满”信号给控制器，而当定时器到定时点时，将发送“时间到”信号给控制器；6）接收到“队列满”或者“时间到”信号后，控制器开始读取SFQ的相关信息；7）对系统负载进行计算，并据此决定是否进行小文件的合并；8）文件合并后完成小文件与大文件之间的映射。