基于访问日志信息的空间小文件数据分布存储方法及系统

摘要

本发明提供基于访问日志信息的空间小文件数据分布存储方法及系统，包括将空间小文件数据集分成频繁访问的子集和非频繁访问的子集，提取频繁访问的空间小文件数据子集的访问序列，分段计算各频繁访问的空间小文件数据的关联度，并将各频繁访问的空间小文件数据相互之间的关联度数值组成关联矩阵；对关联矩阵中各元素数值进行大小转换后利用RCM排序算法重排后输出，对重排后的关联矩阵利用局部逼近搜索法寻找最佳组合，利用最佳组合对频繁访问的空间小文件数据进行分布存储，以及对非频繁访问的空间小文件数据根据空间位置相邻关系分开存储。本发明提高了空间小文件数据的并行访问性能。

主权项

一种基于访问日志信息的空间小文件数据分布存储方法，其特征在于：对任一种空间小文件数据类型，执行包括以下步骤：步骤1，将空间小文件数据集，按照访问频率不同分成频繁访问的子集和非频繁访问的子集；包括以下子步骤，步骤1.1，获取各空间小文件数据访问热度，实现如下，设空间小文件数据集为F＝{f₁,f₂,...,f_N}，包含空间小文件数据f₁,f₂,...,f_N，其中N为空间小文件数据的总个数，第i个空间小文件数据标记为f_i，i＝1,2,…,N；设访问日志信息中记录依次访问了空间小文件数据空间小文件数据的访问日志序列为A＝(a₁,a₂,…,a_M)为空间小文件数据访问序列向量，a_t∈[1,N]，访问序号t＝1,2,…,M，其中M为对F中所有空间小文件数据的访问总次数；统计每个空间小文件数据f_i在访问日志序列R中出现的次数λ_i，以λ_i为该空间小文件数据f_i的访问热度；步骤1.2，根据空间小文件数据访问热度提取被频繁访问的空间小文件数据，实现如下，输入预设判别参数λ，若空间小文件数据集F中空间小文件数据f_i的访问热度λ_i>λ，则空间小文件数据f_i为频繁访问的空间小文件数据，否则f_i属于非频繁访问的空间小文件数据；步骤1.3，根据步骤1.2所得频繁访问的空间小文件数据构成空间小文件数据集的子集，实现如下，设所有频繁访问的空间小文件数据所构成子集为其中N₁为频繁访问的空间小文件数据总个数，第i₁、j₁个频繁访问的空间小文件数据分别标记为和i₁,j₁∈[1,N₁]；步骤2，从访问日志信息中提取频繁访问的空间小文件数据子集的访问序列，包括按照时间先后顺序形成访问序列为频繁访问空间小文件数据访问序列向量，访问序号t₁＝(1₁,2₁,…,M₁)，其中M₁为对F₁中所有频繁访问空间小文件数据的访问总次数；步骤3，利用频繁访问的空间小文件数据子集的访问序列分段计算各频繁访问的空间小文件数据的关联度，并将各频繁访问的空间小文件数据相互之间的关联度数值组成关联矩阵；包括以下子步骤，步骤3.1，根据存储服务器数量m、频繁访问空间小文件数据子集长度N₁计算频繁访问序列分段长度n＝N₁/m；步骤3.2，根据访问序列分段长度对频繁访问序列进行分段，实现如下，按照访问顺序，将频繁访问空间小文件数据访问序列向量A₁以n个元素一组分割为若干子向量，表示为A₁＝(S₁,S₂,…,S_l)，其中子向量S_k＝(a_k1,a_k2,…,a_kn)，a_kj∈[1,N₁]，1≤k≤l，1≤j≤n；将A₁中所有子向量集合记为S，S＝{S_k:k∈[1,l]}；步骤3.3，计算频繁访问的空间小文件数据相互之间的关联度数值，实现如下，定义函数其中为S_k中的所有元素组成的集合；函数表示在长度为n的访问周期内频繁访问的空间小文件数据和是否具有关联性；定义函数R_S(i₁,j₁)，$R_S(i_1,j_1)=\underset{k=1}{\overset{l}{\Sigma }}{R}_{S_k}(i_1,j_1)1\le i_1\le N_1,1\le j_1\le N_1$其中R_S(i₁,j₁)表示S对和的总关联度；步骤3.4，将频繁访问的空间小文件数据相互之间的关联度数值组成关联矩阵R_S，$R_S={\left(R_S(i_1,j_1)\right)}_{N_1\times N_1}1\le i_1\le N_1,1\le j_1\le N_1$步骤4，对关联矩阵中各元素数值进行大小转换后利用RCM排序算法重排后输出；步骤5，对重排后的关联矩阵利用局部逼近搜索法寻找最佳组合；步骤6，利用步骤5所得最佳组合对频繁访问的空间小文件数据进行分布存储，以及对非频繁访问的空间小文件数据根据空间位置相邻关系分开存储。