加速空间大数据文件读写速度的方法

摘要

本发明涉及计算机数据传输领域，公开了一种加速空间大数据文件读写速度的方法，包括零复制步骤，文件缓冲步骤以及摘要校验步骤，对空间大数据文件进行读写访问时，通过摘要校验步骤得到空间大数据文件的信息摘要，并与缓存系统内的文件的信息摘要进行比对；如果空间大数据文件在缓存系统内存在同样的副本，则更新副本的缓存命中信息，更新副本的权重W，根据更新后的副本的权重W调整副本在顺序链表的链接位置，通过零复制步骤对副本进行传输；如果空间大数据文件在缓存系统内不存在同样的副本，则在缓存系统内建立空间大数据文件的副本，更新副本的权重W，通过零复制步骤对副本进行传输。本发明的优点在于，克服数据读写瓶颈，利于整体提升数据读写速度。

主权项

一种加速空间大数据文件读写速度的方法，其特征在于，包括零复制步骤，文件缓冲步骤以及摘要校验步骤，其中，零复制步骤包括，将空间大数据文件由系统内核态的磁盘内存载入内核态的Socket缓存区域或者将空间大数据文件由内核态的Socket缓存区域载入系统内核态的磁盘内存；文件缓存步骤包括，根据空间大数据文件的文件信息建立缓存系统，所述缓存系统包括一个或者多个顺序桶，所述顺序桶包括一个顺序链表，顺序链表用于存放副本，副本依据空间大数据文件的权重W顺序排列，所述权重W由以下方法得到：其中，C₁、C₂以及C₃为系数，T_modify为顺序链表上的文件的最近写入时间,T_read为顺序链表上的文件的最近读取时间，T_create为顺序链表上的文件的初始创建时间，S_file为顺序链表上的文件的大小；摘要校验步骤包括，提取于空间大数据文件的特征段，所述特征段包括位于文件首部段落、尾部段落以及随机选取的一个或者多个段落，对特征段进行MD5校验，对校验后的特征段进行异或求和得到信息摘要；还包括以下具体步骤：1)对空间大数据文件进行读写访问时，通过摘要校验步骤得到空间大数据文件的信息摘要，并与缓存系统内的文件的信息摘要进行比对；2)如果空间大数据文件在缓存系统内存在同样的副本，则更新副本的缓存命中信息，同时刷新副本的修改时间，更新副本的权重W，根据更新后的副本的权重W调整副本在顺序链表的链接位置，通过零复制步骤对副本进行传输；3)如果空间大数据文件在缓存系统内不存在同样的副本，则在缓存系统内建立空间大数据文件的副本，更新副本的权重W，通过零复制步骤对副本进行传输。