一种分布式文件系统上基于硬件加速卡的压缩解压缩方法

摘要

本发明公开了一种分布式文件系统上基于硬件加速卡的压缩解压缩方法，属于分布式文件系统技术领域。该技术包括：客户端向数据节点写数据时，先将文件块进行分片，再经硬件加速卡对分片进行压缩，将压缩后的分片发送至数据节点；客户端从数据节点读取数据时，先从数据节点取回包含读取数据的各分片，调用硬件加速卡对各分片解压缩并组合，将组合后的数据发送至上层应用。上层应用可独立使用硬件加速卡以数据流的形式对数据进行压缩或解压缩。本发明提出的技术在分布式文件系统和上层应用中使用硬件加速卡，只需要很小的缓存就能实现数据压缩或解压缩，可以卸载传统压缩方法所消耗的大量CPU资源，并且对系统的用户而言完全透明。

主权项

一种分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述方法包括： 分布式文件系统中的客户端向数据节点写入数据时：所述客户端将文件块分成多个分片，调用硬件加速卡对各分片进行压缩，再将压缩后的各分片发送至所述数据节点；所述数据节点将所述压缩后的各分片存储至压缩块文件中，并更新所述数据节点中的索引文件； 分布式文件系统中的客户端从数据节点读取数据时：所述数据节点找到保存读取数据的压缩块文件；所述客户端取回包含所述读取数据的各分片，调用所述硬件加速卡对所述各分片进行解压缩，并组合解压缩后的各分片，将组合后的解压缩数据发送至上层应用。