一种提高HDFS文件传输安全性和读取效率的方法

摘要

本发明提出一种提高HDFS文件传输安全性和读取效率的方法。本发明首先通过名称节点为将要存储的文件选择的合适的块进行存放，在块存储于数据节点后，对块文件及其备份进行多次随机线性网络编码。读取文件时，同时从多个块文件中读出字符，并进行解码，还原出原始文件。在整个文件传输和存取过程中，编码部分由名称节点负责，解码部分在客户端完成，信道中不会出现未加密的原始数据，同时，由于从多个节点同时获取数据，提高了文件的读取效率。

主权项

一种提高HDFS文件传输安全性和读取效率的方法，其特征在于，包含以下步骤：步骤一、在存储操作之前，名称节点对将要存储的文件进行筛选，保留单个文件大小小于62MB的文件作为有效文件，超过62MB的文件按照一般的文件方式进行存储；名称节点为每个有效文件选取合适的块储存，并建立从文件到块和从块到文件的映射关系，这些映射关系将作为元数据的一部分被存储在名称节点中；步骤二、对存储在块中的文件进行随机线性网络编码，将编码后的文件存储在数据节点中；步骤三、名称节点对已经过编码的块文件再次进行随机线性网络编码，编码结果作为块文件的第一个备份保存在数据节点中，位置为原始的HDFS系统中块文件的第一个备份的位置；名称节点对已经过二次编码的块文件进行第三次随机线性网络编码，编码结果作为块文件的第二个备份保存在数据节点中，位置为原始的HDFS系统中块文件的第二个备份的位置；如果增加备份文件的数量，由上述方法类推可得；步骤四、当收到来自客户端读取文件的请求后，名称节点根据元数据中块到文件的映射关系找出客户端需要的文件和备份文件，客户端每次同时从多个块文件中读取定长的字符放入解码矩阵中，解出原始文件；由于随机线性网络编码解码方法的特殊性，从不同的备份中同时读取文件时，只要保证读取的文件是由同一个块文件经的编码得到(编码次数可以不同)，并在解码时，对放入的字符做行列变换，每次舍去线性相关部分，总会得到一个满秩矩阵，该矩阵中的内容即为原始文件。