基于HDFS分布式文件系统的数据冗余及文件操作方法

摘要

本发明公开了一种基于HDFS分布式文件系统的数据冗余及文件操作方法。它包括：文件写入、读取、追加及删除，其中：文件写入包括：客户请求、分配主结点、文件分段、生成和存储基本块、生成和存储编码块及主结点汇报；文件读取包括：客户请求、选择主结点、发送信息数据、根据信息数据恢复原文件及主结点汇报；文件追加包括：客户请求、查询文件信息并分配主节点、对追加文件分段、生成和存储基本块、生成和存储编码块及追加汇报。文件删除包括：客户请求、删除文件的文件名处理、删除隐藏文件、删除孤立Block元数据和删除任意Block块。本发明具有读写性能和效率高，节约存储资源、存储可靠的优点，可用于分布式文件系统在大规模客户访问下的存储和管理。

主权项

基于HDFS分布式文件系统的数据冗余方法，包括如下步骤：(1)将文件数据进行分段，每个文件段的基本长度为64MB，如果不足64MB的文件段数据结尾用0填补；(2)将分好的文件段分为等长的基本块，并且将这些基本块存储在同一Datanode结点的Block块中，同时对存储在Block块中的数据生成校验和，存入文件元数据表中；(3)对基本块数据进行编码，得到编码块，将这些编码块、对应的编码系数和Block标志发送到系统的不同于基本块的Datanode结点；(4)收到编码块的Datanode结点将编码块保存在本地Block块上，并对这些编码块生成校验和，将Block标志、校验和、基本块个数写入附加文件中，完成数据冗余。