一种基于关系数据库的HDFS元数据存储方法

摘要

本发明的目的在于解决现有技术所存在的问题，找到一种数据读取快，又能存储更多元数据的基于关系数据库的HDFS元数据存储方法。包括：建立关系数据库的步骤，建立内存存储的步骤，元数据写入的步骤，元数据读取的步骤。通过实施本发明可以取得以下有益技术效果：采用关系数据库存储元数据信息，并且将使用频繁的数据保存到内存中，读取数据时优先查询内存中的数据，即保证了数据读取的快速，又能解决内存不足引起的存储量不足的问题；同时第一次写入的数据放入内存后，其存放的地址不是双链表表头所指向的内存地址，而是双链表表中指向的内存地址，这样降低了备份数据在内存中的持续时间，提高了内存的利用率。

主权项

一种基于关系数据库的HDFS元数据存储方法，其特征在于：包括：建立关系数据库的步骤：建立关系数据库，通过关系数据库存储元数据，关系数据库中包括用于记录文件目录元数据的最新状态信息的镜像表，用于记录文件信息和目录信息的文件/目录信息表，用于记录文件块信息的文件块信息表；建立内存存储的步骤：建立内存存储，创建双链表，并将双链表的指向与内存中用于存储数据的地址一一对应连接；元数据写入的步骤：客户端写入元数据时，通过添加修改元数据库中相应数据进行元数据写入，同时将写入的元数据放入内存中，代替原双链表表尾指向的内存地址中所存放的数据，并将双链表表尾指向的内存地址调整到双链表表中指向；元数据读取的步骤：客户端读取元数据时，根据客户端请求路径，首先从内存中检查是否存在请求的数据，如果存在请求的数据，则获取内存中的数据并返回客户端，同时调整双链表的指向，将所请求的数据的内存地址调整到双链表表头指向；如果不存在请求的数据，则查询关系数据库，查询到数据后返回客户端，同时将对应查询到的数据放入内存中，代替原双链表表尾指向的内存地址中所存放的数据，并将双链表表尾指向的内存地址调整到双链表表头指向。