一种基于文件粒度的海量数据存储方法

摘要

本发明公开了一种基于文件粒度的海量数据存储方法。本方法为：1)将数据存储集群划分为多个分区，每一分区具有一分区值；2)对每一部门的记录创建一业务数据表，并设置每一业务数据表中记录的分区规则；3)对于待存储业务数据的每一记录，根据其编号和分区规则将其存储到对应分区的文件中并创建索引文件；然后将该记录的编号、所在文件的路径、所属存储节点编号、存储设备编号存储到元数据文件中。进一步的，本发明创建设定业务数据表之间的视图，根据所述元数据文件，将属于同一业务场景的业务数据表、视图、记录所在分区、索引信息划入到同一数据库中，得到一海量元数据管理模型。本发明既提高了数据管理精度，又提高数据划分、组织灵活性。

主权项

一种基于文件粒度的海量数据存储方法，其步骤为：1)将数据存储集群划分为多个分区，每一分区具有一分区值；2)对每一部门的记录创建一业务数据表，并设置每一业务数据表中记录的分区规则；3)对于待存储业务数据的每一记录，根据其编号和分区规则将其存储到对应分区的文件中并创建索引文件；然后将该记录的编号、所在文件的路径、所属存储节点编号、存储设备编号存储到元数据文件中。