一种面向海量Argo数据的分布式存储方法

摘要

本发明公开了一种面向海量Argo数据的分布式存储方法。该方法可以用来实现对多源异构、动态多维及海量的Argo数据进行高效的存储。其步骤如下：1)设计合理的表结构。2)针对Argo数据的不同特征和应用需求，本方法采用了不同的数据组织与管理方式。3)以HDFS为基础，实现Argo海量数据的分布式存储功能，并自动实现负载均衡。在数据传输中，系统采用了HDFS多节点与虚拟IP相结合的技术，解决了多节点无法同时与外界通信的问题。4)将海量argo数据自动化存入分布式云存储中。本发明在Argo数据管理中具有重要的实际应用价值，应用前景较广。

主权项

一种面向海量Argo数据的分布式存储方法，其特征在于包括如下步骤：1)针对Argo数据格式、前台组合查询要求、大数据增量需求设计若干张表结构；2)针对多源Argo数据采用不同的数据组织与管理方式：地图切片数据以影像金字塔文件夹形式进行组织管理；Argo剖面数据和Argo元数据以表记录的形式在PostGreSQL中分别组织；Argo信息产品网格化数据基于MATLAB进行可视化后以文件形式进行组织；3)以Hadoop的HDFS为基础，将上述的多源Argo文件及文件夹数据以不同的组织管理方式在云端进行存储，相应表记录插入PostGreSQL数据库中存储；4)针对不同类型数据设置不同入库步骤，将海量Argo数据自动化解析并存入分布式云存储中。