基于Spark云网络的海洋大数据主从索引系统及方法

摘要

本发明涉及一种基于Spark云网络的海洋大数据主从索引系统及方法，尤其适用于具有空间自相关性、强相似性、实时等特点的海洋大数据；将大数据时代物联网、云计算等技术应用于分布式索引领域，以物联网作为海洋信息采集的触角，依托聚类思想设计数据划分策略，并将数据分布式部署和存储到各物理云；结合多层主从索引结构实现多源海洋数据快速一站式调用，满足各类海上预警及应急模型中高性能计算、强实时反馈、高频度查询等需求。采用该种结构的基于Spark云网络的海洋大数据主从索引系统及方法，以物理云存储为基础，保证了多源数据毫秒级查询响应需求，从而聚焦快速实时灾害反演及预警，加快了海洋防灾减灾等的数字化和信息化进程。

主权项

一种基于Spark云网络的海洋大数据主从索引系统，其特征在于，所述的系统包括：数据采集及布局模块，用以采集数据并对采集到的数据进行云布局；数据动态融合模块，用以基于样本驱动的数据融合机制确定数据的物理布局；数据自适应划分模块，用以聚类符合用户需求导向及敏感的数据；数据时态主从索引模块，用以基于Spark云网络服务框架，依托时间维度为延伸载体，响应客户端的查询并进行查询处理。