一种面向分布式环境的空间数据复合处理系统和方法

摘要

本方法公开了基于MapReduce并行处理模型，有机结合现有空间数据库与Hadoop并行处理平台进行复合应用的基本方法。本发明明确了利用复合框架进行空间数据并行处理的基本流程，同时利用分布式块文件系统对空间数据数据进行矩阵化划分与集中式存取，在保证系统高度可扩展性的前提下，能够广泛地对多种空间数据进行支持与高效处理。

主权项

一种面向分布式环境的空间数据复合处理系统，其特征在于，包括主计算机及其主空间数据库MSDB（Master Spatial Database）模块、子计算机及其子空间数据库SSDB（Slave Spatial Database）模块、Hadoop并行处理平台模块、分布式块文件系统BDFS（Block‑based Distribute File System），在基于Hadoop平行处理平台上进行部署而形成的计算机网络集群，其中，主空间数据库模块以及子空间数据库模块通过分布式块文件系统交互，同时在客户端提供交互式文字和图形界面，用于添加、删除、更新与查询各类空间数据；所述的子空间数据库模块处理本地接收到的各类局部空间查询任务，负责从BDFS中读取所需要的数据信息，并添加新的数据以返回结果；数据在系统中以类型和数据块文件的形式分布保存在BDFS中，类型文件以文本形式描述空间数据概要，数据块文件以二进制形式保存数据的具体信息。