一种基于分布式系统的海量交通数据快速处理方法

摘要

本发明提供一种基于分布式系统的海量交通数据快速处理方法，包括：步骤a：在时间和空间上将海量交通数据分块，分块后的所述交通数据具有时间属性标识和空间属性标识；步骤b：在内存中以细粒度存储一定数量的常用的所述交通数据，在文件系统中以粗粒度存储除所述内存存储的交通数据之外的交通数据；步骤c：当处理程序请求处理数据时，判断所请求的交通数据是否在内存中；步骤d：如果所请求的交通数据存储在内存中，则直接处理相应数据；以及步骤e：如果所请求的交通数据存储在所述文件系统中，则先根据文件信息从所述文件系统中将所述交通数据读入内存，再对所述交通数据进行处理。本发明方法查询速度快，且效率高。

主权项

一种基于分布式系统的海量交通数据快速处理方法，其特征在于，包括以下步骤：步骤a：在时间和空间上将海量交通数据分块，分块后的所述交通数据具有时间属性标识和空间属性标识；步骤b：在内存中以细粒度存储一定数量的常用的所述交通数据，在文件系统中以粗粒度存储除所述内存存储的交通数据之外的交通数据；步骤c：当处理程序请求处理数据时，判断所请求的交通数据是否在内存中；步骤d：如果所请求的交通数据存储在内存中，则直接处理相应数据；以及步骤e：如果所请求的交通数据存储在所述文件系统中，则先根据文件信息从所述文件系统中将所述交通数据读入内存，再对所述交通数据进行处理。