一种基于Hadoop的传统网管数据处理方法

摘要

本发明提供一种基于Hadoop的传统网管数据处理方法，涉及移动通信领域传统话务网管、数据网管、传输网管的数据采集、加工处理。在传统网管数据处理中通常采用关系型数据的方式实现对设备数据的存储与处理，通常采集处理时延高、数据补采补汇逻辑复杂，无法及时完成对数据的加工，影响上层基于数据的分析应用。采用基于Hadoop的传统网管数据处理方式，以Hadoop 分布式HDFS系统进行数据的存储、以Spark分布式数据处理框架进行数据的加工处理，通过基于文件方式的数据操作，快速实现对数据的采集及补采补汇处理。

主权项

一种基于Hadoop的传统网管数据处理方法，其特征在于，主要包含三部分内容：1）传统网管数据Hadoop存储；2）传统网管数据Hadoop加载及加工处理；3）传统网管数据Hadoop补采、补汇；以Hadoop分布式文件系统作为数据的存储方式，以Hadoop本地文件加载的方式实现对数据到Hadoop集群的加载，通过Spark分布式计算引擎实现对数据的进一步加工处理操作；对于数据的补采、补汇，采用直接删除历史文件，重新进行数据加载、加工处理的方式。