一种基于HADOOP的LTE MRO数据统计方法及系统

摘要

本发明涉及一种LTE网络数据统计方法技术领域，特别涉及一种基于HADOOP的LTE MRO数据统计方法及系统。本发明一种基于HADOOP的LTE MRO数据统计系统，包括Hadoop集群，在集群各datanode节点部署实时调度模块和定时调度模块，所述的实时调度模块会实时扫描基站服务器上的LTE MRO文件，并多线程ftp下载，解析，在集群各datanode节点，通过Fuse-DFS模块将Hdfs挂在到系统，定时调度模块会定时按照指定数量合并解析后文件，并写入Hdfs，合并后文件采用厂商+时间+线程号命名，便于任务失败时，产出重做。本发明实现了类似LTE MRO文件的海量小文件，解决了海量数据给电信运营商带来的处理压力，提供了高效智能统计和数据挖掘的途径。

主权项

一种基于HADOOP的LTE MRO数据统计方法，包括以下步骤：A、集群所有节点部署并开启自开发的多线程ftp下载工具，此工具实时扫描基站文件服务器；B、集群所有节点部署并开发自研发多线程LTE MRO文件解析程序，此程序将文件进行了格式化，将格式化文件写入本地磁盘；C、Hadoop分布式文件系统挂载通过使用Hadoop的Fuse‑DFS模块，将Hadoop文件系统作为一个标准文件系统进行挂载在linux系统上；D、根据业务需求，在Hive数据仓库中建源数据层，中间层和应用层，并在不同的层中建响应分区表，这些表根据日期和厂商进行分区，便于数据导出和修复；E、同时根据业务需求，开发Hql语句并写入文本文件，由调度程序统一调度；F、调度程序统一调度执行Hql，从Hive源数据层表中抽取数据，依次生成中间层表和应用表数据；G、应用层数据生成后，调度程序会调用Sqoop，将Hive新生成数据导入Oracle；H、监控程序后台运行，实时接收实时调度程序和定时调度程序的执行结果，并实时扫描Hadoop和Hive日志，如有失败任务，则重新执行。