| 主权项 |
一种分布式性能数据处理方法,其特征在于包括：1）使用HADOOP,HBASE开源软件分布式存储性能文件和采用STORM调度框架,并行汇总计算,将汇总计算结果入ORACLE数据库；2）引入开源的分布式文件系统HADOOP,HBASE软件,通过HBASE将性能数据文件拆分成以大网元实体为单位的小文件存储到HADOOP中； 3）性能数据的汇总计算通过HBASE从HADOOP中取文件,在JAVA程序中进行计算；4）引入并发处理,storm主节点进行统一调度,把任务分派到不同worker节点进行汇总计算,提升处理效率；具体步骤如下：1）从EMS上采集原始的性能数据文件,按照解析规则解析成pif文件；2）部署PIF2PIA服务,将pif文件按照设备大网元实体拆分成pia文件,并调用HBASE的API接口将pia文件保存到HADOOP文件系统中,并发送原始的pia消息；3）部署决策中心服务,监控pia消息,以及网元汇总,时间汇总,忙时计算的消息,决策生成网元汇总任务,时间汇总任务,忙时计算任务,以及入库任务；4）部署调度中心服务,storm的主节点派发任务到各worker节点进行网元汇总,时间汇总,忙时计算,入库等任务并发执行.worker节点可配置,根据网络规模配置，同时每个worker节点将汇总计算的结果文件调用HBASE的接口存入到HADOOP文件系统中。 |
