信息通信运行数据自主采集方法

摘要

本发明公开了一种信息通信运行数据自主采集方法，包括：研究专为抓包而定制的内核，已达到线速的实时抓取能力，最大化程度的减少抓包性能损耗；采用多线程业务数据解析引擎，最大化利用CPU组的并行处理能力；采用分布式部署方式，通过统一平台集中管理；设计采用业务数据实时分布式处理方式；预处理程序计算一些用于展示的关键绩效指标数值，放入键值型内存数据库中，一段时间后统一导出到文件持久化存储；设计采用多级缓存方式、强化实时性能；本发明结合电力系统目前的运行现状，调研信息通信系统运行性能的关键点，研究信息通信采集技术，并进行相应标准化整理，能够为智能分析系统提供数据支撑，帮助提高设备应用的性能指标。

主权项

一种信息通信运行数据自主采集方法，其特征在于，包括：研究专为抓包而定制的内核，已达到线速的实时抓取能力，最大化程度的减少抓包性能损耗；采用多线程业务数据解析引擎，最大化利用CPU组的并行处理能力；采用分布式部署方式，通过统一平台集中管理；设计采用业务数据实时分布式处理方式，设计由解析引擎产生的业务数据，实时吐出到内存数据库集群中，当有大数据量的需求，通过增加硬件服务器以搭建集群，按处理数据规模不同，搭建不同规模集群；数据吐出到数据库集群之前，实时对数据做分类预处理，同一个业务的数据会整理到一个碎片下，并按时间纵向切分，以提高运算时的处理效率；数据存入后，按时间粒度实时运行数据库查询函数，将计算出的统计数据放入关系型数据库，以供前端展示；同时预处理程序计算一些用于展示的关键绩效指标数值，放入键值型内存数据库中，一段时间后统一导出到文件持久化存储；设计采用多级缓存方式、强化实时性能，除了内存数据库的业务数据实时缓存，整个系统的各个层级还有自己的缓存。