支持海量数据实时处理的网络分析系统和方法

摘要

一种基于海量数据实时处理技术的网络分析系统和方法，该系统包括多个数据适配节点和由分布式配置于网络中的多个数据分析节点组成的数据分析集群，其中，数据分析节点支持P2P组网方式和负载均衡机制，使数据分析集群有伸缩功能；数据分析节点之间通过事件机制完成流水线式分析处理过程。本发明能实时分析和处理海量网络数据，包括进行网络故障监测、统计、排查和诊断等操作。本发明能细微分析网络数据，并支持分布式动态扩展来扩充系统功能，用户可通过自定义欲检测的分析类型来扩展自己的需求。再者，系统使用分布式架构，不需过度依赖单硬件性能，能更好地完成网络数据分析等复杂逻辑的处理。且支持多种处理逻辑和降低开发人员的业务能力要求。

主权项

一种基于海量数据实时处理技术的网络分析系统，其特征在于：该系统包括：多个数据适配节点和由多个数据分析节点组成的数据分析集群，其中：数据适配节点，用于获取被管理的外部网络中的数据，并利用数据适配功能将所有输入到数据分析集群、需要实时分析的数据适配转换为数据分析集群内部能够解析和通信的事件，并将该事件初次分发到数据分析集群中的各个数据分析节点，实现初次分发的负载均衡；同时，数据分析集群处理后的结果，也以事件方式发送到数据适配节点，由其利用数据适配功能将其转换适配为对外通信的数据格式后向外输出，或转发给数据库、日志或图形界面进行后期记录或显示；该数据适配节点的输入信息为外部网络的所有数据、数据分析请求、中间事件或最后结果事件，输出信息则根据需要适配为对数据库、日志和图形界面的存储操作、对Web Service接口的通信操作或发送设定格式的网络数据；数据分析集群，由作为该系统完成网络数据分析核心功能、呈分布式配置于网络中的多个数据分析节点所组成，这些数据分析节点负责对数据进行实时的故障监测、分析、统计、排查和诊断的操作，并将处理结果发送到数据适配节点，或数据库、日志和图形界面，以供后期处理；数据分析节点支持P2P组网方式和负载均衡机制，以使该数据分析集群具有伸缩功能：若要调整其处理能力时，只需直接添加或减少数据分析节点数量即可；各个数据分析节点之间基于事件通信完成流水线式的分析处理过程。