通信告警频繁项集挖掘引擎及冗余处理方法

摘要

本发明提供一种通信告警频繁项集挖掘引擎及冗余处理方法，本发明提供了通信告警频繁项集挖掘及其冗余处理引擎架构及实现，该引擎能够处理海量的告警信息，并且不依赖于通信网络的拓扑结构。能够高效地挖掘出告警中的频繁项集，并对挖掘结果进行冗余处理，满足实际应用需要。该引擎由告警数据的获取及预处理、参数的设定及告警类型转换、频繁模式增长改进算法、挖掘结果的冗余处理、最终结果的解释与呈现五部分组成。基于本发明的告警频繁项集挖掘及冗余处理引擎，可在不需要专家和运维人员的参与下实现通信网络的告警关联，而且能够在较低的运营成本情况下，成倍地提高处理效率，特别适合于通信网络的关联规则分析工作，具有广泛的应用前景和良好的实用价值。

主权项

通信告警频繁项集挖掘引擎及冗余处理方法，其特征在于：挖掘引擎包括以下内容：(1)采集通信告警数据并对数据进行预处理，通过对数据的预处理确保告警频繁项集挖掘的效率、准确度以及最终结果的有效性；(2)设定了告警时间窗和滑动步长两个参数，将告警关系型数据转化成事务型数据，最大程度地保证在一个告警时间窗内告警发生的完整性，为告警频繁项集的挖掘工作做准备；(3)频繁模式增长改进算法，建立项头列表和条件模式树，在每条路径上挖掘低阶项的所有条件模式基，并进行标记，在挖掘每一项时，首先判断该节点标记，如果标记为真，则跳过该路径，直接挖掘下一个路径，这样只需要挖掘部分低阶的项，就可以遍历所有的路径，找出所有的条件模式基，然后生成条件模式树，挖掘频繁项集；(4)对挖掘到的告警频繁项集进行冗余处理，将最大频繁项集的所有子集，在支持数上进行比较，从最大n阶频繁项集开始，如果n‑1阶子集的支持数大于等于最大n阶频繁项集的支持数不超过一个常数c，将此项集删除，对于满足上述的频繁项集进行保留；(5)对获取到的告警频繁项集进行归纳整理，并提供详细的解释信息，便于运维人员进行规则核对。冗余处理步骤如下：(1)从设备中采集告警数据，并对数据进行清洗和集成，建立告警id表来标记告警数据，完成数据的采集和准备工作；(2)设置告警时间窗和滑动窗口，对数据进行转换，将关系型告警数据，转换成事务型告警数据；(3)设置支持度阈值，调用改进的频繁模式增长算法，对告警数据进行频繁项集挖掘；(4)对挖掘结果进行冗余处理；(5)对最终得到的告警频繁项集进行合理的解释，并将结果呈现给运维人员便于查询和维护。