MapReduce环境下的异常检测方法

摘要

本发明公开了一种MapReduce环境下的异常检测方法，包括以下步骤：S1：采集MapReduce中各从节点的性能指标值，并传递给主节点；S2：根据性能指标的类别对采集到的各从节点的性能指标值进行分类；S3：通过基于密度的聚类方法对分类后得到的各从节点的每一类性能指标值进行聚类；S4：对聚类后的结果进行分析，记录得到的异常结果并输出。本发明的方法算法简单、复杂度低，并且无需等到任务执行完毕，它可以在任务执行过程中即时地对报告上来的数据进行分析处理并即时输出异常结果，可以进行在线检测，实时性高。

主权项

一种MapReduce环境下的异常检测方法，其特征在于，包括以下步骤：S1：采集MapReduce中各从节点的性能指标值，并传递给主节点；S2：根据性能指标的类别对采集到的各从节点的性能指标值进行分类；S3：通过基于密度的聚类方法对分类后得到的各从节点的每一类性能指标值进行聚类；S4：对聚类后的结果进行分析，记录得到的异常结果并输出；其中，所述步骤S3对各从节点的某一类性能指标值进行聚类的步骤具体包括：S31：输入分类后得到的各从节点的某一类性能指标值；S32：根据所述各从节点的该类性能指标值的大小将所述各从节点的该类性能指标值分为若干集群；其中，一个从节点的该类性能指标值与所在集群中的至少一个其他从节点的该类性能指标值之差小于设定的阈值；S33：输出聚类后得到的所有集群；其中，所述步骤S32具体包括：S321：对各从节点的该类性能指标值按照从大到小的顺序进行排序；S322：建立一个空白集群作为当前集群，并指定所述各从节点的该类性能指标值中最大的一个作为当前指向数据，并将所述当前指向数据加入当前集群；S323：检测所有集群外是否还有剩余的从节点的该类性能指标值，如果没有，则转到步骤S33；如果有，则转到步骤S324；S324：判断当前指向数据和下一个从节点的该类性能指标值之间的差值与预先设定的阈值之间的关系，如果所述差值小于等于所述预先设定的阈值，则进入步骤S325；否则，如果所述差值大于所述预先设定的阈值，则进入步骤S326；S325：将所述下一个从节点的该类性能指标值加入到当前集群中，并将所述下一个从节点的该类性能指标值指定为当前指向数据，然后回到步骤S323；S326：重新建立新的集群作为当前集群，并将所述下一个从节点的该类性能指标值指定为当前指向数据加入当前集群，然后返回到步骤S323。