一种海量日志关联分析方法及系统

摘要

本发明公开了一种海量日志关联分析方法和系统，实现了根据入侵检测设备产生的海量日志，评估当前网络安全状况，并描述当前最应关注的攻击情况。所述方法包括：获取入侵检测设备的日志，通过计算入侵检测设备日志源地址和目的地址的分布状况，判断是否存在大规模网络安全事件；根据源地址、目的地址、事件类型三个参数上对入侵检测设备日志进行归并，检测出并报告异常地址、热点事件；统计并通过图形展示热点事件在指定时间段内的传播过程；对上述输出结果进行关联，给出当前网络安全状况的综合评价。所述系统包括熵模块单元、三元组模块单元、热点事件传播展示模块单元、综合关联分析模块单元。

主权项

一种海量日志关联分析方法，通过获取海量的入侵检测设备日志，对所述入侵检测设备日志进行关联分析，其特征在于，该方法包括以下步骤：A.用于进行熵检测的步骤：读取所述入侵检测设备日志，计算所述入侵检测设备日志的源地址和目的地址的熵分布值，判断是否存在大规模的网络安全事件，并输出判断结果；B.用于进行三元组检测的步骤：读取所述入侵检测设备日志，根据源地址、目的地址、事件类型三个参数，对所述入侵检测设备日志进行归并，检测并报告异常地址或热点事件，并输出检测结果；C.用于进行热点事件传播展示的步骤：读取所述入侵检测设备日志，统计并展示热点事件在指定时间段内的传播过程，并输出统计结果；D.用于进行综合关联分析的步骤：根据上述三个步骤输出的判断结果、检测结果、统计结果进行关联分析，给出当前网络安全状况的评价；步骤A中所述的计算所述入侵检测设备日志的源地址和目的地址的熵分布值具体包括如下步骤：步骤201：读取熵检测配置参数信息，并且将当前的地址熵检测阶段设置为学习阶段；步骤202：查询当前观测周期内，入侵检测设备报告的所有日志；步骤203：对入侵检测设备上报的所有日志进行统计，统计出日志中所有的源IP地址、目的IP地址的出现次数；步骤204：计算源IP地址、目的IP地址熵分布H；步骤205：判断当前的熵检测阶段是否处于学习阶段，如果判断结果为“是”，则进入步骤206，否则进入步骤209；步骤206：计算估计误差并更新误差队列；具体包括计算源地址的熵估计误差、目的地址的熵估计误差，并将上述估计误差都加入到误差队列中，计算源地址的熵估计误差、目的地址的熵估计误差的优选算法是采用指数加权移动平均数算法；步骤207：判断误差队列是否已满，具体包括根据从步骤201读取的熵检测配置参数信息中得到的队列长度参数，判断误差队列的长度是否满足队列长度参数要求，如果判断结果为“是”则进入步骤208，否则进入步骤202；步骤208：计算地址熵的基线并进入到实时检测阶段，具体包括：计算源地址熵、目的地址熵的基线，并将当前的地址熵检测阶段设为实时检测阶段，然后进入步骤202；步骤209：判断当前源IP地址熵、目的IP地址熵分布是否正常，如果判断结果为“是”则进入步骤210，否则进入步骤211；步骤210：输出当前地址熵状态并更新基线，然后进入步骤202；步骤211：输出当前地址熵检测状态，然后进入步骤202。