一种基于Hadoop的网络安全日志k-means聚类分析系统及方法

摘要

一种基于Hadoop的网络安全日志k-means聚类分析系统及方法，包括日志数据获取子系统、日志数据混合机制存储管理子系统、日志数据分析子系统；在数据存储层，采用Hadoop与传统数据仓库协作的混合存储机制存储日志数据，并在数据访问层提供对Hive操作的接口，数据存储层和计算层从Hive引擎接收指令，通过HDFS，配合MapReduce实现对数据的高效查询分析；在对日志数据进行挖掘分析时，采用MapReduce实现k-means算法对其进行聚类挖掘分析；采用Hadoop与传统数据仓库协作架构弥补了传统数据仓库在海量数据处理、存储等方面的不足，同时也使得原来的传统数据仓库物尽所用；采用基于MapReduce的k-means算法进行聚类分析，能及时对日志数据进行安全等级评估和预警。

主权项

一种基于Hadoop的网络安全日志k‑means聚类分析系统，其特征在于，包括有日志数据获取子系统(11)、日志数据混合机制存储管理子系统(12)、日志数据分析子系统(13)；所述日志数据获取子系统(11)是采集所有设备的网络安全日志数据；所述日志数据混合机制存储管理子系统(12)是对所有日志数据进行管理与存储；所述日志数据分析子系统(13)是对所有日志数据进行快速查询分析处理，以及对日志数据的潜在价值进行挖掘分析。