日志采集服务器及数据包分发、日志聚类方法及网络

摘要

本发明公开了一种日志采集服务器，包括探测器单元、解析单元、Hash分流单元、聚簇与日志转发单元和数据库单元，所述探测器单元，用于数据流的旁路监听以及数据的采集；所述解析单元，用于对数据实时分析，提取数据包关键域，并发送给所述Hash分流单元；所述Hash分流单元，用于对数据包关键域进行Hash计算并分发数据包；所述聚簇与日志转发单元，用于确认所述日志采集服务器日志记录所属聚簇并计算所述日志采集服务器聚簇中心；所述数据库单元，用于对属于所述日志采集服务器的日志记录进行存储。本发明通过对数据包关键域的散列运算，实现数据包的快速分流、网络日志的分布式存储及日志服务器的均衡负载；提高了数据采集与聚类的高效性和可扩展性。

主权项

一种日志采集服务器，其特征在于，包括探测器单元、解析单元、Hash分流单元、聚簇与日志转发单元和数据库单元，其中，所述探测器单元，用于数据流的旁路监听以及数据的采集；所述解析单元，用于对数据实时分析，提取数据包关键域，并发送给所述Hash分流单元；所述Hash分流单元，用于对数据包关键域进行Hash计算并分发数据包；向其它日志采集服务器发送所述日志采集服务器聚簇中心点及相应簇的数据对象总数；所述聚簇与日志转发单元，用于确认所述日志采集服务器日志记录所属聚簇并计算所述日志采集服务器聚簇中心；所述数据库单元，用于对属于所述日志采集服务器的日志记录进行存储。