一种低延迟的流量解析处理方法

摘要

一种低延迟的流量解析处理方法，包括：接收各采集机的上报数据，放入第一任务队列；处理线程以多线程、多级队列处理端口流量数据；按设备IP多线程并发执行；使用缓存技术对第二执行队列中的设备IP数据进行预解析，即根据采集回来的基础信息补全端口数据；将第二执行队列中的设备IP数据与前一次的设备IP数据进行对比，计算出该时刻设备IP数据的流速；将流量信息存入数据库。本发明提供一种大数据量下的多线程、高吞吐量、高效率的端口流量差分算法。本发明能够对多个采集机、大批量上报的高密度的数据快速解析处理，处理完数据后入库。本发明可以应用于类似系统信息数据的收集、低延迟的集中处理。

主权项

一种低延迟的流量解析处理方法，其特征在于，包括如下步骤：1)接收各采集机的上报数据，放入第一任务队列；2)处理线程以多线程、多级队列处理端口流量数据；3)按设备IP多线程并发执行；4)使用缓存技术对第二执行队列中的端口流量数据进行预解析，即根据采集回来的基础信息补全端口数据；5)将补全端口数据的端口流量数据与前一次的端口流量数据进行对比，计算出端口的流速；6)将流量信息存入数据库。