一种对海量日志进行实时UV统计的方法及系统

摘要

本发明公开了一种对海量日志进行实时UV统计的方法及系统，系统包括：布隆过滤器创建与初始化模块，日志实时接收模块，日志处理模块，结果输出模块。本发明提出的基于布隆过滤器(Bloom Filter)实现的实时UV统计系统，通过选择若干个哈希函数巧妙的把每一条实时的PV Log在常数时间内“映射”到位数组的相应个数的特定的bit位上,再通过简单的判断即可实时计算出当前UV值。该系统具有实现简单、占用系统资源少、运行效率高、实时性等优点。采用了本发明中的方法，占用更小的内存资源，即更优的空间复杂度；占用更少的处理器资源，即更优的时间复杂度；可以非常方便的进行UV的动态实时计算。

主权项

一种对海量日志进行实时UV统计的方法，其特征在于包括：采集PV Log页面浏览量日志，进行分发后等待处理；同时设置UV计数器；创建Bloom Filter布隆过滤器，在当前进程的堆内存中创建Bit Array位数组，以及定义k个不同的Hash函数；将Bit Array中所有位都初始化为0；接收等待处理的PV Log，并对其中每条PV Log通过k个不同的Hash函数映射到Bit Array的k个bit位；判断上述k个bit位是否全部为1，若不是则所述UV计数器加1，并将这个k个bit位全部置为1；输出UV计数器的值，完成UV统计。