一种基于增强时间局部性的热点数据识别方法

摘要

本发明公开了一种基于增强时间局部性的热点数据识别方法，通过利用数据访问模式中的时间局部性原理来实现高效地识别热点数据，该发明采用HotList和CandidateList双队列结构来保存热点数据和候选热点数据的热度值信息，使得只需要保存部分数据集的访问信息，从而有效地降低存储开销。另外，本发明采用recency bit的位和D‑bit counter计数器组合的数据结构来反映出热点数据访问模式中最近和频繁这两个特性，信息更新机制对离散访问和连续访问的数据赋予不同的热度值，更加准确地反映出数据项的访问模式，提高热点数据的识别率。本发明采取概率筛选机制，将冷数据提早筛选走，降低算法的运行时开销。

主权项

一种基于增强时间局部性的热点数据识别方法，其特征在于，所述方法包括下列步骤：R1、初始化HotList队列和CandidateList队列，其中，所述HotList队列和所述CandidateList队列为LRU队列，队列中的每个节点采用数据用长度为D的D‑bit counter计数器和长度为1的recency‑bit配合的数据结构，其中，所述D‑bit counter计数器用来记录数据的访问频度信息，存储范围为0到2^D‑1，所述recency‑bit用来标识节点关联的数据最近是否被访问过，初始时所有节点的counter为0，recency‑bit为0，当节点所关联的数据被访问时，则根据其节点的recency‑bit状态来增加其counter；R2、将被访问的数据用长度为D的D‑bit counter计数器和长度为1的recency‑bit配合的数据结构进行记录，并将通过概率筛选机制筛选的数据插入到队列中；R3、根据所述recency‑bit的状态更新所述D‑bit counter的值；R4、根据所述D‑bit counter的值决定数据放置在所述HotList队列还是所述CandidateList队列中，并把放置在所述HotList队列中的数据置为热数据；R5、周期性地运行信息更新机制；R6、当所述HotList队列或者所述CandidateList队列中任一队列因容量不足而需要筛选一个节点离开时，运行筛选机制，根据各节点recency‑bit的状态以及D‑bit counter的值来进行筛选。