一种Hadoop上面向范围查询的内存缓存方法

摘要

本发明公开了一种Hadoop上面向范围查询的内存缓存方法，包括如下步骤：1)在Hadoop海量数据的查询属性上建立索引，将索引存放在HBase上；2)在HBase索引数据上建立内存分片缓存，选择频繁被访问的索引数据缓存在内存中，数据分片的划分在初始阶段采用固定长度等分方法，同时采用跳表（skiplist）组织众多的数据分片；3)根据数据查询记录命中数据，采用指数平滑方法衡量数据分片热度；4)更新内存缓存。本发明的优点是采用跳表和集合相结合的结构，在此结构上支持动态调整集合的分片边界，使数据分片自适应查询需求，提高热点数据分片的查询缓存命中率，降低查询访问磁盘的开销，从而大幅度提高范围查询的性能。

主权项

一种Hadoop上面向范围查询的内存缓存方法，其特征是，包括如下步骤：1)在Hadoop海量数据的查询属性上建立索引，将索引存放在HBase上；2)在HBase索引数据上建立内存分片缓存，选择频繁被访问的索引数据缓存在内存中，数据分片的划分在初始阶段采用固定长度等分方法，同时采用跳表组织众多的数据分片；3)根据数据查询记录命中数据，采用指数平滑方法衡量数据分片热度；4) 更新内存缓存。