基于标识符空间映射的大数据二级索引构建方法

摘要

本发明提出了一种基于标识符空间映射的大数据二级索引构建方法，包括：根据查询属性生成索引条目，利用Baton协议组织索引节点及索引条目，建立Baton索引组织；数据处理节点在查询非Rowkey属性时，将查询所需数据请求发送给索引节点，索引节点通过Baton路由协议将数据检索请求发送到需检索索引条目所在的索引节点，所述索引节点通过物理地址获取所需数据，并发送给相应的数据处理节点。本发明有益效果：二级索引构建技术改进了HBase不支持索引构建与使用的缺点；利用云计算资源管理大量的属性索引，满足大量数据分析处理的二级索引需求；数据的检索与获得由索引节点完成，减轻了数据处理节点的负担，提高数据处理的效率。

主权项

一种基于标识符空间映射的大数据二级索引构建方法，其特征是，包括以下步骤：(1)根据查询属性生成索引条目，利用Baton协议组织索引节点及索引条目，建立Baton索引组织；(2)查询操作：数据处理节点在查询非Rowkey属性时，将查询所需数据请求发送给索引节点，索引节点通过Baton路由协议将数据检索请求发送到需检索索引条目所在的索引节点，所述索引节点通过物理地址获取所需数据，并发送给相应的数据处理节点；所述步骤(1)中建立索引组织的方法包括：a)对所有的属性索引统一编号；每一个属性索引都由若干索引条目组成，设e_j为索引条目，I_i为属性索引，则I_i＝∪{e_j}；其中，i为属性索引的编号，j为索引条目编号；b)每个索引条目e_j都通过映射函数映射到标识符空间D的某个位置；所述标识符空间D为映射函数的值域范围；c)利用Baton组织索引节点，每个索引节点负责管理部分标识符空间，所有索引节点组成一个关于标识符空间D的覆盖网络，各索引节点基于Baton组成一个树型结构；d)确定各索引节点负责管理的索引条目，每个索引节点利用B+树存储自己所负责的索引条目；e)每个索引条目指向数据存储物理地址。