一种基于HBase的构建和检索增量索引的方法

摘要

本发明公开了一种基于HBase的构建和检索增量索引的方法，包括以下步骤：基于HBase的列存储机制设计索引的存储结构，使用三个数据表分别保存原始文本、索引信息和统计信息；设计面向Web的待索引文本获取接口，提供基于HTTP协议的文本索引服务；对持续增加的文本构建增量索引，当新的待索引文本产生并到达时，索引系统不重新将全部数据构建索引，将新增文本的索引追加存储到已有索引中，在存储索引时，先将所有文本内容以及索引信息其放入缓冲区，当缓冲区的数据量达到阈值时批量写入数据；提供多种格式结果的检索服务接口，用户通过面向Web的接口使用检索服务，检索系统将按照用户提交的搜索请求进行检索并按用户的要求对检索结果进行格式化。

主权项

一种基于HBase的构建和检索增量索引的方法，其特征在于，包括下述步骤：(1)利用HBase来设计增量索引的存储结构利用HBase的数据列动态可扩展的特点，将词元作为关键字主键，将文本主键作索引存储表的列字段名称，利用HBase的分布式存储的特点，实现对大规模文本和索引信息的存储，索引系统同时为多个不同的数据源分别提供索引服务；为了有效的存储索引信息，共设计三个表：a、表T_text存储索引数据的原始信息，字段包括文本主键，文本内容与来源等信息；b、表T_index存储数据的索引信息，字段包括关键字主键，含有关键字的数据内容所对应的全部文本主键索引列，且表T_index中的文本主键索引列随着持续增加的索引数据而动态的增加；c、表T_statistic存储统计信息，包括总文本数量，总关键字数量；(2)提供面向Web的待索引文本获取接口；(3)对持续增加的文本构建增量索引当新增文本产生并到达时，索引系统将新增文本的索引追加存储到已有索引中，不重新对全部数据构建索引，具体方法为：a、根据表T_statistic中的总文本数量，对新的待索引文本生成新文本主键，然后采用缓冲机制，将新文本主键和数据内容存入缓冲区，使用缓冲区将原始文本追加到表T_text；b、将待索引文本分词得到词元，英文以单词为词元分词，中文以字、词作为词元分词，记录词元在内容中出现的数量、位置信息；最后，在表T_index中以词元作为关键字主键进行查询，根据查询结果，增加新的索引信息，有两种情况：①如果表T_index中已存在该关键字主键，则在已有的文本主键索引列基础上，将新文本主键追加为该关键字主键的索引列；②如果表T_index中不存在该关键字主键，则在表T_index中新增该关键字主键，并将新文本主键作为新的索引列，采用缓冲机制，将新的索引信息存入缓冲区，使用缓冲区将索引信息存入表T_index，根据文本主键的数量和关键字主键的数量，将表T_statistic中的总文本数量、总关键字数量等信息更新；(4)提供多种格式检索结果的服务接口。