一种分布式搜索引擎系统及ID映射表扩充方法

摘要

本发明公开了一种分布式搜索引擎系统及ID映射表扩充方法，包括：至少一文本切分子系统，文本切分子系统包括：切分模块、ID映射模块及ID映射表存储模块，切分模块将从源文本中提取出的切分单元发至ID映射模块，ID映射模块在ID映射表中查找与切分单元对应的文本ID，并填入切分单元信息中，还包括：新词统计表存储模块，用于保存由未在ID映射表中查找到的切分单元及出现次数构成的新词统计表；切分子系统收发模块：用于获取新词统计表，并更新ID映射表，清除新词统计表中已在ID映射表中更新过ID映射关系的切分单元及其出现次数；ID映射模块，用于在新词统计表中统计在ID映射表中未查找到的切分单元及其出现的次数。

主权项

1. 一种分布式搜索引擎系统，包括：至少一文本切分子系统，其中，每个文本切分子系统包括：切分模块(10)、ID映射模块(20)及ID映射表存储模块(30)，切分模块(10)接收从互联网抓取的源文本，并从源文本中提取出切分单元，传送至ID映射模块(20)，ID映射模块(20)查找ID映射表存储模块(30)中的ID映射表中与切分单元对应的文本ID，并将其填入切分单元信息中，其特征在于，所述文本切分子系统还包括：新词统计表存储模块(40)，用于保存由ID映射模块查找ID映射表存储模块中的ID映射表时未在ID映射表中查找到的新切分单元及其出现的次数值构成的新词统计表；以及，切分子系统收发模块(50)：用于从新词统计表存储模块中获取新词统计表，并在ID映射表存储模块中的ID映射表中建立新切分单元与文本ID的映射关系，清除新词统计表存储模块中的新词统计表中已在ID映射表中建立文本ID映射关系的切分单元及其出现次数值；所述ID映射模块(20)，进一步用于向新词统计表存储模块中的新词统计表中统计在ID映射表中未查找到的切分单元及其出现的次数值。