一种基于文本词素切分的检索方法及系统

摘要

本发明公开了一种基于文本词素切分的检索方法及系统，涉及大数据检索领域，该方法包括建立用户检索词库，判断待切分的文本中是否包含用户检索词库已出现的检索词组，并在存在时将该检索词组作为存在词组，判断当前存在词组的E(w)是否大于E(avg)，并在大于时判断用户检索词库中是否存在该存在词组的词素，并在不存在时将当前存在词组的词素存入词库，作为存在词组相对应的词素，取出相对应的存在词组，将文本的剩余部分进行细粒度词素切分；判断存在词组是否超过八个字节，在不超过时以当前存在词组的词素和细粒度切分后的词素作为切分词素，然后进行索引。本发明能够降低更新和维护的频率，并提高检索质量。

主权项

一种基于文本词素切分的检索方法，其特征在于：建立用户检索词库，所述词库记录并存储有当前用户的所有检索词组和每个检索词组出现的次数n，所有检索词组的总数为m，每个检索词组的检索频率P为n/m，每个检索词组的期望值为E(w)，E(w)＝P*n；所有检索词组的平均期望值为：E(avg)＝[E(w1)+E(w2)+……+E(wn)]/m；所述检索包括以下步骤：S1、判断待切分的文本中是否包含用户检索词库中已经出现过的检索词组，若存在，将当前检索词组作为存在词组，转入步骤S2；S2、并判断当前存在词组的E(w)是否大于E(avg)，并在大于时判断用户检索词库中是否存在当前存在词组的词素，并在不存在时将当前存在词组的词素存入词库，作为存在词组相对应的词素，转入步骤S3；S3、取出相对应的存在词组，将文本的剩余部分进行细粒度词素切分；判断存在词组是否超过八个字节，在不超过时以当前存在词组的词素和细粒度切分后的词素作为切分词素，然后进行索引。