基于动态语义分析的全文检索系统

摘要

本发明属于信息检索技术，提供一种基于动态语义分析的全文检索系统，包括查询信息接收模块、查询语句语义处理模块、语义知识库、词语贡献度动态计算模块、检索模块、索引库、索引模块、结果处理模块和文档集。本发明系统不仅能够动态计算和更新词语贡献度信息，而且能够对查询扩展语句进行词义消歧，筛选出符合语义的查询扩展语句，实现支持动态语义分析的全文信息检索。该系统具有更高的查准率、查全率和动态性等特点。

主权项

基于动态语义分析的全文检索系统，包括查询信息接收模块、查询语句语义处理模块、语义知识库、词语贡献度动态计算模块、检索模块、索引库、索引模块、结果处理模块和文档集；所述查询信息接收模块用于接受用户输入的查询语句，根据用户的需求将查询信息提交给查询语句语义处理模块进行语义处理，或者直接提交给检索模块进行检索；所述查询语句语义处理模块用于接收查询信息接收模块提交的用户查询语句，对查询语句进行语义处理；首先对查询语句进行预处理，将查询语句进行中文分词，去停用词，得到查询词序列，然后将查询词序列提交给语义知识库，得到对应的相关词群和贡献度，采用基于语义知识库的概念扩展方法，对查询词进行扩展，用扩展词替换到相应的查询词位置上得到候选的查询扩展语句集合，再采用词义消歧方法，过滤掉语义不正确的扩展语句，最后将查询语句及其扩展语句一起提交给检索模块进行检索；所述语义知识库存储词语及其相关词群和贡献度信息，对查询语句语义处理模块提交的查询词，在库中检索，将查询词对应的相关词群及贡献度返回给查询语句语义处理模块；所述词语贡献度动态计算模块采用词语贡献度的动态计算方法，动态地计算词语的相关词对该词语的贡献度，并将计算的结果返回给语义知识库；所述词语贡献度动态计算模块，将互动百科中的一个词条t自身属于的开放分类集合C_m，该词条解释正文中所有内部链接词条所属于的开放分类的集合C_Inword与用户添加的该词条的相关词条所属于的开放分类的集合C_Userword的并集定义为词条t的开放分类语义知识集合RC_t；相关词语的贡献度计算通过比较语义标签t的开放分类语义知识集合RC_t与其相关词语W_t的开放分类语义知识集合RC_Wt而得到；在计算语义标签t与相关词语W_t之间的语义关联度时，首先定义一个开放分类语义知识向量v，开放分类语义知识向量的维数，每一维代表一个开放分类，记为C_p；语义标签t的开放分类语义知识向量V_t在p维上的值即为t的开放分类语义知识集合RC_t中对应开放分类C_p出现的频次，对相关词W_t的开放分类语义知识向量V_Wt也有同样的定义；因此相关词语W_t与语义标签t的语义关联度，也即相关词语对语义标签的贡献度为：；词语贡献度更新的具体过程为：（1）得到最近更新的所有词条，并构建更新词条集；（2）在更新词条集中取出一个词条，在语义知识库的相关词群中查找该新词条是否是相关词；（3）如果是相关词则重新计算新词条对语义标签的贡献度；如果不是，则进行下一个新词条的查找，直到查找完全部的更新词条；如果更新词条是相关词，则重新计算他对语义标签的贡献度，方法如下，对于更新了的相关词，假设它的原来的贡献度为，新计算的贡献度为，那么它最终的贡献度为：这里分别表示原来的贡献度和新计算的贡献度对最终贡献度的影响大小，t为更新次数，为衰减常数；因为相关词有更新，这里我们取0.1，，表示新计算的贡献度对最终贡献度的影响大一些，这样就得到了一次动态计算和更新后的相关词语贡献度；新计算的贡献度通过更新词条的开放分类语义知识向量和语义标签的开放分类语义知识向量进行向量空间模型计算得到，即：；所述检索模块用于为用户提供检索服务，检索模块接收来自查询信息接收模块的查询语句或查询语句语义处理模块处理之后的查询语句，并将查询语句提交给索引库进行查找匹配，从而得到与查询语句相关的所有文档信息，并且对相关的文档集进行排序处理，将排序后的结果提交至结果处理模块；所述检索模块是本系统提供给用户检索文本信息的模块，它包括查询模块和排序模块；查询模块在索引库中查找出所有相关的文档，从相关的文档中选择出满足查询要求的那部分文档作为结果集，并将结果集提交给排序模块；排序模块用来对查询模块的结果集进行排序，该模块根据查询词及其扩展词在文档中出现的频率和逆文档频率，以及文档长度因素进行打分排序，对于查询语句Q，对文档d打分，给出基于动态语义分析的全文检索系统的文档打分公式如下：其中d为文本，t为查询词；表示查询语句经过查询词扩展得到的查询扩展语句集合，它由词义消歧模块提供，q表示中的扩展语句；表示扩展语句在检索过程中所占的权重，它的值由中的查询扩展语句和查询语句的语义相似度确定；表示t在文档d中出现的频率，t的逆文档频率表示t在多少篇文档中出现过；表示文档长度对结果的影响：文档越长，此值越小，文档越短，此值越大；表示一篇文档中包含的查询词越多，则对此文档的打分越高；计算每个查询条目的方差和，此值并不影响排序，而仅仅使得不同的查询之间的分数可以比较；通过对每个文档打分，量化地表示文档与查询语句的相关程度，最后把前若干位的结果优先返回给用户；所述索引库用于存储由索引模块对文本文件建立的索引，索引库还根据检索模块提交的查询信息在索引中快速检索，并且将检索的结果返回给检索模块；所述索引模块用于对文档集提供的文本文件建立索引，索引模块对文本内容和标题处理得到索引词，并利用索引词和文档相关信息建立索引；所述文档集存储文本文件，并将文本文件提供给索引模块建立文件的索引；所述结果处理模块用于接收来自检索模块的检索结果，并根据索引库的相关信息建立检索结果的摘要信息，并对返回结果进行分页处理。