一种基于上下文关联的中文相似性比较方法

摘要

本发明提出一种基于上下文关联的中文相似性比较方法，应用于中文相似性比较技术领域，该方法首先将要进行比较的两篇文本的文本流进行分词和索引，为每一个文本建立倒排表，然后对倒排表进行相似性检测，得到可疑相似片段，最后对可疑相似片段进行聚合，得到相似文本块，在相似文本块的生成过程中考虑到上下文的关联。本发明方法先发现较小可疑相似片段，再对可疑相似片段进行聚合，减少了空间向量模型中粒度大小与误判、漏判率之间的矛盾，实现对两篇文本的相似性比较。

主权项

1.一种基于上下文关联的中文相似性比较方法，其特征在于，该方法具体包括如下步骤： 步骤1、首先将要进行比较的两篇文本S和D的文本流进行分词，然后为每一个文本建立倒排表，具体是：通过词汇内容建立索引，将词汇本身作为索引的键，词汇在文本中的位置作为索引值； 步骤2、对倒排表进行相似性检测，得到可疑相似片段，具体是： 步骤2.1、首先使用倒排表对中心词进行映射：若词X同时在文本S的倒排表和文本D的倒排表中出现，则在文本S的倒排表和文本D的倒排表中建立词X的关系映射，并得到以词X作为中心词、以r作为半径，长度n=2r+1的一对可疑相似片段； 步骤2.2、以n个词作为一个粒度对两篇文本S和D进行相似性检测，并确定每一对可疑相似片段的相似度； 步骤2.3、确定文本S和文本D的相似值R_S，D表示文本S对文本D的相似度，R_D，S表示文本D对文本S的相似度；所述的文本S对文本D的相似度R_S,D具体通过式(1)得到： w_i表示S中第i个词语，N_S表示文本S中包含的词语的总个数，表示对文本S中所有的词语的相似度求和，表示词语w_i的相似度，具体依据下面式(2)来确定：为第j个包含某个词语w的可疑相似片段的相似度，可疑相似片段的相似度依据式(3)来确定：α_i表示第i个词的权重向量，s表示候选片段，s∈文本S，d表示待检测片段，d∈文本D，F(s)表示片段s的词汇向量，F(d)表示片段d的词汇向量，N表示文本S和文本D中包含的词语的总个数； 文本D对文本S的相似度R_D，S类似R_S，D能够得到； 步骤3、对可疑相似片段进行聚合，生成相似文本块。