一种基于信息量的句子相似度计算方法

摘要

本发明涉及一种基于信息量的句子相似度计算方法，包括以下步骤：首先，通过两个句子词语间具有最大的信息量的概念确定词语的词义；然后利用语义网的层次结构和语料库统计来计算词语的信息量和多词语间的公共信息量；接下来应用组合数学中容斥原理计算多个词语的总信息量，从而分别得到两个句子各自的信息量，以及两个句子总共的信息量；最后根据Jaccard相似度原理定义并计算出句子的相似度。本发明能逼真的模拟人类对句子相似程度的判断，并且不需要使用语料训练参数或使用经验参数、不依赖语料库的规模、无需词性标注等其他自然语言处理技术；时间性能优秀，对一般长度的句子对，在当前主流多核PC机上获得准实时计算效率。

主权项

一种基于信息量的句子相似度计算方法，其特征在于，包括以下步骤：步骤1：输入待计算的两个句子s_a和s_b，记句子s_a和s_b分别为：$s_a=\left\{w_i^a\right|i=\mathrm{1,2},...,n\}$$s_b=\left\{w_i^b\right|i=\mathrm{1,2},...,m\}$其中，和分别表示句子s_a和s_b的第i个词语，n和m分别表示句子s_a和s_b的词语数；步骤2：对输入句子中的词语进行词义选择，过程如下：词语的词义按照式1确定：[式1]$c_i^a=\underset{c_2\in \mathrm{consepts}\left(s_b\right)}{\underset{c_1\in \mathrm{consept}\left(w_i^a\right)}{\underset{c\in \mathrm{subsum}(c_1,c_2)}{\arg \max }}}\{-\log P\left(c\right)\}$其中，subsum(c₁,c₂)为在语义网中包含概念c₁和c₂的所有概念集合，表示在语义网中所有包含词语的概念的集合，consepts(s_b)表示语义网中包含句子s_b中的所有词语的概念的集合，P(c)为概念c在语料库中的频率，特殊的，如果P(c)为0，则logP(c)为0，P(c)的值按照式2确定：[式2]P(c)＝Σ_w∈words(c)count(w)/N其中words(c)表示语义网中概念c以及概念c的所有子概念中的所有词语的集合，count(w)为词语w在语料库中的频数，N表示语义网中全部概念的频数之和，而每个概念的频数为该概念中全部词语在语料库中的总频数之和；同理，将式1中替换成consepts(s_b)替换成consepts(s_a)，可得句子s_b中第i个词语的词义词义确定后句子s_a和s_b可以记为：$s_a=\left\{c_i^a\right|i=\mathrm{1,2},...,n\}$$s_b=\left\{c_i^b\right|i=\mathrm{1,2},...,m\}$步骤3：根据步骤2所得确定词义的句子，应用组合数学中的容斥原理计算句子s_a和s_b各自的信息量以及二者的总信息量，计算过程如下：句子s_a的信息量IC(s_a)的计算公式如式3所示：[式3]$\mathrm{IC}\left(s_a\right)=\underset{k=1}{\overset{n}{\Sigma }}{(-1)}^{k-1}\underset{1\le i_1<i_2<···<i_k\le n}{\Sigma }\mathrm{commonIC}(c_{i_1}^a,c_{i_2}^a,···,c_{i_k}^a)$其中，表示通过语义网的层次结构和语料库统计共同构建的语义信息空间，根据式4计算：[式4]$\mathrm{commonIC}(c_{i_1}^a,c_{i_2}^a,···,c_{i_k}^a)=\underset{c\in \mathrm{subsum}(c_{i_1}^a,c_{i_2}^a,···{,c}_{i_k}^a)}{\max }[-\log P\left(c\right)]$其中，为在语义网中包含概念的所有概念的集合；同理，把式3和式4中所有字母a替换成b，n替换成m，可得句子s_b的信息量；把句子s_a和s_b中所有不重复词语的集合看成一个新的句子，则通过式5得到句子s_a和s_b的总信息量IC(s_a∪s_b)：[式5]$\mathrm{IC}(s_a\cup s_b)=\underset{k=1}{\overset{p}{\Sigma }}{(-1)}^{k-1}\underset{1\le i_1<···<i_k\le p}{\Sigma }\mathrm{commonIC}(c_{i_1}^a,···,c_{i_k}^b)$其中，p为句子s_a和s_b不重复的词语的总数；步骤4：由并集和交集之间的关系定义两个句子s_a和s_b的公共信息量COMMONIC(s_a,s_b)，计算公式如式6所示：[式6]COMMONIC(s_a,s_b)＝IC(s_a)+IC(s_b)‑IC(s_a∪s_b)步骤5：根据Jaccard相关性原理，定义句子s_a和s_b的相似度sim(s_a,s_b)，计算公式如式7所示：[式7]$\mathrm{sim}(s_a,s_b)=\frac{\mathrm{COMMONIC}(s_a,s_b)}{\mathrm{IC}(s_a\cup s_b)}$步骤6：输出两个句子的相似度sim(s_a,s_b)。