一种基于汉语复句的语义相关度计算方法

摘要

本发明涉及中文信息处理领域，提供一种基于汉语复句的语义相关度计算方法，本发明方法利用搜索引擎和汉语复句语料库统计特定词语的频率，同时考虑词语共现、关系标记搭配距离、词间距对语义相关度的影响，不仅能够计算词语的相关度，而且能够表明相关的性质与类别。与通过短文计算相关度的方法相比，本方法选取的计算对象范围小，因而结果更准确，且计算复杂度小。

主权项

一种基于汉语复句的语义相关度计算方法，其特征在于给定两个特定的词语c1、c2，计算c1、c2之间的语义相关度，该方法包括以下步骤：（1）在汉语复句语料库中，假设汉语复句语料库的总词量为W1，给定词c1在汉语复句语料库中出现的频数记为f(c1)，给定词c2在汉语复句语料库中出现的频数记为f(c2)，给定词c1与c2同时在一条复句中出现的频数记为f(c1,c2)；（2）对汉语复句语料库中抽取的复句进行依存句法分析，计算给定词c1和c2之间间隔的单词数，该单词数为c1和c2之间的跨度d；同时提取该复句不同分句中的关系标记以及关系标记间的搭配距离m；（3）假设搜索引擎的总索引量为W2，利用搜索引擎搜索给定词c1 ，其在网页中出现的频数记为f(c1’) ，利用搜索引擎搜索给定词c2，其在网页中出现的频数记为f(c2’)，给定词c1、c2在网页中同时出现的频数记为f(c1’,c2’)；（4）令W=W1+W2，F(c1)=f(c1)+f(c1’)，F(c2)=f(c2)+f(c2’)，F(c1,c2)=f(c1,c2)+f(c1’,c2’)，其中，F(c1)、F(c2)为c1、c2在汉语复句语料库和搜索引擎中共出现的频数，F(c1,c2)为c1、c2在汉语复句语料库和搜索引擎中共现的频数，为了尽可能将计算结果压缩在[0,1]区间内，对词语出现的频数取对数再进行概率计算，c1的概率计算公式为：；（5）给定词c1与c2共现的概率为：；（6）根据关系标记搭配理论，将词语共现作为语义相关度计算的考虑因素之一，提出如下语义相关度计算公式：；其中λ是一个可调节参数， 其取值范围是0~1；（7）相关度结果以向量V(v1,v2,…v13)的形式表示，其中，v1~v12分别表示12种关系类别：因果、推断、假设、条件、目的、并列、连贯、递进、选择、转折、让步、假转的值，v13为其它不明确类型的相关度。