基于信息增益改进贝叶斯词义消歧方法

摘要

本发明提出了一种基于信息增益改进贝叶斯词义消歧方法。该方法采用“知网”(HowNet)作为消歧资源，通过知网中的义项来描述和区分词在上下文中的词义，利用人民日报标注语料库，对歧义词进行词义义项标注，构建了词义消歧语料库。采用信息增益方法对语料进行统计，计算出歧义词上下文不同位置信息增益值，根据信息增益值选取影响岐义词前后6个位置词构建词义消歧特征向量，采用贝叶斯算法，通过信息增益为特征向量12维特征赋予不同的权重值，构建了改进贝叶斯词义消歧模型。对10个汉语常用歧义词进行消歧测试实验，结果证明该方法有效，其中封闭测试正确率达95.72％，开放测试正确率达85.71％。

主权项

1.一种基于信息增益改进贝叶斯词义消歧方法，其特征在于该方法包括：(1)利用知网的义项描叙多义词词义，以构建词义消歧训练、测试语料库；(2)利用《人民日报》中统计所得到的1000高频词构成的词语集合，采用信息增益的方法统计并获得基于语料库的上下文位置权重统计性平均结果，从而确定上下文范围和各位置上下文的权值；(3)在训练语料库中统计多义词出现的概率，确定贝叶斯模型的参数；(4)根据步骤(2)的结果，改进贝叶斯模型中特征向量的取值和计算；(5)在数据平滑处理中，采用“Add One”的平滑方法；(6)根据步骤(3)、(4)和(5)，确定多义词最终的义项。