一种决策级中文分词融合方法

摘要

本发明公开了一种决策级中文分词融合方法，属于自然语言处理和智能信息处理领域。本方法首先利用三种分词工具对中文文本中的句子进行分词，并对分词结果进行预处理，利用整型数组保存每个分词工具的分词结果。然后采用决策级分词融合模型进行分词，决策级分词融合模型为分层的融合结构，包括特征级和决策级，最后采用一种基于Web的方法识别句子中的未登录词。本方法通过采用决策级融合方式进行分词结果融合，有效提高了分词结果的准确性。本发明在信息检索、文本分类、主题检测、网络内容监控等领域具有广阔的应用前景。

主权项

一种决策级中文分词融合方法，其特征在于包括以下步骤：步骤一、利用任意三个中文分词工具分别对待处理文本中的句子进行分词；步骤二、对得到的三个分词结果进行预处理，具体如下：将待处理句子保存为字符串数组{s₁,s₂,…,s_n}，其中，n为自然数，表示句子中所有字符的个数，每个数组元素s_i(i＝1,2,…,n)代表单个汉字、标点符号、数字或英文字符；获取三个分词工具的分词结果，连续的两个词语之间用一个空格分隔；同时，构建三个整型数组，分别记录三个分词结果中每个非空格字符的位置索引，即，整型数组元素记录字符串数组{s₁,s₂,…,s_n}中s_i(i＝1,2,…,n)在分词结果中的位置索引；步骤三、对字符串数组{s₁,s₂,…,s_n}和三个整型数组，利用决策级分词融合方法进行分词，具体如下：首先，设三个整型数组为A＝{a₁,a₂,…,a_n}、B＝{b₁,b₂,…,b_n}、C＝{c₁,c₂,…,c_n}，分别记录第一个、第二个、第三个分词结果中s₁,s₂,…,s_n的位置索引，设三个分词工具的准确率为p₁,p₂,p₃；对于待处理句子的第i个字符s_i和第i+1个字符s_i+1，在分词结果中二者之间要么存在词语分隔标记空格，要么不存在空格；对于第i个和第i+1个字符在分词结果中的位置索引a_i和a_i+1，只能满足下述关系之一：若第i个字符和第i+1个字符之间不存在空格，则a_i+1＝a_i+1；若它们之间存在空格，则a_i+1＝a_i+2；对于第i个和第i+1个字符在三个分词结果中的位置索引a_i,,b_i,c_i和a_i+₁,b_i+₁,c_i+1，若a_i＝b_i＝c_i，由于在分词结果中第i个字符与第i+1个字符之间只能存在空格或者不存在空格，因此a_i+1,b_i+1,c_i+1中任意两者要么相等，要么差值为1，此外，a_i+1,b_i+1,c_i+1中至少存在两者相等；在分词过程中，在判别第i(i＝1,2,…,n)个字符的位置索引后，将三个整型数组中记录该字符在三个分词结果中的位置索引都赋值为分词融合方法中第i个字符的位置索引；然后，采用决策级分词融合方法进行分词；过程如下：对于待处理句子的第一个字符s₁，有a₁＝b₁＝c₁＝1，则判别第1个字符的位置索引为a₁；对于待处理句子的第i(i＝2,…,n)个字符，若a_i＝b_i＝c_i，则判别第i个字符的位置索引为a_i；若a_i＝b_i＝c_i不成立，根据整型数组的特征可知三个整型数组中记录三种分词结果的第i‑1个字符的位置索引相同，即a_i‑1＝b_i‑1＝c_i‑1，并且a_i,,b_i,c_i中存在两个数组元素的值相等；若a_i＝b_i，则第i个字符在分词融合结果中的位置索引为a_i的概率p＝p₁+p₂+(1‑p₃)；若a_i＝c_i，则第i个字符在分词融合结果中的位置索引为a_i的概率p＝p₁+(1‑p₂)+p₃；若b_i＝c_i，则第i个字符在分词融合结果中的位置索引为b_i的概率p＝(1‑p₁)+p₂+p₃；当a_i＝b_i时，若p≥0.5，则判别第i个字符的位置索引为a_i；若a_i<c_i，根据整型数组的特征，可知a_i+1＝c_i；将第三个分词结果的整型数组中第i个元素至最后一个元素的值减1；若a_i>c_i，根据整型数组的特征可知a_i＝c_i+1；将第三个分词结果的整型数组中第i个元素至最后一个元素的值加1，然后继续处理第i+1个字符；当a_i＝b_i时，若p<0.5，则判别第i个字符的位置索引为c_i；若a_i<c_i，根据整型数组的特征，可知a_i+1＝c_i；将第一个和第二个分词结果的两个整型数组中第i个元素至最后一个元素的值加1；若a_i>c_i，根据整型数组的特征，可知a_i＝c_i+1；将第一个和第二个分词结果的两个整型数组中第i个元素至最后一个元素的值减1；继续处理第i+1个字符；当a_i＝c_i时，若p≥0.5，则判别第i个字符的位置索引为a_i；若a_i<b_i，根据整型数组的特征，可知a_i+1＝b_i；将第二个分词结果的整型数组中第i个元素至最后一个元素的值减1；若a_i>b_i，根据整型数组的特征，可知a_i＝b_i+1；将第二个分词结果的整型数组中第i个元素至最后一个元素的值加1，然后继续处理第i+1个字符；当a_i＝c_i时，若p<0.5，则判别第i个字符的位置索引为b_i；若a_i<b_i，根据整型数组的特征，可知a_i+1＝b_i；将第一个和第三个分词结果的两个整型数组中第i个元素至最后一个元素的值加1；若a_i>b_i，根据整型数组的特征，可知a_i＝b_i+1；将第一个和第三个分词结果的两个整型数组中第i个元素至最后一个元素的值减1；继续处理第i+1个字符；当b_i＝c_i时，若p≥0.5，则判别第i个字符的位置索引为b_i；若b_i<a_i，根据整型数组的特征，可知b_i+1＝a_i；将第一个分词结果的整型数组中第i个元素至最后一个元素的值减1；若b_i>a_i，根据整型数组的特征，可知b_i＝a_i+1；将第一个分词结果的整型数组中第i个元素至最后一个元素的值加1，然后继续处理第i+1个字符；当b_i＝c_i时，若p<0.5，则判别第i个字符的位置索引为a_i；若b_i<a_i，根据整型数组的特征，可知b_i+1＝a_i；将第二个和第三个分词结果的两个整型数组中第i个元素至最后一个元素的值加1；若b_i>a_i，根据整型数组的特征，可知b_i＝a_i+1；将第二个和第三个分词结果的两个整型数组中第i个元素至最后一个元素的值减1；继续处理第i+1个字符，重复上述过程直至处理完句子中所有字符；步骤四、对未登录词进行识别，具体如下：设k＝1，k为整数；第一步，在对句子分词的结果中，从第k个词语开始，分别将连续两个、三个、四个相邻的词语合并为候选未登录词w₁,w₂,w₃；第二步，将候选未登录词作为关键词提交到网络上搜索候选未登录词；第三步，判断候选未登录词是否为有效的未登录词；判断依据是候选未登录词在网络中存在相应的百科页面；具体而言，在网络页面返回结果的超文本标记语言Html源码中<title>标签包含候选未登录词；若w₃为未登录词，则设置k＝k+4，执行第四步，否则判断w₂是否为未登录词；若w₂为未登录词，则设置k＝k+3，执行第四步，否则判断w₁是否为未登录词；若w₁为未登录词，则设置k＝k+2，执行第四步，否则设置k＝k+1，执行第四步；第四步，若k<n，则返回第一步执行，否则结束循环。