主权项 |
一种利用二次互信息的中文文本术语抽取方法,所述方法具体包括以下步骤:步骤1,对中文文本进行预处理;步骤1.1,对文本进行分词和词性标注;步骤1.2,将文本中的噪声字符替换成截断符号;步骤2,构建核心词集,根据词性标注结果,将具有名词词性且词频大于1的词作为核心词,存入核心词集中;步骤3,从核心词集中的第一个核心词开始,依次对核心词进行扩展生成候选术语;步骤3.1,从文本开始遍历,定位核心词向前扩展,特殊处理遇到连字符的情况;步骤3.2,在向前扩展的基础上,继续向后扩展;步骤3.3,计算由该核心词扩展生产的候选术语的字数是否大于2,如果满足条件,并且该候选术语不在已有的候选集合中,则将其加入候选集合,否则继续下一个步骤;步骤3.4,查找核心词出现的下一个位置,重复步骤3.1至3.3中的前后扩展过程,生成新的候选术语;步骤3.5,当文本内容遍历完成时,则继续扩展核心词集中的下一个核心词,重复步骤3.1至3.4,直到核心词集中的核心词都扩展完成为止;步骤4,对候选集中术语进行打分排序,选取前m个作为最终术语;步骤4.1,将候选术语在文本中出现的次数设为候选术语的初始分值;步骤4.2,将候选术语集合中冗余的候选术语打分为‑1;步骤4.3,结合术语中词语个数特征,重新计算候选术语分值;步骤4.4,去除分值小于零的候选术语,将剩余的候选术语按分值高低排序,选择前m个术语作为最终术语,其中,m取值范围为1‑10。 |