发明名称 利用二次互信息的中文文本术语抽取方法
摘要 本发明涉及一种利用二次互信息的中文文本术语抽取方法,属于计算机科学与自然语言处理技术。本发明首先基于核心词前后扩展,结合二次互信息、词频、词长和词性特征,将核心词扩展成多个候选术语,然后根据术语间的嵌套关系、词长、词频特征去除候选集中的冗余术语并对术语进行打分排序。本发明综合考虑了术语的语言规则和统计特征,提高了术语抽取的准确性。
申请公布号 CN106445921A 申请公布日期 2017.02.22
申请号 CN201610868390.3 申请日期 2016.09.29
申请人 北京理工大学 发明人 罗森林;陈倩柔;潘丽敏;吴舟婷
分类号 G06F17/27(2006.01)I 主分类号 G06F17/27(2006.01)I
代理机构 代理人
主权项 一种利用二次互信息的中文文本术语抽取方法,所述方法具体包括以下步骤:步骤1,对中文文本进行预处理;步骤1.1,对文本进行分词和词性标注;步骤1.2,将文本中的噪声字符替换成截断符号;步骤2,构建核心词集,根据词性标注结果,将具有名词词性且词频大于1的词作为核心词,存入核心词集中;步骤3,从核心词集中的第一个核心词开始,依次对核心词进行扩展生成候选术语;步骤3.1,从文本开始遍历,定位核心词向前扩展,特殊处理遇到连字符的情况;步骤3.2,在向前扩展的基础上,继续向后扩展;步骤3.3,计算由该核心词扩展生产的候选术语的字数是否大于2,如果满足条件,并且该候选术语不在已有的候选集合中,则将其加入候选集合,否则继续下一个步骤;步骤3.4,查找核心词出现的下一个位置,重复步骤3.1至3.3中的前后扩展过程,生成新的候选术语;步骤3.5,当文本内容遍历完成时,则继续扩展核心词集中的下一个核心词,重复步骤3.1至3.4,直到核心词集中的核心词都扩展完成为止;步骤4,对候选集中术语进行打分排序,选取前m个作为最终术语;步骤4.1,将候选术语在文本中出现的次数设为候选术语的初始分值;步骤4.2,将候选术语集合中冗余的候选术语打分为‑1;步骤4.3,结合术语中词语个数特征,重新计算候选术语分值;步骤4.4,去除分值小于零的候选术语,将剩余的候选术语按分值高低排序,选择前m个术语作为最终术语,其中,m取值范围为1‑10。
地址 100081 北京市海淀区中关村南大街5号