发明名称 建立词条分类模型的方法、词条自动分类的方法和装置
摘要 本发明提供了一种建立词条分类模型的方法、词条自动分类的方法和装置,基于预设的层次类目结构,自动建立各级类目的词条分类模型,并利用建立的各级类目的词条分类模型,自动实现层次化类目的词条自动分类,相比较人工标注的方式,节约了人力资源,提高了分类效率,避免了不同分类人员的标注和素质不统一对分类准确性带来的影响,提高了分类准确性。
申请公布号 CN103123636B 申请公布日期 2016.04.27
申请号 CN201110371962.4 申请日期 2011.11.21
申请人 北京百度网讯科技有限公司 发明人 薛永刚;李连华;耿磊;刘晓东;田孟月
分类号 G06F17/30(2006.01)I;G06F17/27(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 北京鸿德海业知识产权代理事务所(普通合伙) 11412 代理人 袁媛
主权项 一种建立词条分类模型的方法,该方法基于预设的层次类目结构,其特征在于,该方法包括:S11、将具有所述层次类目结构中一级类目的类别标签的词条作为训练语料,执行模型训练操作训练出一级类目的词条分类模型;S12、将具有子类目的一级类目作为当前类目,分别执行步骤S13;S13、将具有当前类目下一级子类目的类别标签的词条作为训练语料,执行模型训练操作训练出当前类目对应的下一级子类目的词条分类模型;S14、将具有子类目的所述下一级子类目作为当前类目,重复执行所述步骤S13,直至不存在下一级子类目为止;所述模型训练操作包括:获取训练语料,确定训练语料中各词条的特征向量,利用各词条的特征向量以及各词条已具有的类别标签训练分类器,得到词条分类模型;其中确定词条的特征向量包括:对词条对应的百科页面的各数据域内容进行分词处理得到各词语;对各词语基于词频TF‑逆向文档频率IDF赋予各词语在对应数据域中的权重;将各词语在各数据域中的权重进行融合分别得到各词语的权重,由各词语以及各词语的权重构成该词条的特征向量。
地址 100085 北京市海淀区上地十街10号百度大厦2层