融合关键词学的支持向量机文本分类增量训练学方法

摘要

本发明属于智能信息处理技术，具体涉及一种融合关键词学的支持向量机文本分类增量训练学方法。现有的方法忽略了随着增量训练而应有的文档关键词的学问题，使得增量训练效果要低于非增量的一次性训练。本发明针对关键词在训练中的重要作用，提出了同步考虑关键词“增量”学的方法，在增量训练过程中，同时进行分类关键词的学与调节，从而消除了增量训练相对于一次性训练的不足。本发明所提出的融合关键词学的增量训练方法可获得与一次性训练相一致的分类精度，优于没有进行关键词学的方法。

主权项

1.一种融合关键词学习的支持向量机文本分类增量训练学习方法，其特征在于包括以下步骤：第一、类别关键词的学习与调整将增量训练学习分为分类关键词学习与支持向量优化训练两个方面，在获得用于增量训练的文档后，进行文档切分、关键词提取，然后结合以前的关键词集合，进行相应的关键词学习与调整，步骤如下：1)若增量训练文档中的关键词tk已存在于原关键词集合中，则将该关键词对应的所出现的训练文档数nk加1；若为新关键词，则将该关键词增加到关键词集合中，并将其相应的所出现的训练文档数置设为1；2)所有用于增量训练的文档进行步骤1)的关键词调整完成后，将新增的训练文档数与原总训练文档数相加，作为新的总训练文档数N；3)对调整后的关键词集合中相应的关键词倒排文档频率(idf)进行重新计算；第二、支持向量的权重调整关键词的学习完毕后，需要对原支持向量进行权重调整，具体方法是用新的关键词idf′替换旧的关键词idf：$w_j^{\prime }=\frac{w_j*{\mathrm{idf}}_j^{\prime }}{{\mathrm{idf}}_j}$ 其中，wj代表关键词tj的权重；第三、支持向量机优化训练将新增加的增量训练文档向量与调整后的原支持向量集合中的支持向量进行合并，重新进行SVM的二次规划优化训练，以获得新的分类模型及新的支持向量集合，用于新的分类处理。