面向迁移学的文本处理方法及其文本特征提取方法

摘要

本发明公开了一种面向迁移学的文本处理方法及其文本特征提取方法，其中的文本特征提权算法步骤为：针对所有训练文本进行文本特征的提取，得到候选文本特征，根据权值排序提取前面α*K个文本特征（α>1），在文本特征提取的第二阶段，把从第一阶段提取的α*K个文本特征，逐一计算文本特征的分布，计算文本特征的权值。将这α*K个文本特征按权重排序，选取权重最小的K个文本特征文本征。这K个文本特征即按本发明方法提取的文本特征。与现有技术相比，本发明的文本特征提取方法能够提高大大文本分类的准确率，并且使用该文本特征提取方法的面向迁移学的文本处理方法能够使提取到的特征既不过于倾向旧文本，也不单纯从少量的新文本中获得，从而提高文本分类的准确性。

主权项

一种面向迁移学习的文本特征提取方法，其特征在于，该方法包括以下步骤：第一个阶段：针对所有训练文本进行文本特征的提取，得到候选文本特征：训练文本中既包括少量新文本也包括大量旧文本，其中新文本来源于目标领域，旧文本来源于目标领域或者其它领域，经过第一阶段的文本特征提取过程，将其中包含领域信息较少，对文本区分度不高的文本特征过滤掉；对训练文本中包含的所有候选文本特征，计算其权值并排序，提取前面若干个作为第一阶段提取的文本特征，第一阶段提取的文本特征数量α*K个文本特征应该大于最终期望得到的数量，α>1；第二个阶段：对从第一阶段提取的α*K个文本特征t在新、旧文本中的分布进行度量，以判断某个文本特征在新、旧文本中的重要程度；采用公式（1）和（2）分别逐一计算α*K个文本特征t在新、旧文本中的分布；wsame(t，Csame)=f(t，Csame)*n(t，Csame)/N(Csame)（1）wdif(t，Cdif)=f(t，Cdif)*n(t，Cdif)/N(Cdif)（2）其中，Csame和Cdif分别表示训练文本中的新、旧文本，f(t，Csame)和f(t，Cdif)分别表示文本特征t在新、旧文本中出现的次数，n(t，Csame)和n(t，Cdif)分别表示新、旧文本中出现文本特征t的文本数，N(Csame)和N(Cdif)分别为新、旧文本中的文本总数，wsame(t，Csame)和wdif(t，Cdif)分别表示文本特征t在新、旧文本中的分布。再根据上述公式（2）和公式（3）的计算结果，逐一代入公式（3），计算文本特征t的权值max{wsame(t，Csame),wdif(t，Cdif)}/min{wsame(t，Csame),wdif(t，Cdif)}（3）将这α*K个文本特征按权重排序，选取权重最小的K个文本特征；所得到的这K个文本特征即按本发明方法提取的文本特征。