一种基于特征项选择与权重计算的文本分类方法

摘要

本发明公开了一种基于特征项选择及权重计算的文本分类方法，对分析整理得到的语料训练集，在传统的TF-IDF特征项权重计算基础上，根据CHI卡方统计考虑特征项与不同类别之间的相关度、特征项的信息熵考虑特征项类内的平均分布情况对特征项的权重进行调整。再根据特征项类间权重差对特征项进行评估、选择。将训练集文本与待分类文本分别以特征子空间中的特征项表示成向量的形式。计算待分类文本和训练集文本之间的相似度，来确定待分类文本的类别。由于在特征项选择及权重计算过程中，在TF-IDF基础上综合考虑了特征项在类间类内的分布情况，提高了特征项选择的准确度，有效降低特征项维数，从而提高文本分类的效率和精度。

主权项

一种基于特征项选择及权重计算的文本分类方法，包括以下步骤：(1)、收集不同类别文本，分析整理后按类别归入语料训练集；(2)、对语料训练集的文本进行预处理，包括分词、去除停用词、统计特征项词频数；(3)、利用改进TF‑IDF函数计算各文本特征项权重，改进TF‑IDF函数公式为：w(t_k,T_j)＝tf(t_k,T_j)×idf(t_k)×χ²(t_k,C_i)×H(t_k,C_i)其中：w(t_k,T_j)表示文本T_j中特征项t_k的权重值；tf(t_k,T_j)表示特征项t_k在文本T_j中的词频数；表示特征项t_k的逆文本频率，其中N表示语料训练集中文本总数，N_k表示训练集中包含特征项t_k的文本数；${\chi }^2(t_k,C_i)=\frac{N{(\mathrm{AD}-\mathrm{BC})}^2}{(A+C)(B+D)(A+B)(C+D)},$表示特征项t_k与类别C_i之间的相关度，其中A为包含特征项t_k且属于类别C_i的文本数，B为包含特征项t_k但不属于类别C_i的文本数，C为不包含特征项t_k但属于类别C_i的文本数，D为不包含特征项t_k也不属于类别C_i的文本数，N表示语料训练集中文本总数；表示特征项t_k在类别C_i内的分布信息熵，其中表示类别C_i内特征项t_k在文本T_j中的分布概率，tf(t_k,T_j)表示特征项t_k在文本T_j中的词频数，表示类别C_i内特征项t_k的总词频，n表示类别C_i的文本总数；(4)、计算特征项类间差，评估特征项，特征项评估函数公式为：Q(t_k)＝Max(w(t_k,C_i))‑lessMax(w(t_k,C_i))(i＝1...S)其中，Q(t_k)表示特征项类间权重最大值与次大值之差，S表示语料训练集中文本分为S个类别，是类别C_i中所有n篇文本中特征项t_k的权重之和，Max(w(t_k,C_i))与lessMax(w(t_k,C_i))分别求出S个w(t_k,C_i)中的最大值和次大值；根据实际需要设置特征项评估差值的阈值P，若Q(t_k)≥P，则将特征项t_k加入特征子空间；若Q(t_k)<P，将此特征项t_k舍弃，完成对文本特征空间的降维操作，形成特征子空间；(5)、构建分类器，将语料训练集文本表示为向量形式T_j(ω_j1,ω_j2,ω_jk…,ω_jm)，其中ω_jk为文本T_j中特征子空间包含的特征项t_k的权重，m表示特征子空间包含的特征项个数；对待分类文本T_i进行分词、去除停用词处理，统计特征子空间中所有特征项在文本T_i中的词频，采用改进TF‑IDF函数计算各特征项权重，将T_i也表示成向量的形式：T_i(ω_i1,ω_i2,ω_ik…,ω_im)；计算T_i(ω_i1,ω_i2,ω_ik…,ω_im)与所有T_j(ω_j1,ω_j2,ω_jk…,ω_jm)的夹角余弦值，当夹角余弦值最大，说明文本T_i与文本T_j的相似度最大，则将文本T_i归入该文本T_j所属的类别中。