一种基于随机特征子空间的半监督文本情感分类方法

摘要

本发明公开了一种基于随机特征子空间的半监督文本情感分类方法，包括：1获取评论文本数据并进行预处理，构建全局特征集合；2将所有评论文本表示成向量形式；3标注部分评论文本，获得有标记样本集和未标记样本集；4计算全局特征集合中所有特征词的特征权重；5构建随机子空间；6利用未标记样本进行协同训练，最终得到Z个分类器；7利用主投票的方式对Z个分类器进行集成，得到最终的集成分类器。本发明解决传统协同训练算法训练过程中存在大量误分的样本，以及半监督文本情感分类方法中各基分类器差异性小的问题，从而提高文本情感分类方法的准确性。

主权项

一种基于随机特征子空间的半监督文本情感分类方法，其特征是按如下步骤进行：步骤1、构建全局特征集合T：步骤1.1、获取n条评论文本构成评论文本集合D，记为D＝{d₁,d₂,…d_i…,d_n},d_i表示所述评论文本集合D中的第i个评论文本；1≤i≤n；n表示所述评论文本集合D中的评论文本总数；步骤1.2、去除所述评论文本集合D中所有停用词，并用N‑gram的方法来表示第i个评论文本d_i的特征，从而获得第i个评论文本d_i的特征集合表示第i个特征集合T_i中第s_i个特征词，r_i表示所述第i个特征集合T_i中的特征总数，1≤s_i≤r_i；步骤1.3、将n个评论文本的特征集合取并集，从而构成所述评论文本集合D的全局特征集合T＝{t₁,t₂,…,t_c,…,t_m}，t_c表示所述全局特征集合T中第c个特征词，m表示所述全局特征集合T的特征词总数，1≤c≤m；步骤2、将所述评论文本集合D表示成向量形式：步骤2.1、将所述评论文本集合D中的所有评论文本映射到所述全局特征集合T上，并利用TF‑IDF计算第i个评论文本d_i中第c个特征词t_c的权值w_c,i；步骤2.2、重复步骤2.1，从而获得第i个评论文本d_i中m个特征词在所述全局特征集合T上的权值W_i＝{w_1,i,w_2,i,…,w_c,i,…,w_m,i}，从而获得n条评论文本的权值{W₁,W₂，…,W_i,…,W_n}；步骤2.3、将第i个评论文本d_i表示成向量形式：x_i＝{(t₁,w_1,i),(t₂,w_2,i),...,(t_c,w_c,i),…,(t_m,w_m,i)}；从而获得n条评论文本的向量形式：{x₁,x₂,…,x_i,…,x_n}；步骤3、对所述评论文本集D中l个评论文本进行情感极性标注，获得标记样本集，记为L＝{(x₁,y₁),(x₂,y₂),…,(x_q,y_q),…,(x_l,y_l)}，x_q表示所述标记样本集L中第q个评论文本的向量形式；y_q表示所述标记样本集L中第q个评论文本的向量形式x_q的情感标记，并有y_q∈Y＝{Ω₁,Ω₂,…,Ω_λ,…,Ω_τ}，Y表示标记样本集L的情感标记总集，Ω_λ表示第λ个情感标记；τ表示所述情感标记的总数，τ≥2；l表示所述标记样本集L的评论文本总数，1≤q≤l≤n，1≤λ≤τ；则所述评论文本集D中剩余的n‑l个文本作为未标记样本集，记为U＝{x_l+1,x_l+2,…,x_l+b,…,x_l+u}，x_l+b表示所述未标记样本集U中的第b个评论文本的向量形式，u表示所述未标记样本集U中的评论文本总数，1≤b≤u；步骤4、计算全局特征集合T中的所有特征词的特征权重：步骤4.1、根据所述标记样本集L，使用Lasso方法计算所述全局特征集合T中第c个特征词t_c与所述情感标记总集Y中每个情感标记的关联性强度，获得第c个特征词t_c的重要性得分γ_c；从而获得m个特征词的重要性得分集合γ＝{γ₁,γ₂,…,γ_c,…,γ_m}；步骤4.2、利用式(1)对所述第c个特征词t_c的重要性得分γ_c进行归一化处理，获得第c个特征词t_c的特征权重δ_c，从而获得m个特征词的特征权重集合δ＝{δ₁,δ₂,…,δ_c,…,δ_m}，γ_θ表示第θ个特征词t_θ的重要性得分，1≤θ≤m：${\delta }_c=\frac{\left|{\gamma }_c\right|}{\underset{\theta =1}{\overset{m}{\Sigma }}\left|{\gamma }_{\theta }\right|}---\left(1\right)$步骤5、构建r维的随机子空间：步骤5.1、定义抽出次数为z，定义随机子空间总数为Z；并初始化z＝1；步骤5.2、以第c个特征权重δ_c作为所述第c个特征词t_c的抽取概率，从所述全局特征集合T中随机抽取r个特征词，构成第z次抽取的投影矩阵表示第z次抽取的第g个特征词；1≤g≤r≤m；步骤5.3、分别将所述标记样本集L和未标记样本集U分别投影到所述第z次抽取的投影矩阵V_z上，从而分别构成第z个标记样本的随机子空间和第z个未标记样本的随机子空间表示所述第z个标记样本的随机子空间中第q个评论文本的向量形式；并有表示所述第z个未标记样本的随机子空间中第b个评论文本的向量形式，并有：步骤5.4、将z+1赋值给z，并重复步骤5.2和步骤5.3，直到z＝Z为止；从而获得Z个标记样本集L的随机子空间集合和Z个未标记样本集U的随机子空间集合步骤6、利用所述未标记样本集U进行学习，得到最终的分类器集合步骤6.1、定义迭代次数为j，最大迭代次数为J；并初始化j＝1；步骤6.2、以SVM作为基分类器，以第j次迭代的Z个标记样本集L的随机子空间集合作为第j次训练样本，并在所述第j次训练样本上进行训练，获得第j次迭代的Z个分类器集合表示第j次迭代的第z个分类器；步骤6.3、定义被帮助分类器为f_a，并初始化a＝1；步骤6.4、选取第j次迭代的第a个分类器作为被帮助分类器，则除第j次迭代的第a个分类器以外的(Z‑1)个分类器，作为帮助分类器；步骤6.5、利用所述(Z‑1)个帮助分类器对第j次迭代的(Z‑1)个未标记样本集U的随机子空间集合中每个元素的第b个样本组成的集合进行预测；从而获得第j次迭代的第b个样本的情感标记集合，记为表示第j次迭代的第z个未标记样本的随机子空间中的第b个样本的向量形式的情感标记；并有步骤6.6、利用式(2)获得所述情感标记集合y_(l+b),j中为第λ个情感标记Ω_λ的置信度从而获得所述第b个样本的情感标记集合y_(l+b),j中分别为τ个情感标记的置信度集合式(2)中，表示第λ个情感标记Ω_λ在情感标记集合y_(l+b),j中出现的次数；步骤6.7、重复步骤6.5和步骤6.6，从而分别获得第j次迭代的u个样本的情感标记集合，记为{y_(l+1),j,y_(l+2),j,…,y_(l+b),j,…y_(l+u),j}以及第j次迭代的u个样本的情感标记的置信度集合，记为步骤6.8、从所述第j次迭代的置信度集合中选取前ψ_λ个置信度最高的第λ个情感标记Ω_λ所对应的样本；并判断所选取的ψ_λ个样本的置信度是否均大于置信度阈值σ，若均大于，则将所选取的ψ_λ个样本加入第j次迭代的第a个候选样本集合中；否则，从所选取的ψ_λ个样本中删除置信度小于所述置信度阈值σ的样本，获得剩余的ψ′_λ个样本，并将ψ′_λ赋值给ψ_λ，从而将ψ_λ个样本加入第j次迭代的第a个候选样本集合中；步骤6.9、重复步骤6.8，从而使得τ个情感标记所对应的个样本均加入所述第j次迭代的第a个选样本集合中；步骤6.10、将所述第j次迭代的第a个候选样本集合中所有样本以及与其相对应的τ个情感标记，均加入到所述第j次迭代的第a个标记样本的随机子空间中，从而获得更新的第a个标记样本的随机子空间步骤6.11、将a+1赋值给a，并返回步骤6.4顺序执行，直到a＝Z；从而获得第j次迭代的Z个候选样本集合以及第j次迭代的更新的Z个标记样本集L的随机子空间集合步骤6.12、将第j次迭代的Z个候选样本集合取并集，获得优化的第j次迭代的候选样本集合Φ_j，并将所述优化的第j次迭代的候选样本集合Φ_j从所述第j次迭代的Z个未标记样本集U的随机子空间集合中删除，获得更新的第j+1次迭代的Z个未标记样本集U的随机子空间集合并重新计算未标记样本集U的未标记样本数为u′，并将u′赋值给u；步骤6.12、判断均为空集或Z次所添加的样本数量均为零是否满足，若满足，则结束第j+1次迭代，并将第j次迭代的Z个分类器作为最终的分类器集合若没有满足，则将j+1赋值给j；并返回步骤6.2，直至j＝J，并将第J次迭代的Z个分类器作为最终的分类器集合步骤7、利用式(3)，以主投票的方式将Z个分类器进行集成，从而获得最终的集成分类器F(x_ε)；$F\left(x_{ϵ}\right)=\arg {\max }_{{\Omega }_{\lambda }\in Y}\underset{z=1}{\overset{Z}{\Sigma }}{\beta }_{\lambda }---\left(3\right)$式(3)中，x_ε表示任意需要标记样本的向量表示，β_λ表示分类器f_z^(final)是否将任意需要标记样本的向量表示x_ε的情感标记预测为Ω_λ，其值可根据式(4)计算得到；${\beta }_{\lambda }=\left\{\begin{array}{c}1,f_z^{\left(final\right)}\left(x_{ϵ}\right)={\Omega }_{\lambda }\\ 0,f_z^{\left(final\right)}\left(x_{ϵ}\right)\ne {\Omega }_{\lambda }\end{array}\right.---\left(4\right)$式(4)中，表示分类器对任意需要标记样本的向量表示x_ε进行预测的結果。