一种对文本进行分类的方法及装置

摘要

本发明公开了一种对文本进行分类的方法及装置，所述方法包括：构建一个类别空间，该类别空间包括多个坐标轴，每个坐标轴代表一个文本类别；计算任一训练文本中所包含词项在所述类别空间中的表示向量，获得训练文本集所有词项在所述类别空间中的表示向量；根据待分类文本所包含的词项及所述词项在所述类别空间中的表示向量，获得待分类文本在所述类别空间中的表示向量；计算所述待分类文本在所述类别空间中的表示向量与所述类别空间中各个坐标轴对应的基向量的余弦相似度值；将最大的余弦相似度值所对应的坐标轴所代表的文本类别作为待分类文本的类别。应用本发明，可以根据文本内容所表达的含义准确、高效的对高维文本进行分类。

主权项

1.一种对文本进行分类的方法，其特征在于，包括：构建一个类别空间，所述类别空间包括多个坐标轴，每个坐标轴代表一个文本类别；计算任一训练文本中所包含词项在所述类别空间中的表示向量，获得训练文本集所有词项在所述类别空间中的表示向量；根据待分类文本所包含的词项及所述词项在所述类别空间中的表示向量，获得待分类文本在所述类别空间中的表示向量；计算所述待分类文本在所述类别空间中的表示向量与所述类别空间中各个坐标轴对应的基向量的余弦相似度值；将最大的余弦相似度值所对应的坐标轴所代表的文本类别作为待分类文本的类别；计算任一训练文本中所包含词项在所述类别空间中的表示向量，获得训练文本集所有词项在所述类别空间中的表示向量的步骤包括：1）计算词项t_k在类别C_m中的频率TCF_kmTCF_km=γ_mtcf(t_k,C_m)其中tcf(t_k，C_m)为词项t_k在文本类别C_m中出现的次数，γ_m为权值，通常取1或t_k表示词项，k∈{1，…,S}，S表示词典中词项数量，N表示文档集中文档数量，文本类别集合C={C_m}，m∈{1，…,M}，文本类别总数为M；2）计算词项t_k的类别频率CF_k，CF_k=包含词项t_k的类别数量，其中，CF_k记作cf_k；3）计算词项t_k的逆向类别频率ICF_k${\mathrm{ICF}}_k={\log }_2\frac{M}{{\mathrm{cf}}_k}$4）计算词项t_k在类别C_m中的权重w_km$w_{\mathrm{km}}={\mathrm{TCF}}_{\mathrm{km}}\times {\mathrm{ICF}}_k={\gamma }_m\mathrm{tcf}(t_k,C_m){\log }_2\left(\frac{M}{{\mathrm{cf}}_k}\right)$5）计算训练文本集所有词项在所述类别空间中的表示向量$t_k=(w_{k1}^{\prime },w_{k2}^{\prime },...,w_{\mathrm{kM}}^{\prime })=(\frac{w_{k1}}{\sqrt{\underset{m=1}{\overset{M}{\Sigma }}{w}_{\mathrm{km}}^2}},\frac{w_{k2}}{\sqrt{\underset{m=1}{\overset{M}{\Sigma }}{w}_{\mathrm{km}}^2}},...,\frac{w_{\mathrm{kM}}}{\sqrt{\underset{m=1}{\overset{M}{\Sigma }}{w}_{\mathrm{km}}^2}})$其中，w′_k1，w′_k2，...，w′_kM分别代表w_k1,w_k2,...,w_kM经过向量归一化处理后的权重值。