发明名称 |
一种文本维度压缩及尺度调整方法以及基于此的分类方法 |
摘要 |
本发明提供一种文本维度压缩及尺度调整方法,包括下列步骤:1)用特征空间的特征向量表示文本x<sub>j</sub>;2)根据训练集中的样本x计算文本x<sub>j</sub>待投影的k个方向,其中k为文本x<sub>j</sub>所属语料的类别个数;3)将文本x<sub>j</sub>投影到该k个方向,表示为(x<sub>j,1</sub><sup>N</sup>,…,x<sub>j,i</sub><sup>N</sup>,…,x<sub>j,k</sub><sup>N</sup>),其中1≤i≤k;4)根据训练集中的样本x计算每个类C<sub>i</sub>在对应方向上投影的尺度相关统计量;5)根据所述(x<sub>j,1</sub><sup>N</sup>,…,x<sub>j,i</sub><sup>N</sup>,…,x<sub>j,k</sub><sup>N</sup>)和所述尺度相关统计量,计算所述文本x<sub>j</sub>的新的表示(x<sub>j,1</sub><sup>R</sup>,…,x<sub>j,i</sub><sup>R</sup>,…,x<sub>j,k</sub><sup>R</sup>)。根据本发明的文本维度压缩及尺度调整方法对文本空间进行处理,不仅降低了语料的维度,还使语料的分布更为合理,该方法的应用使文本分类的精度有效提高。 |
申请公布号 |
CN101464907A |
申请公布日期 |
2009.06.24 |
申请号 |
CN200910076589.2 |
申请日期 |
2009.01.09 |
申请人 |
中国科学院计算技术研究所 |
发明人 |
曾依灵;许洪波;吴高巍 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京泛华伟业知识产权代理有限公司 |
代理人 |
王 勇 |
主权项 |
1. 一种文本维度压缩及尺度调整方法,包括下列步骤:1)用特征空间的特征向量表示文本xj;2)根据训练集中的样本x计算所述文本xj待投影的k个方向,其中k为文本xj所属语料的类别个数;3)将所述文本xj投影到所述k个方向,表示为其中1≤i≤k;4)根据训练集中的样本x计算每个类Ci在对应方向上投影的尺度相关统计量;5)根据所述和所述尺度相关统计量,计算所述文本xj的新的表示 |
地址 |
100190北京市海淀区中关村科学院南路6号 |