发明名称 一种文本维度压缩及尺度调整方法以及基于此的分类方法
摘要 本发明提供一种文本维度压缩及尺度调整方法,包括下列步骤:1)用特征空间的特征向量表示文本x<sub>j</sub>;2)根据训练集中的样本x计算文本x<sub>j</sub>待投影的k个方向,其中k为文本x<sub>j</sub>所属语料的类别个数;3)将文本x<sub>j</sub>投影到该k个方向,表示为(x<sub>j,1</sub><sup>N</sup>,…,x<sub>j,i</sub><sup>N</sup>,…,x<sub>j,k</sub><sup>N</sup>),其中1≤i≤k;4)根据训练集中的样本x计算每个类C<sub>i</sub>在对应方向上投影的尺度相关统计量;5)根据所述(x<sub>j,1</sub><sup>N</sup>,…,x<sub>j,i</sub><sup>N</sup>,…,x<sub>j,k</sub><sup>N</sup>)和所述尺度相关统计量,计算所述文本x<sub>j</sub>的新的表示(x<sub>j,1</sub><sup>R</sup>,…,x<sub>j,i</sub><sup>R</sup>,…,x<sub>j,k</sub><sup>R</sup>)。根据本发明的文本维度压缩及尺度调整方法对文本空间进行处理,不仅降低了语料的维度,还使语料的分布更为合理,该方法的应用使文本分类的精度有效提高。
申请公布号 CN101464907A 申请公布日期 2009.06.24
申请号 CN200910076589.2 申请日期 2009.01.09
申请人 中国科学院计算技术研究所 发明人 曾依灵;许洪波;吴高巍
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 北京泛华伟业知识产权代理有限公司 代理人 王 勇
主权项 1. 一种文本维度压缩及尺度调整方法,包括下列步骤:1)用特征空间的特征向量表示文本xj;2)根据训练集中的样本x计算所述文本xj待投影的k个方向,其中k为文本xj所属语料的类别个数;3)将所述文本xj投影到所述k个方向,表示为其中1≤i≤k;4)根据训练集中的样本x计算每个类Ci在对应方向上投影的尺度相关统计量;5)根据所述和所述尺度相关统计量,计算所述文本xj的新的表示
地址 100190北京市海淀区中关村科学院南路6号