一种基于术语频率和卡方统计的文本分类特征选择方法

摘要

本发明提供一种基于术语频率和卡方统计的文本分类特征选择方法，包括如下步骤：对数据集预处理；把每一个数据对象转换为特征空间的向量；分别计算每个术语在每个文本分类中的最大术语频率和平均术语频率；根据平均术语频率计算术语在每个类中的分布差异度；将每个术语的最大术语频率和分布差异度与传统的卡方统计公式相结合，计算每个术语在每个类中的权重，并取最大值为术语权重；将每个术语权重降序排序，选出权重值最大的前N个术语作为特征。本发明通过对传统的卡方统计进行改进，使在某类出现频率较高的或类内分布均匀的特征项对类别区分的贡献度得到体现，并修正了传统卡方统计方法偏向于低频词的不足。

主权项

一种基于术语频率和卡方统计的文本分类特征选择方法，其特征在于，包括如下步骤：步骤(1)，对语料库数据集进行预处理；步骤(2)，对经过步骤(1)处理得到的数据集中的对象根据向量空间模型均表示为向量形式，得到数据对象向量集合D＝{d₁,d₂,...d_N}，类标签集合C＝{c₁,c₂,...c_|C|}，d_j表示语料库数据集中的一个文档(1≤j≤N)，c_k表示语料库数据集中的一个类；步骤(3)，计算术语t_i在文本分类c_k中的最大术语频率和平均术语频率；步骤(4)，通过下式计算术语t_i在c_k类中的分布差异度:$V(t_i,c_k)=\frac{1}{N_k-1}\underset{j=1}{\overset{N_k}{\Sigma }}{({\mathrm{tf}}_{\mathrm{ij}}-{\overline{\mathrm{tf}}}_i)}^2+\alpha$其中，α表示一个很小的实数；步骤(5)，利用步骤(3)和步骤(4)得到的最大术语频率及分布差异度，通过下式计算该术语t_i在c_k类中的权重：$\mathrm{ICHI}(t_i,c_k)=\frac{\log (1+{\mathrm{tf}}_{i_{\max }})\times {\chi }^2(t_i,c_k)}{V(t_i,c_k)},$其中，${\chi }^2(t_i,c_k)=\frac{N\times {(\mathrm{AD}-\mathrm{CB})}^2}{(A+C)\times (B+D)\times (A+B)\times (C+D)};$步骤(6)，计算得到该术语t_i在每个类中的权重，通过下式取权重最大值为术语t_i在语料库数据集中的权重：$\mathrm{ICHI}\left(t_i\right)={\max }_{k=1}^{\left|c\right|}\left\{\mathrm{ICHI}(t_i,c_k)\right\};$步骤(7)，计算得到每一个术语在语料库数据集中的权重，并降序排列，选出值最大的前N个术语作为特征。