一种结构扩展的多项式朴素贝叶斯文本分类方法

摘要

本发明提供了一种结构扩展的多项式朴素贝叶斯文本分类方法，首先以测试文档中出现的每个单词作为父亲节点构建一个一依赖多项式估测器，然后加权平均所有的一依赖多项式估测器来预测测试文档的类别，其中的权值是每个单词的信息增益率。本发明避免了贝叶斯网络的结构学阶段，从而降低了由于文本数据的高维性带来的时间花销，同时本发明将双条件概率的估计过程推迟到了分类阶段，巧妙地节省了较大的空间开销。本发明不仅改善了多项式朴素贝叶斯文本分类器的分类精度，而且还避免了贝叶斯网络结构学的时间和空间开销。

主权项

一种结构扩展的多项式朴素贝叶斯文本分类方法，包括训练阶段和分类阶段，其特征在于：(1)训练阶段包括以下过程：(1‑1)利用以下公式计算训练文档集D中每个类别的先验概率p(c)：$p\left(c\right)=\frac{{\Sigma }_{j=1}^n\delta (c_j,c)+1}{n+s}---\left(1\right)$其中，训练文档集D为一个已知的文档集，训练文档集D中的任意一篇文档d表示为单词向量形式d＝＜w₁,w₂,...w_m＞，其中w_i为文档d中的第i个单词，m为训练文档集D中单词的数目；n是训练文档集D中的文档数目，s是文档的类别的数目，c_j是第j篇文档的类标记，δ(c_j,c)表示一个二元函数，当它的两个参数相同时值为1否则为0；(1‑2)利用以下公式计算给定类别情况下每个单词的条件概率p(w_i|c)：$p\left(w_i\right|c)=\frac{{\Sigma }_{j=1}^n{f}_{ji}\delta (c_j,c)+1}{{\Sigma }_{i=1}^n{\Sigma }_{j=1}^n{f}_{ji}\delta (c_j,c)+m}---\left(2\right)$其中，f_ji表示训练文档集D中第j篇文档中出现单词w_i的频率；(1‑3)利用以下公式计算该训练文档集D中的各个属性的权值W_i：$Wi=GainRatio(D,w_i)=\frac{Gain(D,w_i)}{SplitInfo(D,w_i)}---\left(3\right)$其中，GainRatio(D,w_i)表示单词w_i划分训练文档集D的信息增益率，Gain(D,w_i)表示单词w_i划分训练文档集D的信息增益，SplitInfo(D,w_i)表示训练文档集D关于单词w_i的分裂信息；Gain(D,w_i)通过以下公式计算：$Gain(D,w_i)=Entropy\left(D\right)-\underset{v\in \{0,\bar{0}\}}{\Sigma }\frac{\left|D_v\right|}{\left|D\right|}Entropy\left(D_v\right)---\left(4\right)$其中，|D_v|是训练文档集D中单词w_i的取值为v的文档数目，Entropy(D)是训练文档集D的熵，通过以下公式计算：$Entropy\left(D\right)=-\underset{c\in C}{\Sigma }{p}_c{\log }_2{p}_c---\left(5\right)$其中，C是类标记的集合，c是C中的一个类标记，p_c是训练文档集D中类别为c的概率；p_c通过以下公式计算得到：$p_c=\frac{{\Sigma }_{j=1}^n\delta (c_j,c)}{n}---\left(6\right)$其中，n是训练文档集D中的文档数目，c_j是第j篇文档的类标记，δ(c_j,c)表示一个二元函数，当它的两个参数相同时值为1否则为0；SplitInfo(D,w_i)通过以下公式计算得到：$SplitInfo(D,w_i)=-\underset{v\in \{0,\bar{0}\}}{\Sigma }\frac{\left|D_v\right|}{\left|D\right|}{\log }_2\frac{\left|D_v\right|}{\left|D\right|}---\left(7\right)$(2)分类阶段包括以下过程：(2‑1)对于文档d中出现的每个单词w_i，i＝1,2,…m，在训练文档中D中选择单词w_i出现的文档组成文档子集D_wi；(2‑2)对于文档d中出现的每个单词w_t，t＝1,2,…,和每个类标记c，利用以下公式和D_wi计算条件概率p(w_t|w_i,c)：其中，n是训练文档集D中的文档数目，f_ji表示训练文档集D中第j篇文档中出现单词w_i的频率，f_ji>0表示单词w_i出现在第j篇文档中，f_jt表示训练文档集D中第j篇文档中出现单词w_t的频率，m为训练文档集D中单词的数目，δ(c_j,c)表示一个二元函数，当它的两个参数相同时值为1否则为0；(2‑3)基于已经计算好的p(c)，p(w_i|c)，p(w_t|w_i,c)和W_i，利用以下公式来预测文档d的类标记c(d)：其中，W_i是文档d中第i个单词的权值，f_i和f_t分别是文档d中第i个单词和第t个单词的频率。