一种基于方差的文档分类方法

摘要

本发明的基于方差的文档分类方法，包括：a).采集足够数量的、已明确类别的科技文献、小说和散文，作为训练样本；b).采用现有的分词方法进行分词，并计算词频；c).对词频做归一化处理；d).计算每篇文档词频的方差；e).归纳词频方差区间；f).待分类文档的处理；g).判断方差的落入区间；h).根据落入的区间获取文档分类。本发明的基于方差的文档分类方法，根据科技文献、小说和散文的用词特点所造成的词频方差的不同，可将待分类文档合理、科学地自动区分开来，在保证了分类准确率的同时，具有很高的效率，为对现有文献进行科技文献、小说和散文分类奠定了理论基础，并提供了完整、科学的理论方法。

主权项

一种基于方差的文档分类方法，包括样本训练阶段和文档分类阶段，其特征在于，所述样本训练阶段通过以下步骤来实现：a).样本采集，从现有多类文档库中采集足够数量的、已明确类别的科技文献、小说和散文，作为训练样本；并获取样本的文本内容；b).分词并统计词频，首先采用现有的分词方法，对步骤a)中获取的文档样本进行分词处理；然后对每篇文档中每个词出现的次数进行统计，获取文档中词汇的词频，将词汇的词频作为文档的特征集合；c).词频量级归一化处理，为避免词频数量级不同对方差造成的影响，采用公式(1)对每篇文档中每个词汇的词频做归一化处理：$x_{ij}=\frac{X_{ij}-{\min }_i}{{\max }_i-{\min }_i}---\left(1\right)$其中，i表示样本文档的编号，其取值范围是：i∈[1，样本文档的总量]；j表示第i篇文本文档中词汇的编号，其取值范围是：j∈[1，样本文档中词汇的总量]；X_ij表示归一化前第i篇文档中第j个词汇的词频，x_ij表示归一化后第i篇文档中第j个词汇的词频；max_i表示第i篇文档中出现次数最多的词的词频，min_i表示第i篇文档中出现次数最少的词的词频；d).计算词频方差，按照公式(2)计算每篇文档词频的方差：$S_i^2=\frac{\underset{j=1}{\overset{n_i}{\Sigma }}{(x_j-{\bar{X}}_i)}^2}{n_i}---\left(2\right)$表示第i篇样本文档中词汇词频的平均值，其通过公式(3)进行求取：${\bar{X}}_i=\frac{1}{n_i}\underset{j=1}{\overset{n_i}{\Sigma }}{x}_j---\left(3\right)$其中，i表示样本文档的编号，j表示第i篇文本文档中词汇的编号，n_i表示第i篇文本文档中词汇的总量；表示第i篇样本文档词汇词频的方差；e).归纳词频方差区间，根据步骤d)计算所有样本文档的方差，按照科技文献、小说、散文对这些文档的方差进行归类，统计每类文档方差的取值范围，归纳得到每类文档词频方差的取值区间；设归纳后的小说、科技文献、散文的词频方差区间分别为[0,S₁)、[S₁,S₂)、[S₂,+∞)，将其作为文档分类标准；所述文档分类阶段通过以下步骤来实现：f).待分类文档的处理，获取待分类的电子文档，并按照步骤b)至步骤e)中的方法对待分类的文档进行处理，求取待分类电子文档的方差，记为S′；g).判断方差的落入区间，将步骤f)中求出的待分类文档的方差S′与科技文献、小说、散文的分类标准进行比较，判断S′落入方差区间[S₁,S₂)、[0,S₁)、[S₂,+∞)中的哪一个；h).获取文档分类，如果S′落入区间[S₁,S₂)，则表明该文档属于科技文献；如果S′落入区间[0,S₁)，则表明该文档属于小说；如果S′落入区间[S₂,+∞)，则表明该文档属于散文。