一种基于分布式互信息文档特征提取方法

摘要

本发明提供针对海量文档处理过程中的数据处理规模限制和性能不足等方面的瓶颈问题，本发明提供一种基于分布式互信息文档特征提取方法，包括以下步骤：进行文档集合，并对文档进行初始化；计算文档中分词出现的频率和不同分类中分词的互信息值，从而选择出特征词集合；计算所有特征词的权值，从而形成最终的文档向量集合。本发明利用MapReduce分布式计算框架来进行文档分类的特征词以及其权值的提取，可以加快文档分类的速度以及可扩展性，通过对键值对的设计，在提取特征词的同时就可以并行计算出特征词在文档中的权值，加快文档分类的效率。

主权项

一种基于分布式互信息文档特征提取方法，其特征在于：所述方法包括以下步骤：步骤1：进行文档集合，并对文档进行初始化；步骤2：计算文档中分词出现的频率和不同分类中分词的互信息值，从而选择出特征词集合；步骤3：计算所有特征词的权值，从而形成最终的文档向量集合；所述步骤1中，对文档进行初始化包括文档的分词简化处理以及分布式表示；所述步骤1包括以下步骤：步骤1‑1：设D＝{d₁，d₂，...，d_j，...，d_N}表示语料库，d_j表示语料库中每个文档，N表示语料库所有文档的数目；F＝{f₁，f₂，...，f_k，...，f_|F|}表示特征词集合，|F|表示特征词的总数量，其中0<k≤|F|，k属于整数，f_k表示每个特征词；C＝{c₁，c₂，...，c_s，...，c_|C|}表示文档类别集合，c_s表示每个文档类别，|C|表示文档类别的数量；TF＝{tf₁₁，...，tf_ij，...，tf_MN}表示分词频率集合，其中i代表分词的序号，j代表文档的序号，M代表所有文档出现的分词数目，N代表语料库所有文档的数目，该集合中的元素代表分词t_i在文档d_j中出现的频率；步骤1‑2：将语料库中的所有文档转换为容易读取的文档，然后将语料库D中易读取的文档进行分词处理，得到的分词结果包括分词的内容和分词的类型，将这些分词处理后的文档作为MapReduce的输入分片，将这些输入分片分布在多个DataNode上，方便进行并行处理；步骤1‑3：将这些输入分片中的分词进行简化处理，简化处理包括去除停顿特征词、标点符号以及单个字的分词，简化处理的过程如下：由任务A进行处理，所述任务A的输入分片即是分词处理后的文档，其中每个文档都作为单独输入数据分片，任务A的Map阶段的输入键值对为<<filename，texttype>，context>，filename代表文件名，texttype代表文档的分类名称，context代表文档的所有内容，任务A的Map阶段根据文档中的分词类型，去除停顿特征词和长度小于一个汉字长度的分词，任务A的Map阶段的输出键值对为<<filename，texttype，word>，1>，其中word代表每个文档中的分词，其中值1，代表出现一次，该输出键值对作为任务A的Reduce阶段的输入。