一种基于分布式互信息文档特征提取方法

摘要

本发明提供针对海量文档处理过程中的数据处理规模限制和性能不足等方面的瓶颈问题，本发明提供一种基于分布式互信息文档特征提取方法，包括以下步骤：进行文档集合，并对文档进行初始化；计算文档中分词出现的频率和不同分类中分词的互信息值，从而选择出特征词集合；计算所有特征词的权值，从而形成最终的文档向量集合。本发明利用MapReduce分布式计算框架来进行文档分类的特征词以及其权值的提取，可以加快文档分类的速度以及可扩展性，通过对键值对的设计，在提取特征词的同时就可以并行计算出特征词在文档中的权值，加快文档分类的效率。

主权项

一种基于分布式互信息文档特征提取方法，其特征在于：所述方法包括以下步骤：步骤1：进行文档集合，并对文档进行初始化；步骤2：计算文档中分词出现的频率和不同分类中分词的互信息值，从而选择出特征词集合；步骤3：计算所有特征词的权值，从而形成最终的文档向量集合。