基于网络流和分层知识库的动态文本聚类方法

摘要

本发明属于信息处理和网络安全技术领域，具体为一种基于网络流和分层知识库的动态文本聚类方法。本发明首先假设存在分好的文档类别具有向量型的特征，对单篇分词后的文章通过TFIDF方式提取特征并归一化，用知识库中定义语义距离的方法来计算文章和类别的距离，并对新增加文档的类别不断调整更新关键词和权重；若当前文档不能与已知的任意类进行合并时，就需要建立新的类。算法的过程包括：动态特征向量提取、类别归并、距离求解、类别合并和建立新类等。本发明的特点是：根据分层知识库所提供的语义信息进行聚类而非关键词聚类；可以动态去除噪音数据；相似度采用网络流算法计算，以保证求得最优匹配。利用该方法，可以满足Web文本实时更新聚类的需求，而且是无监督型，无须预先指定类别集合。

主权项

1.一种基于网络流和分层知识库的动态文本聚类方法，其特征在于：首先，提文本取动态特征向量：用词频/反转文档频率公式TF·IDF和归一化的方法提取文章的特征，包括从文本中提取关键词和计算权重，并建立类别特征向量和文本特征向量；然后把文档样本和类别映射成网络流图，把类别归并的方法变成网络流的最大费用流的问题，并进行类别归并；在计算的过程中，通过定义5层词典结构的词群距离来计算文本和类别特征向量的相似度；然后进行类别合并，对新加入的文档，根据TF、IDF公式计算新加入的文本特征和类别文本特征，调整类别的关键词和权重，不断地剔除掉那些权重小于一定阈值的关键字，保留语义合并后权重最高的特征，并作为该类新的表示向量，进而建立新的类别。