文档相似度计算方法、近似重复文档检测方法及装置

摘要

本发明涉及一种文档相似度计算方法、近似重复文档检测方法及装置，所述计算方法包括：对两个待检测文档分别进行切词处理，得到所述待检测文档各自的分词集合；计算两个所述分词集合中所有分词对的编辑相似度，每个所述分词对的两个分词分别来源于两个所述分词集合；在所述所有分词对中所述编辑相似度满足要求的分词对之间建立边，所述编辑相似度为对应分词对的边的权值，得到加权偶图；计算所述加权偶图的最大加权匹配值；利用所述最大加权匹配值，计算所述待检测文档之间的相似度。本发明提供的文档相似度计算方法、近似重复文档检测方法及装置，准确率高，能有效识别包含分词集编辑错误的近似重复文本，提高近似重复文档检测准确度，降低计算复杂度，优化计算效率。

主权项

一种文档相似度计算方法，其特征在于，所述方法包括：对两个待检测文档分别进行切词处理，得到所述待检测文档各自的分词集合；计算两个所述分词集合中所有分词对的编辑相似度，每个所述分词对的两个分词分别来源于两个所述分词集合；在所述所有分词对中所述编辑相似度满足要求的分词对之间建立边，所述编辑相似度为对应分词对的边的权值，得到加权偶图；计算所述加权偶图的最大加权匹配值；利用所述最大加权匹配值，计算所述待检测文档之间的相似度。