一种文本去重方法和装置

摘要

本发明提供了一种文本去重方法和装置，技术方案为：对案例文本的特征词串进行切片并计算各切片的签名值，以此建立签名值和案例文本的关联关系，形成案例库。当有待处理文本需要进行去重处理时，对待处理文本的特征词串进行切片并计算各切片的签名值，根据各切片的签名值确定该切片对应的案例文本，从而通过统计对应同一案例文本的签名值个数，并利用最大签名值个数计算待处理文本与相应案例文本的相似度，进而进行相似判断。本发明需要的计算量较小，而且可以保证较小的误判率。

主权项

一种文本去重方法，其特征在于，该方法包括：针对每一案例文本，提取该案例文本中的特征词，按照预设规则对提取的特征词串进行切片并计算每个切片的签名值，建立该案例文本对应的各切片的签名值与该案例文本的关联关系；提取待处理文本中的特征词，按照预设规则对提取的特征词串进行切片并计算每个切片的签名值，查找每个所述关联关系，确定待处理文本对应的各切片的签名值关联的案例文本，并对关联该案例文本的签名值个数进行累加；确定签名值个数累加结果最大的案例文本，根据该签名值个数和待处理文本对应的切片总个数确定待处理文本与该案例文本的相似度，如果相似度大于第一预设值，则确定待处理文本和该案例文本相似，对待处理文本进行去重处理。