文本相似度的统计方法及系统

摘要

本发明公开了一种文本相似度的统计方法，包括：获取需要判别相似度的第一和第二文本；以第一划分尺度将第一和第二文本分别分割成若干文本片段，计算第一划分尺度下第一与第二文本中相同的文本片段数量占第一文本的文本片段总数的比例；自第一和第二文本中删除相同的文本片段，分别得到第一剩余文本和第二剩余文本；以第二划分尺度将第一和第二剩余文本分别分割成若干文本片段，计算第二划分尺度下第一与第二剩余文本中相同的文本片段数量占第一剩余文本的文本片段总数的比例；计算第一文本与第二文本的综合相似度。本发明能够较为准确反映被人为打乱了字词句顺序的文本之间的相似程度，将被故意打乱了词序、句序、段序的相似文本检测出来。

主权项

一种文本相似度的统计方法，包括：获取需要判别相似度的第一文本和第二文本；以第一划分尺度将所述第一文本和第二文本分别分割成若干文本片段，将第一划分尺度下第一文本中全部的文本片段与第二文本中全部的文本片段进行比较，计算第一划分尺度下第一文本与第二文本中相同的文本片段数量占第一文本的文本片段总数的比例x1；自第一文本和第二文本中删除相同的文本片段，分别得到第一剩余文本和第二剩余文本；以第二划分尺度将第一剩余文本和第二剩余文本分别分割成若干文本片段，将第二划分尺度下第一剩余文本中全部的文本片段与第二文本中全部的文本片段进行比较，计算第二划分尺度下第一剩余文本与第二剩余文本中相同的文本片段数量占第一剩余文本的文本片段总数的比例y1；所述第二划分尺度比第一划分尺度小；将x1乘以第一划分尺度在综合相似度中的权重，得到第一划分尺度的相似度，一减去第一划分尺度的相似度后再乘以y1、接着加上第一划分尺度的相似度，以计算第一文本与第二文本的综合相似度。