重复文本识别系统及方法

摘要

本发明涉及一种重复文本识别系统，包括：分割单元，用于将电子文本内容按照标点符号分割为多个短句；转换单元，用于将分割后的每一短句转换为一个唯一的且长度固定的数字序列；搜索引擎，用于存储数字序列组，其中每一数字序列组包括同一电子文本内容的多个数字序列；判断单元，用于在搜索引擎中的两个数字序列组的相似度达到指定阈值时确认对应的电子文本内容为重复文本的。本发明还提供一种对应的重复文本识别方法。本发明通过将电子文本内容分割后的各部分转换为数字序列，并根据数字序列组进行相似度判断，从而提高了相似度判断的效率及效果。

主权项

一种重复文本识别系统，其特征在于，包括：分割单元，用于将电子文本内容按照标点符号分割为多个短句；转换单元，用于将分割后的每一短句转换为一个唯一的且长度固定的数字序列；搜索引擎，用于存储数字序列组，其中每一数字序列组包括同一电子文本内容的多个数字序列；判断单元，用于在搜索引擎中的两个数字序列组的相似度达到指定阈值时确认对应的电子文本内容为重复文本的。