网页去重方法和设备

摘要

本发明提供一种网页去重方法和设备。该方法包括在目标网页中提取出至少一个核心句，所述核心句是指含有网页主要内容信息的句子；将每个所述核心句映射为唯一的数值，组成第一数值集；确定所述第一数值集与每个第二数值集的交集以及每个交集中包含的数值的个数，并确定出所述每个交集中包含的数值的个数的最大值，所述第二数值集为预先确定的备选网页集中每个网页包含的核心句映射得到的数值组成的集合；当所述最大值与所述第一数值集中的数值的总数量的比值大于设定阈值时，则将所述目标网页作为重复网页处理。本发明实施例可以在网页去重处理时提高准确度以及增强抗噪声能力，并且减少计算规模。

主权项

一种网页去重方法，其特征在于，包括：在目标网页中提取出至少一个核心句，所述核心句是指含有网页主要内容信息的句子；将每个所述核心句映射为唯一的数值，组成第一数值集；确定所述第一数值集与每个第二数值集的交集以及每个交集中包含的数值的个数，并确定出所述每个交集中包含的数值的个数的最大值，所述第二数值集为预先确定的备选网页集中每个网页包含的核心句映射得到的数值组成的集合；当所述最大值与所述第一数值集中的数值的总数量的比值大于设定阈值时，则将所述目标网页作为重复网页处理。