重复网页识别方法和装置

摘要

本发明实施例公开了一种重复网页识别方法和装置。所述重复网页识别方法包括：从互联网网页中识别至少一组原始重复网页，并将所述至少一组原始重复网页存储至重复网页集合；依据互联网网页的链接关系，从与所述至少一组原始重复网页有链接关系的网页中迭代的识别候选重复网页，并将所述候选重复网页存储至重复网页集合。本发明实施例公开的重复网页识别方法和装置利用互联网网页之间的相互链接关系提高了重复网页的识别效率。

主权项

一种重复网页识别方法，其特征在于，包括：从互联网网页中识别至少一组原始重复网页，并将所述至少一组原始重复网页存储至重复网页集合；依据互联网网页的链接关系，从与所述至少一组原始重复网页有链接关系的网页中迭代的识别候选重复网页，并将所述候选重复网页存储至重复网页集合；从与所述至少一组原始重复网页有链接关系的网页中识别候选重复网页，并将所述候选重复网页存储至重复网页集合包括：将所述至少一组原始重复网页作为当前网页，根据当前网页上的锚文本识别无效链接，并将所述无效链接从当前网页上去除；获取当前网页中XPATH相同、锚文本相同或相近的重复链接；将所述重复链接指向的网页作为候选重复网页存储至重复网页集合；将所述候选重复网页作为当前网页，返回执行所述去除无效链接的操作，直至获取到的新的候选重复网页的数量小于或等于设定稳定值。