一种互联网上镜像和准镜像网站的识别方法

摘要

本发明为一种互联网上镜像和准镜像网站的识别方法。该方法是通过对已知的大量网站首页进行相似度判定，选取候选镜像网站组；再通过对候选镜像网站组中的网站上内容进行抽样比较统计，通过设定相似度阈值的方法获得镜像和准镜像网站。该方法对于需要大量采集互联网上信息的系统(如搜索引擎)具有十分重要的意义，可以避免这类系统对雷同信息的重复获取，节省网络资源和本地资源，提高系统服务的质量和效率。

主权项

1、一种互联网上镜像和准镜像网站的识别方法，该方法通过含由内容获取服务器，相似性分析服务器，配置和展示服务器，网站信息数据库四个部分组成的识别系统，执行互连网上镜像和准镜像网站的识别，其特征在于：该方法的步骤包括对于一组已知网站，通过工具将其首页获取并判断其相似程度，将相似程度大的网站归为候选网站组，对候选网站组中的网站，采取使用工具在网站内抽样的方式决定镜像和准镜像网站。