对网址进行查重的方法及装置

摘要

本公开是关于一种对网址进行查重的方法及装置，属于网络技术领域。方法包括：获取训练样本；根据所述训练样本确定提取规则，所述提取规则用于指示在一个网址中提取对应网页的标识；根据所述提取规则提取目标网址集合中的各个网址对应网页的标识；将提取到的网页的标识相匹配的至少两个网址确定为页面内容相同的网址。只需要从待查重的网址中提取出网页的标识，根据网页的标识进行查重，能够有效的查找出对应内容相同的网址，提高查重的准确性，同时，只根据网页的标识进行查重，能够减少计算量，提高查重效率。

主权项

一种对网址进行查重的方法，其特征在于，所述方法包括：获取训练样本，所述训练样本中包含有若干个训练组，每个训练组中包含至少一个网址，对于所述若干个训练组中的任意一个训练组，当所述训练组中包含两个或者两个以上网址时，所述两个或者两个以上网址指向同一网页；根据所述训练样本确定提取规则，所述提取规则用于指示在一个网址中提取对应网页的标识；根据所述提取规则提取目标网址集合中的各个网址对应网页的标识；将提取到的网页的标识相匹配的至少两个网址确定为页面内容相同的网址。