一种网页去重的方法

摘要

本发明公开了一种网页去重的方法，首先提取网页正文信息，对网页正文信息进行分词处理，对分词处理结果进行统计，并按照词频排序，将词频超过预设值的词选取出来，作为特征词结果串，对特征词结果串进行MD5运算，作为网页的唯一特征值，将特征词结果串的MD5值与特征串去重判别系统中的所有网页的特征词结果串的MD5值进行比对，如果相同，则去重，如果没有相同的，则将该网页的特征词结果串的MD5值存储到特征串去重判别系统。采用了本发明的技术方案，能够有效地去除现有系统的转载网页、重复网页和镜像网页。

主权项

一种网页去重的方法，其特征在于，包括以下步骤：A、提取网页正文信息；B、对所述网页正文信息进行分词处理；C、对分词处理结果进行统计，并按照词频排序；D、将词频超过预设值的词选取出来，作为特征词结果串；E、对所述特征词结果串进行MD5运算，作为所述网页的唯一特征值；F、将所述特征词结果串的MD5值与特征串去重判别系统中的所有网页的特征词结果串的MD5值进行比对，如果相同，则去重，如果没有相同的，则将所述网页的特征词结果串的MD5值存储到所述特征串去重判别系统。