一种基于相似性的半监督学垃圾网页检测方法

摘要

本发明的目的是设计基于相似性的半监督学垃圾网页检测方法，解决利用网页链接关系进行半监督学出现的问题。该方法根据网页间的相似性建立一个隐含的“链接”关系图。步骤1：从网页中提取基于内容和链接的特征步骤2)对步骤1)所提取的特征用主成分分析方法进行特征提取；步骤3)根据网页间的相似性建立隐含的“链接”关系图；步骤4)在“链接”关系图上建立高斯随机域模型，利用调和函数进行半监督学，步骤5)将步骤4)的模型与其它分类器的分类结果结合，提高分类效果，在关系图中，网页间的链接根据相似性赋予权重，然后建立高斯随机域模型，使用调和函数进行半监督学，提高了半监督学的能力。

主权项

一种基于相似性的半监督学习垃圾网页检测方法，其特征在于根据网页间的相似性建立一个隐含的“链接”关系图，在关系图中，网页间的链接根据相似性赋予权重，然后建立高斯随机域模型，使用调和函数进行半监督学习；所包含的步骤为：步骤1：从网页中提取基于内容和链接的特征基于内容的特征，主要包括以下几种类型的内容特征：a.网页词的个数、标题词的个数，词的平均长度，仅考虑网页中可视文本的词，并且这些词是数字或字符类型的。b.锚文本的比值：锚文本中词的个数与网页全部词个数的比值。c.可视化文本的比值：可视化文本中词的个数与网页全部词个数的比值，包括html标签和其它不可视文本。c.压缩率，压缩为bzip格式的网页与未压缩网页大小的比值。d.词库的精度和召全率。e.查询精度和召全率：找到查询日志中最常用的查询词，查询精度和召全率的定义与词库的精度和召全率类似。f.词三元组的熵：网页压缩率的另一种度量方法。基于链接的特征，主要包括以下几种类型的链接特征：g.与度相关的度量：网页的入度和出度。h.网页排名：本网页的网页排名和链入网页的网页排名。i.信任排名。j.删减后的网页排名。k.支持者的个数。步骤2)对步骤1)所提取的特征用主成分分析方法进行特征提取；步骤3)根据网页间的相似性建立隐含的“链接”关系图；步骤4)在“链接”关系图上建立高斯随机域模型，利用调和函数进行半监督学习；步骤5)将步骤4)的模型与其它分类器的分类结果结合，提高分类效果。