一种基于网页特征识别的噪音网页过滤方法

摘要

本发明公开了一种基于网页特征识别的噪音网页过滤方法，该方法深入分析了噪音网页和主题网页的特征，通过页面特征识别，对各特征设置阈值判断能够有效去除具有明显特征的噪音网页，缩减数据集，而后，利用显著特征生成更丰富的特征向量，利用SVM 分类器对网页进行分类，过滤噪音网页，保留有效的主题网页，确保后期深入分析研究工作的质量和效果。

主权项

一种基于网页特征识别的噪音网页过滤方法，其特征在于，包括如下步骤：(1)特征阈值判断：①判断噪音网页中包含的正文文字长度，设定经验阈值，少于阈值的网页为噪音网页；②判断URL层次及URL文本长度，滤除URL层级较浅及URL文本长度较短的网页；③统计网页内容更新频率，同一URL的网页内容的更新频率；④判断网页URL中是否包含噪音特征，如包含，网页为噪音网页；⑤计算网页内包含的导航链接数量，如包含链接数量大于设定的经验阈值，则为噪音页面；⑥计算网页内链接文字与正文文字长度的比例，比值大于设定阈值则判断为噪音页面；(2)抽取网页特征对通过特征阈值判断后的网页抽取基于网页结构和内容中的特征属性，生成特征向量；(3)基于SVM的网页分类通过选择适合的核函数，将输入向量映射到高维空间，并在高维空间中构建最优分类超平面，区分主题网页和噪音网页，过滤噪音网页。