基于垂直搜索和聚焦爬虫的网页分类技术

摘要

基于垂直搜索和聚焦爬虫技术的网页分类识别方法，该方法包括两个部分：网页源码获取和网页内容解析法。其中网页内容解析法是核心，它包括两个主要的部分：抽取网页的结构化信息和聚焦爬虫的爬行策略。首先从导航类站点URL表中取出一个URL，获取此URL的源文件，然后用网页内容解析法进行识别得到该导航URL站点所有分类的URL。该方法中的关键方法是网页内容解析法，首先抽取网页结构化信息，然后运用基于网页内容特征的定向广度优先搜索策略进行URL的抓取，最后将抓取的URL及对应的网站分类存放在表Category中。

主权项

1. 一种基于垂直搜索和聚焦爬虫技术的网页分类识别方法，其特征在于该方法的步骤为：(1)读取预设网址导航站点的URL列表，判断URL列表是否为空，若为空，则转步骤(8)；(2)取出一个站点URL，将其放入未访问的URL列表(UV_URL列表)中。(3)如果UV_URL列表为空，则转步骤(1)；(4)从UV_URL列表中取出一个URL，根据表V_URL判断此URL是否被访问过，若是，则转步骤(3)；(5)对取得的URL进行网页源码获取，利用垂直搜索技术和聚焦爬虫技术对网页内容解析，获取此站点下的网页类别信息及各个类别中对应的网址信息；(6)将网页类别信息及各个类别中对应的网址信息加入到Category列表中；(7)从表UV_URL中删除URL，并将其添加到V_URL中，转向(1)；(8)结束。