一种基于链接分析的聚焦爬虫方法

摘要

一种基于链接分析的聚焦爬虫方法，属于互联网信息检索、搜索引擎等领域，解决现有爬虫抓取准确率不高的问题，包括如下步骤：抓取网页，将网页和目标样本网页的结构进行比较，确定目标网页，从网站入口链接开始，记录爬虫到目标网页的每一条链接路径，建立目标网页链接树；分析目标网页链接树，归纳链接树中目标网页路径上的链接，替换链接树中的链接，形成链接模版树；爬虫使用链接模版树作为导航，抓取与链接模版树相匹配中的网页链接，直到整个抓取循环过程结束，最终抓取完所有目标网页。本发明的爬虫能够根据链接模版树的导航，在抓取网页的过程中，只抓取有效的链接，从而保证爬虫抓取网页的效率和准确率。

主权项

一种基于链接分析的聚焦爬虫方法，其特征在于，包括如下步骤：(1)抓取网页，将网页和目标样本网页的结构进行比较，确定目标网页，从网站入口链接开始，记录爬虫到目标网页的每一条链接路径，建立目标网页链接树；(2)分析目标网页链接树，归纳链接树中目标网页路径上的链接，替换链接树中的链接，形成链接模版树；(3)爬虫使用链接模版树作为导航，抓取与链接模版树相匹配的网页链接，直到整个抓取循环过程结束，最终抓取完所有目标网页。