内部网可定制爬虫系统构建方法

摘要

本发明公开了一种内部网可定制爬出系统构建方法，该方法包括下列步骤：(1)分析超链接所指向的数据是否是web网页；(2)若是web网页，则分析web网页，处理超链接信息；若不是web网页，则直接进入步骤(3)；(3)根据定制下载数据；(4)重复执行步骤(1)，(2)和(3)，直到没有需要处理的超链接为止。通过应用本发明所描述的方法，可以有效地解决爬虫系统无法采集内部网数据的问题；可以为搭建特色搜索引擎所需的重要技术——爬虫系统的数据类型针对性提供通用的框架，有效地降低系统开发成本。

主权项

1.一种内部网可定制爬虫系统构建方法，其特征在于包括下列步骤：(1)分析超链接所指向的数据是否是web网页；(2)若是web网页，则分析web网页，处理超链接信息；若不是web网页，则直接进入步骤(3)；(3)根据定制下载数据；(4)重复执行步骤(1)，(2)和(3)，直到没有需要处理的超链接为止。