基于网页数据抓取的垂直智能爬虫数据收集方法

摘要

本发明涉及一种基于网页数据抓取的垂直智能爬虫数据收集方法，其特点是：首先，通过启停入口配置模块，将爬虫初始入口地址配置到启动模块中。之后，爬虫控制系统按照设定的抓取规则和抓取流程，进行深度优先算法开始遍历抓取网页。最终，爬虫通过规则配置系统的规则序列对，对页面数据进行解析提取，对提取出的二维结构数据进行存储。由此，能够满足爬虫通用性要求，在具体业务逻辑上增加解析规则配置，抓取网页深度，抓取线程，数据库配置或索引配置，就可以开启智能化抓取采集信息。能够有效构成智能垂直爬虫框架，同时，能够实现数据自动归档，分类入库，可采用分布式键值对数据库存储的方式。

主权项

基于网页数据抓取的垂直智能爬虫数据收集方法，其特征在于包括以下步骤：步骤①，通过启停入口配置模块，将爬虫初始入口地址配置到启动模块中； 步骤②，爬虫控制系统按照设定的抓取规则和抓取流程，进行深度优先算法开始遍历抓取网页；步骤③，爬虫通过规则配置系统的规则序列对，对页面数据进行解析提取，对提取出的二维结构数据进行存储。