一种通用采集系统的构建方法

摘要

本发明公开了一种通用采集系统的构建方法，包括以下四个步骤：入口地址采集配置、翻页地址采集配置、详情页地址采集配置和字段抽取配置，各采集配置步骤之间为顺序进行，即前一个采集配置步骤的输出作为后一个采集配置步骤的输入。该一种通用采集系统的构建方法与现有技术相比，设计了多线程并发机制，任务之间通过数据库进行交互协作，能够进行简单的分布式采集；实现了对多大多数的网站的配置采集和分布式采集，简化了网站采集的繁琐的开发工作，实用性强，适用范围广泛，易于推广。

主权项

一种通用采集系统的构建方法，其特征在于，包括以下四个步骤：入口地址采集配置、翻页地址采集配置、详情页地址采集配置和字段抽取配置，各采集配置步骤之间为顺序进行，即前一个采集配置步骤的输出作为后一个采集配置步骤的输入。