一种网页爬虫协作方法

摘要

本发明公开了提供一种网页爬虫协作方法，所述的方法步骤如下：首先，爬虫节点依据在线时间段形成若干采集组，所有的各采集组能实现一个周期的连续在线；然后，采集组间通过消息交换的方法采集网页；最后，所有的采集组协作存储被采集的网页。所述每个采集组采用自动生成或配置的方式得到对应于该采集组的ID号。消息交换的方法可采用：各采集组形成一个路由网络，节点依据路由信息表将信令或消息发送到另一个采集组；其中，所述路由网络中的路由协议可采用IP网络路由中的路由协议，或对等网络中的各种DHT协议；或采用中心控制消息交换方法。本发明可解决采集设备中心化面临的带宽问题和网页的海量存储问题，解决P2P采集的时间可持续问题。

主权项

一种网页爬虫协作方法，用于多种网络环境下存在大量网页爬虫情况下的协作，所述的方法步骤如下：步骤1，将一设定周期中某段时间同时在线的爬虫节点划分为一采集组，且各爬虫节点被划分的所有采集组的在线时间段相连接能实现一个周期的连续在线；步骤2，以所述采集组为单位进行网页采集，且各采集组间还通过消息交换的方法协作实现设定周期内对网页内容的不间断采集；步骤3，所述每个采集组内的若干爬虫节点协作存储该采集组所采集的网页；其中，所述采集组包含两个以上的采集节点。