分布式爬虫集群系统

摘要

本发明公开了一种分布式爬虫集群系统，包括以下部件：网页爬抓器，超链接锁存储器，网页锁存储器以及超链接给予器。通过应用本发明所描述的系统，可以有效地解决分布式系统资源的占有矛盾问题；可以为开发分布式爬虫系统提供通用的设计架构；可以十分方便快捷地实现爬虫的集群系统；可以极大幅度地提高爬虫的爬抓速度。

主权项

1. 一种分布式爬虫集群系统，其特征在于包括：网页爬抓器，用于下载网页并且处理网页；超链接锁存储器，用于解决资源占有矛盾并且存储超链接；网页锁存储器，用于解决资源占有矛盾并且存储网页；超链接给予器，用于将超链接给予网页爬抓器。