云环境下分布式网络信息采集方法

摘要

本发明提供了云环境下分布式网络信息采集方法。其主要包括：对于页面信息的采集，采用星型的分布式采集模型，页面信息采集服务器只负责通过异步的方式采集相关网页的页面信息，并将最终的采集结果返回给云服务器，页面信息的处理则在云端进行；关于待采集的URL的分配方式，云服务器根据不同的采集服务器的历史采集效率，动态地为不同的页面采集服务器分配不同的任务个数，从而尽可能地使各个页面采集服务器达到负载均衡的效果。本发明提出的分布式网络信息采集方法，对于通用网络爬虫和主题网络爬虫都适用，可以很好地提高网络爬虫的爬行效率以及解决在分布式环境中网络爬虫的负载均衡问题。

主权项

一种云环境下分布式网络信息采集方法，其特征在于包含以下步骤：1)模型的组成：页面信息采集子系统、页面信息数据处理子系统；2)页面信息采集系统创建服务监听端口，接收中心节点分配的URL集合，当接收到中心节点分配的URL集合后，触发步骤3；3)页面信息采集系统采用异步的方式，对URL集合中的每个页面进行抓取，抓取完成后，将包含所有页面信息的结果返回给中心节点；4)中心节点将接收到的抓取的结果放到待处理页面集合中，交由云计算平台对页面信息进行处理，并且将页面服务器加入空闲的服务器列表；5)云计算平台提取出页面中所有的超链接，并且对超链接进行过滤，将过滤出来的URL放入到待分配的URL集合中；6)中心节点根据未分配的服务器列表，根据URL分配的策略，将待分配的URL分配给各个页面信息采集服务器，重复步骤2，直到待分配URL列表为空。