一种基于网络爬虫的自动化采集方法

摘要

本发明公开了一种基于网络爬虫的自动化采集方法，属于计算机网络爬虫技术领域，该自动化采集方法是利用聚焦网络爬虫抓取没采集服务器的采集功能地址，将服务器采集的功能地址加入到管理节点进行统一采集与配置管理；每台采集节点服务器中部署相应的采集程序，程序中的采集项会根据平台的差异，采集项也会对应改变，通过http访问资源的功能，获取到子节点的采集项，并对其操作。本发明的一种基于网络爬虫的自动化采集方法和现有技术相比，通过采用聚焦爬虫技术，不需要大量的人工进入到每台服务器进行配置与采集，不但大大减少了技术人员的工作量，有效的提高了工作效率，而且能方便采集管理，有效地提取并利用信息。

主权项

一种基于网络爬虫的自动化采集方法，其特征在于，该自动化采集方法是利用聚焦网络爬虫抓取没采集服务器的采集功能地址，将服务器采集的功能地址加入到管理节点进行统一采集与配置管理；每台采集节点服务器中部署相应的采集程序，程序中的采集项会根据平台的差异，采集项也会对应改变，通过http访问资源的功能，获取到子节点的采集项，并对其操作。