图片抓取方法和系统

摘要

本发明公开了一种图片抓取方法和系统，其中，方法包括：多个任务服务器的数据接口接收图片抓取请求；多个任务服务器分别根据各自接收的图片抓取请求生成图片抓取任务，并存储图片抓取任务；调度服务器从多个任务服务器中获取图片抓取任务，将获取的图片抓取任务存储为任务总队列；调度服务器按预设的规则从任务总队列中取出图片抓取任务，分发给多个任务服务器；多个任务服务器根据分发的图片抓取任务，对图片进行抓取。根据该方案，将不同任务服务器接收的图片抓取任务进行统一的调度，这能够均衡多个任务服务器上的抓取任务，充分利用了系统资源，避免了图片抓取任务搁置或延迟处理，提高了抓取效率，减少了等待时间。

主权项

一种图片抓取的方法，包括：多个任务服务器的数据接口接收图片抓取请求；所述多个任务服务器分别根据各自接收的图片抓取请求生成图片抓取任务，并存储所述图片抓取任务；调度服务器从所述多个任务服务器中获取图片抓取任务，将所述获取的图片抓取任务存储为任务总队列；调度服务器从所述任务总队列中取出图片抓取任务，按预设的规则分发给所述多个任务服务器；所述多个任务服务器根据分发的图片抓取任务，对图片进行抓取。