用于网络资源处理的调度方法、设备、系统及子调度器

摘要

本发明提供一种用于网络资源处理的调度方法、设备、系统及子调度器，方法包括：第一子调度器从至少一个网络爬虫设备获取网络资源的地址信息；当第一子调度器的网络资源的地址信息的数量超过设定的调度阈值时，将超过调度阈值的超出部分的网络资源的地址信息发送给总调度器，以使总调度器根据接收的超出部分的网络资源的地址信息生成至少一个总调度任务；与第一子调度器不同的第二子调度器接收总调度器分发的总调度任务；第二子调度器根据总调度任务和未超过调度阈值的网络资源的地址信息生成子调度任务；第二子调度器发送子调度任务给对应的网络爬虫设备。本发明实现了仅在网络资源处理量超负荷时，请求总调度器重新调度，降低了总调度器的负载。

主权项

一种用于网络资源处理的调度方法，其特征在于，所述方法包括：第一子调度器从至少一个网络爬虫设备获取网络资源的地址信息；当所述第一子调度器的网络资源的地址信息的数量超过设定的调度阈值时，所述第一子调度器将超过所述调度阈值的超出部分的网络资源的地址信息发送给总调度器，以使所述总调度器根据接收的超出部分的网络资源的地址信息生成至少一个总调度任务；与第一子调度器不同的第二子调度器接收所述总调度器分发的所述总调度任务；所述第二子调度器根据总调度任务和未超过所述调度阈值的网络资源的地址信息生成子调度任务；所述第二子调度器发送所述子调度任务给对应的网络爬虫设备。