基于站点配额的均衡调度系统及方法

摘要

本发明公开了一种基于站点配额的均衡调度系统，涉及互联网技术领域，该系统包括：调度任务获取模块，适于获取站点的域名队列中的调度任务；调度模块，适于对所述调度任务所指定的服务器按照预配置的一次可调度页面数从所述服务器中下载相应数量的页面。本发明还公开了一种基于站点配额的均衡调度方法。根据本发明的基于站点配额的均衡调度系统将方法保证所有站点在任何情况下都能获得一定的下载机会。同时，可以根据实际情况设置不同的配额限制，以兼顾效率与时效性，满足不同搜索产品的需求。这也为全网搜索能与垂直搜索统一处理奠定了基础。

主权项

一种基于站点配额的均衡调度系统，包括：调度任务获取模块，适于获取站点的域名队列中的调度任务；调度模块，适于对所述调度任务所指定的服务器按照预配置的一次可调度页面数从所述服务器中下载相应数量的页面；所述系统还包括：配额分配模块，具体包括：站点结构定位模块，适于获取当前服务器上的站点总数，根据站点序号，直接定位站点结构；域名配额分配模块，适于从站点结构中获取该站点的域名总数和首尾域名序号，对站点域名按上次调度时间进行排序，从选择排序后的域名中选择预定数量的域名；域名IP定位模块，适于对选定的域名根据其域名IP总数和域名IP首尾序号定位其域名IP地址，通过域名IP中的IP偏移定位IP结构地址，依次选取并记录IP的上次调度时间，选择上次调度时间最早的IP对应的服务器；调度时间设置模块，适于定位IP结构后，比较IP结构里的上次调度时间与当前时间，如果上次调度时间大于或等当前时间，不为该服务器分配所述一次可调度页面数，如果上次调度时间小于当前时间，为该服务器分配所述一次可调度页面数，同时将该IP的上次调度时间置为当前时间；循环分配模块，适于如果该域名中IP结构分配完成，循环处理下一个域名，否则在剩下的IP中选择上次调度时间最早的一个IP继续处理，当前站点中所有域名分配完成后，将站点序号加1，以便处理下一个站点，如果站点数达到最大值，序号重置为0，如果在所有站点都检查过一次后没有可分配站点，休眠预定时间后再对所有站点循环分配。