发明名称 任务分配方法及装置
摘要 本发明实施例公开一种任务分配方法及装置,该方法包括:建立多个优先级队列;获取任务,任务包含一个需要爬虫抓取的统一资源定位符URL,确定任务的优先级及优先级队列标识;按照任务的优先级队列标识将任务存入对应的优先级队列;从优先级队列中取出任务,存入消息队列;下载模块获取消息队列存储的任务,根据任务包含的URL进行下载。
申请公布号 CN106326339A 申请公布日期 2017.01.11
申请号 CN201610630379.3 申请日期 2016.08.03
申请人 上海蔓盈信息科技有限公司 发明人 张惟师;徐振兴
分类号 G06F17/30(2006.01)I;G06F9/50(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 北京东方汇众知识产权代理事务所(普通合伙) 11296 代理人 张淑贤
主权项 一种任务分配方法,其特征在于,包括:建立多个优先级队列;获取任务,任务包含一个需要爬虫抓取的统一资源定位符URL,确定任务的优先级及优先级队列标识;按照任务的优先级队列标识将任务存入对应的优先级队列;从优先级队列中取出任务,存入消息队列;下载模块获取消息队列存储的任务,根据任务包含的URL进行下载。
地址 200080 上海市虹口区四平路421弄107号P425室