发明名称 |
任务分配方法及装置 |
摘要 |
本发明实施例公开一种任务分配方法及装置,该方法包括:建立多个优先级队列;获取任务,任务包含一个需要爬虫抓取的统一资源定位符URL,确定任务的优先级及优先级队列标识;按照任务的优先级队列标识将任务存入对应的优先级队列;从优先级队列中取出任务,存入消息队列;下载模块获取消息队列存储的任务,根据任务包含的URL进行下载。 |
申请公布号 |
CN106326339A |
申请公布日期 |
2017.01.11 |
申请号 |
CN201610630379.3 |
申请日期 |
2016.08.03 |
申请人 |
上海蔓盈信息科技有限公司 |
发明人 |
张惟师;徐振兴 |
分类号 |
G06F17/30(2006.01)I;G06F9/50(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京东方汇众知识产权代理事务所(普通合伙) 11296 |
代理人 |
张淑贤 |
主权项 |
一种任务分配方法,其特征在于,包括:建立多个优先级队列;获取任务,任务包含一个需要爬虫抓取的统一资源定位符URL,确定任务的优先级及优先级队列标识;按照任务的优先级队列标识将任务存入对应的优先级队列;从优先级队列中取出任务,存入消息队列;下载模块获取消息队列存储的任务,根据任务包含的URL进行下载。 |
地址 |
200080 上海市虹口区四平路421弄107号P425室 |