发明名称 |
一种突破IP限制的爬虫实现方法及系统 |
摘要 |
一种突破IP限制的爬虫实现方法,包括:(1)爬虫调度服务器下发一个抓取任务,抓取任务包含任务ID、HTTP请求的URL以及全部参数、最长等待时间;(2)客户端接收到抓取任务后,立即发起HTTP请求来抓取相应的页面;(3)页面抓取完成,检查有没有超过最长等待时间,若没有超过最长等待时间,则执行步骤(4),否则执行步骤(1);(4)将抓取到的数据发送到爬虫调度服务器,同时标注任务ID,抓取到的数据为HTTP响应返回的字符串。还提供了一种突破IP限制的爬虫实现系统。 |
申请公布号 |
CN106331108A |
申请公布日期 |
2017.01.11 |
申请号 |
CN201610729927.8 |
申请日期 |
2016.08.25 |
申请人 |
北京量科邦信息技术有限公司 |
发明人 |
周灏;董超 |
分类号 |
H04L29/08(2006.01)I;G06F17/30(2006.01)I |
主分类号 |
H04L29/08(2006.01)I |
代理机构 |
北京和信华成知识产权代理事务所(普通合伙) 11390 |
代理人 |
胡剑辉 |
主权项 |
一种突破IP限制的爬虫实现方法,其特征在于:该方法包括以下步骤:(1)爬虫调度服务器下发一个抓取任务,抓取任务包含任务ID、HTTP请求的URL以及全部参数、最长等待时间;(2)客户端接收到抓取任务后,立即发起HTTP请求来抓取相应的页面;(3)页面抓取完成,检查有没有超过最长等待时间,若没有超过最长等待时间,则执行步骤(4),否则执行步骤(1);(4)将抓取到的数据发送到爬虫调度服务器,同时标注任务ID,抓取到的数据为HTTP响应返回的字符串。 |
地址 |
100080 北京市海淀区丹棱街甲1号互联网金融中心11层1102 |