发明名称 |
确定抓取流量的方法及设备 |
摘要 |
本发明公开了确定抓取流量的方法及设备,其中所述方法包括:根据目标网站属性特征获取任务比例因子;基于所述任务比例因子及目标网站内的网页质量分布总和,确定抓取目标网站的任务流量。通过本方法,能够在搜索引擎爬虫程序抓取网站中的网页时,更好的确定任务所需的抓目标网站的流量,减少了爬虫程序与被抓取站点的冲突,使爬虫程序抓取行为与搜索引擎更新需求得到了合理的平衡。 |
申请公布号 |
CN103530392A |
申请公布日期 |
2014.01.22 |
申请号 |
CN201310500053.5 |
申请日期 |
2013.10.22 |
申请人 |
北京奇虎科技有限公司;奇智软件(北京)有限公司 |
发明人 |
魏少俊 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京华沛德权律师事务所 11302 |
代理人 |
刘杰 |
主权项 |
一种确定抓取流量的方法,包括:根据目标网站属性特征获取任务比例因子;基于所述任务比例因子及目标网站内的网页质量分布总和,确定抓取目标网站的任务流量。 |
地址 |
100088 北京市西城区新街口外大街28号D座112室(德胜园区) |