发明名称 确定抓取流量的方法及设备
摘要 本发明公开了确定抓取流量的方法及设备,其中所述方法包括:根据目标网站属性特征获取任务比例因子;基于所述任务比例因子及目标网站内的网页质量分布总和,确定抓取目标网站的任务流量。通过本方法,能够在搜索引擎爬虫程序抓取网站中的网页时,更好的确定任务所需的抓目标网站的流量,减少了爬虫程序与被抓取站点的冲突,使爬虫程序抓取行为与搜索引擎更新需求得到了合理的平衡。
申请公布号 CN103530392A 申请公布日期 2014.01.22
申请号 CN201310500053.5 申请日期 2013.10.22
申请人 北京奇虎科技有限公司;奇智软件(北京)有限公司 发明人 魏少俊
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 北京华沛德权律师事务所 11302 代理人 刘杰
主权项 一种确定抓取流量的方法,包括:根据目标网站属性特征获取任务比例因子;基于所述任务比例因子及目标网站内的网页质量分布总和,确定抓取目标网站的任务流量。
地址 100088 北京市西城区新街口外大街28号D座112室(德胜园区)