发明名称 网络爬虫识别方法和装置
摘要 本申请提出一种网络爬虫识别方法和装置,该网络爬虫识别方法包括:接收客户端在网页渲染完毕后发送的所述网页的图片和所述网页的URL;根据所述URL获取样本图片;根据相似度与预设阈值的比较,识别所述客户端是否为网络爬虫,所述相似度为所述网页的图片与所述样本图片的相似度。本申请对网络爬虫识别的可靠性较高,不影响正常用户浏览网页的流畅性,并且即便网络爬虫破解了上述识别方法,也会极大的消耗网络爬虫自身的资源,降低网络爬虫访问网页的频率。
申请公布号 CN106294368A 申请公布日期 2017.01.04
申请号 CN201510250481.6 申请日期 2015.05.15
申请人 阿里巴巴集团控股有限公司 发明人 周高明
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 北京清亦华知识产权代理事务所(普通合伙) 11201 代理人 张大威
主权项 一种网络爬虫识别方法,其特征在于,包括:接收客户端在网页渲染完毕后发送的所述网页的图片和所述网页的URL;根据所述URL获取样本图片;根据相似度与预设阈值的比较,识别所述客户端是否为网络爬虫,所述相似度为所述网页的图片与所述样本图片的相似度。
地址 英属开曼群岛大开曼资本大厦一座四层847号邮箱