基于Web的爬虫识别算法

摘要

本发明提供一种基于Web的爬虫识别算法，设置陷阱，并通过线上分析用户访问的行为特征判断是爬虫的概率；对于爬虫可能性大的访问者，要求验证码验证，减少误判；线下分析一天的数据通过大量数据正确的识别出隐藏性好的爬虫；对于识别出的爬虫加入到确定名单库中。本发明结合了线上的实时识别和线下的正确识别，在保证识别实时性的同时，提高了识别的准确性，降低了误判。

主权项

一种基于Web的爬虫识别算法，其特征在于，至少包括一种在线识别方法；在线识别方法通过：S1）设置陷阱，根据访问者请求陷阱中的信息来初步判定为疑似爬虫；S2）对于每一个访问者维护访问信息，通过对访问者的访问行为分析进一步判断是否为疑似爬虫；S3）对于上述S1和S2识别出为疑似爬虫的行为，最后通过验证码验证的方法确定是否为爬虫。