一种众包网络爬虫抓取数据的检测方法及系统

摘要

一种众包网络爬虫抓取数据的检测方法,其能够确保众包网络爬虫抓取的数据是真实可靠的。这种众包网络爬虫抓取数据的检测方法，将服务器作为爬虫客户端抓取结果的检验中心，爬虫客户端把抓取的页面内容上传到检验中心，检验中心将多个爬虫客户端上传的内容进行对比，如果结果相同则给各个爬虫客户端加信用分；如果结果不相同，则再下发一次任务，重新检验这几个爬虫客户端，以辨别优劣，而后进行相应的信用分加减；信用分表示爬虫客户端的可靠程度，优先选择信用分高的爬虫客户端来完成抓取任务。还提供了一种众包网络爬虫抓取数据的检测系统。

主权项

一种众包网络爬虫抓取数据的检测方法，其特征在于：将服务器作为爬虫客户端抓取结果的检验中心，爬虫客户端把抓取的页面内容上传到检验中心，检验中心将多个爬虫客户端上传的内容进行对比，如果结果相同则给各个爬虫客户端加信用分；如果结果不相同，则再下发一次任务，重新检验这几个爬虫客户端，以辨别优劣，而后进行相应的信用分加减；信用分表示爬虫客户端的可靠程度，优先选择信用分高的爬虫客户端来完成抓取任务。