一种并行的垂直交叉网络数据采集方法及系统

摘要

本发明提供一种并行的垂直交叉网络数据采集方法及系统，方法包括：S1确定采集方式，若是普通URL列表采集方式根据URL列表直接下载待下载网页数据及其元数据，若是垂直交叉采集方式利用交叉关键字列表检索待下载页，并下载该网页数据及其元数据；S2定时更新任务，对已下载的网页中第一层到当前层的所有网页进行扫描检查，当新下载的页面最后修改时间大于已下载的页面最后修改时间时，对该新下载的页面重新进行数据采集，更新网页数据记录。本发明避掉了多线程技术的一些潜在风险和代价，降低了多线程并行采集的潜在风险与代价，可以实现海量数据更稳定、更高效的并行采集，提高了数据读取和查询的效率。

主权项

一种并行的垂直交叉网络数据采集方法，其特征在于，该方法包括：步骤1，根据配置参数确定采集方式，若是普通URL列表采集方式，则根据URL列表直接下载待下载网页数据及其元数据，若是垂直交叉采集方式，则利用交叉关键字列表检索待下载页，并下载该网页数据及其元数据；步骤2，定时更新任务，对已下载的网页中第一层到当前层的所有网页进行扫描检查，当新下载的页面最后修改时间大于已下载的页面最后修改时间时，对该新下载的页面重新进行数据采集更新网页数据记录。