一种并行的垂直交叉网络数据采集方法及系统

摘要

本发明提供一种并行的垂直交叉网络数据采集方法及系统，方法包括：S1确定采集方式，若是普通URL列表采集方式根据URL列表直接下载待下载网页数据及其元数据，若是垂直交叉采集方式利用交叉关键字列表检索待下载页，并下载该网页数据及其元数据；S2定时更新任务，对已下载的网页中第一层到当前层的所有网页进行扫描检查，当新下载的页面最后修改时间大于已下载的页面最后修改时间时，对该新下载的页面重新进行数据采集，更新网页数据记录。本发明避掉了多线程技术的一些潜在风险和代价，降低了多线程并行采集的潜在风险与代价，可以实现海量数据更稳定、更高效的并行采集，提高了数据读取和查询的效率。

主权项

一种并行的垂直交叉网络数据采集方法，其特征在于，该方法包括：步骤1，根据配置参数确定采集方式，若是普通URL列表采集方式，则根据URL列表直接下载待下载网页数据及其元数据，若是垂直交叉采集方式，则利用交叉关键字列表检索待下载页，并下载该网页数据及其元数据，其中以所述关键字列表的对象属性进行检索，并将所述关键字列表中的对象名称作为过滤值对检索结果进行过滤处理，并将过滤处理后的检索结果作为初始网页列表进行下载，然后再将待下载网页中的元数据写入分布式数据库；步骤2，定时更新任务，对已下载的网页中第一层到当前层的所有网页的页面内容进行扫描检查，当新下载的页面的页面内容对应的最后修改时间大于已下载的页面的页面内容对应的最后修改时间时，对该新下载的页面重新进行数据采集更新网页数据记录。