一种暗网空间数据采集方法及装置

摘要

本发明涉及互联网络信息技术领域，尤其涉及一种暗网空间数据采集方法及装置。一种暗网空间数据采集方法，包括：搭建分布式系统基础架构；在分布式系统基础架构中，构建Web请求池；根据Web请求池中Web请求的数量和类型，动态计算任务量，并弹性分配给部署在分布式系统上的采集引擎；采集引擎根据分配到的采集任务基于异步I/O模型采集文本空间的暗网数据，并存储到分布式系统上的数据仓库；解析采集到的暗网数据并抽取目标信息。本发明的暗网空间数据采集方法及装置，能够实现对暗网空间数据的采集。

主权项

一种暗网空间数据采集方法，其特征在于，包括：搭建分布式系统基础架构；在所述分布式系统基础架构中，构建Web请求池；根据所述Web请求池中Web请求的数量和类型，动态计算任务量，并弹性分配给部署在所述分布式系统上的采集引擎；所述采集引擎根据分配到的采集任务基于异步I/O模型采集文本空间的暗网数据，并存储到分布式系统上的数据仓库；解析采集到的所述暗网数据并抽取目标信息。