网页收集的方法及其系统

摘要

本发明实施例提供一种网页收集方法及其系统。所述网页收集方法包括：从URL数据库中逐条获取URL，并根据URL获得对应的host名进行网页内容的获取；根据所述host名，进行DNS请求；进行域名服务系统DNS请求的同时，根据DNS请求成功的URL，进行页面获取。通过本发明实施例提供的技术方案，DNS请求和页面获取分别同时进行，因此当获取页面代码时，也在不断的进行DNS请求，从而提高了网页收集的运转效率。

主权项

一种网页收集的方法，其特征在于，包括：从URL数据库中逐条获取URL，并根据URL获得对应的主机host名；根据所述host名，进行域名服务系统DNS请求，对DNS请求的结果进行管理，所述管理包括将请求成功的DNS请求结果保存在DNS数据库中；进行域名服务系统DNS请求的同时，根据所述DNS数据库中DNS请求成功的URL，进行页面获取。