一种用于爬取页面的方法和设备

摘要

本发明的目的是提供一种用于爬取页面的方法与设备。其中，爬取设备根据已爬取页面，获取对应候选爬取页面的候选页面标识信息；根据所述候选爬取页面与所述已爬取页面的关联性信息，将所述候选页面标识信息添加至对应的待爬页面集合，其中，所述待爬页面集合包括一个或多个待爬取页面的页面标识信息；根据所述待爬页面集合，确定待爬取页面的目标爬取标识信息；爬取所述目标爬取标识信息所对应的目标页面。与现有技术相比，本发明通过根据所述关联性信息，有效的控制了爬取的调度行为，以实现爬取调度的可配置性，使得爬取能够目的性的扩散，控制爬虫在网页间移动的方向和速度，提高了垂直爬虫的爬取效率，保证了爬取数据的完整性。

主权项

一种用于爬取页面的方法，其中，该方法包括以下步骤：x根据已爬取页面，获取对应候选爬取页面的候选页面标识信息；y根据所述候选爬取页面与所述已爬取页面的关联性信息，将所述候选页面标识信息添加至对应的待爬页面集合，其中，所述待爬页面集合包括一个或多个待爬取页面的页面标识信息；其中，该方法还包括：a根据所述待爬页面集合，确定待爬取页面的目标爬取标识信息；b爬取所述目标爬取标识信息所对应的目标页面。