网络爬虫调度方法及应用其的网络爬虫系统

摘要

本申请公开了一种网络爬虫调度方法及应用其的网络爬虫系统，其首先对抓取到的与种子页相关的内容页数据进行解析，得到多组链接信息，然后根据每组链接信息分别计算得到一个对应的内容页在所述种子页上的链接质量，进而分别根据所述链接质量确定内容页的抓取顺序以及种子页的预设刷新间隔，保证高链接质量对应的重要内容页及种子页优先被抓取，提高索引质量及时效性，保证用户检索效果。

主权项

一种网络爬虫调度方法，其特征在于，包括：抓取种子页相关的内容页数据；解析所述内容页数据，得到所述种子页相关的多组链接信息；根据所述链接信息计算对应的内容页在所述种子页上的链接质量；按照所述链接质量由高到低的顺序对每个所述链接质量对应的内容页执行抓取操作。