发明名称 |
一种网页抓取方法及系统 |
摘要 |
本发明公开了一种网页抓取方法和系统,该方法包括:在任一个网页链接库处于空闲状态的情况下,从至少任一个网页链接库中选取额定数量的初始链接;从所述初始连接对应的各个原始网页中抓取新链接;对每个待更新链接,判断所述待更新链接是否存在于任一个网页链接库中,如果是,将所述待更新链接存储到包括所述待更新链接的网页链接库对应的更新连接缓存中,或者在包括所述待更新链接的网页链接库处于空闲的情况下,根据所述待更新链接的抓取状态更新包含所述待更新链接网页连接库中对应链接的抓取状态,如果否,将所述待更新链接追加到任一个网页链接库对应的追加链接缓存中。采用本发明实施例公开的方法或系统,可以提高网页抓取系统的效率。 |
申请公布号 |
CN103106219A |
申请公布日期 |
2013.05.15 |
申请号 |
CN201110361871.2 |
申请日期 |
2011.11.15 |
申请人 |
盛乐信息技术(上海)有限公司 |
发明人 |
陈华清;吕晴 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京集佳知识产权代理有限公司 11227 |
代理人 |
逯长明;王宝筠 |
主权项 |
一种网页抓取方法,其特征在于,所述方法应用的网页抓取系统包括至少两个网页链接库,包括步骤:A、在任一个网页链接库处于空闲状态的情况下,从所述至少任一个网页链接库中选取额定数量的初始链接,所述空闲状态指所述网页链接库既不处于被选取状态,又不处于更新状态;B、从所述初始链接对应的各个原始网页中抓取新链接;C、对于每个待更新链接,所述待更新链接指所述新链接以及所述初始链接,判断所述待更新链接是否存在于任一个网页链接库中,如果是,则进入步骤D,如果否,则进入步骤E;D、将所述待更新链接存储至包含所述待更新链接的网页链接库对应的链接缓存中,或在包含所述待更新链接的网页链接库处于空闲状态的情况下,根据所述待更新链接的抓取状态更新包含所述待更新链接网页连接库中对应链接的抓取状态;E、将所述待更新链接追加到任一个网页链接库对应的追加链接缓存中。 |
地址 |
201203 上海市浦东新区张江高科技园区郭守敬路356号3幢201室 |