Web网站产品详细信息的分类抓取及产品信息库建立方法

摘要

本发明针对Web网站产品信息的获取设计了一种网页抓取方法，首先抓取网站产品一级分类的首页，通过分析抓取的分类首页源文件，获取下一级产品分类首页链接；然后逐级抓取，直到网站所有分类首页抓取完毕；通过分析所有分类子页面的源文件，获取翻页元素和各分类页面数，然后生成各分类的子页面链接，最后根据各分类的子页面链接，完成各分类子页面的抓取。同时通过分析爬虫抓取的产品分类子页面源文件，提取产品详细信息和产品所属分类信息，建立网站产品id、分类id以及其他详细信息的映射关系，构建产品信息库。

主权项

Web网站产品详细信息的分类抓取方法，其特征在于：首先抓取网站产品一级分类的首页，通过分析抓取的分类首页源文件，获取下一级产品分类首页链接；然后逐级抓取，直到网站所有分类首页抓取完毕；通过分析各级分类子页面的源文件，获取翻页元素和各分类页面数，然后生成各分类的子页面链接，最后根据各分类的子页面链接，完成各分类子页面的抓取；各分类页面抓取的具体步骤如下：步骤1：一级分类首页的url导入url任务队列；步骤2：判断url任务队列否为空，若不为空则网站的分类首页还未抓取完毕；若为空则表示网站的所有分类首页已抓取完，跳至步骤8，开始抓取各分类子页面；步骤3：若url任务队列不为空，则根据url队列中的网站分类首页url开始抓取网页；步骤4：记录url的抓取状态；保存抓取成功的分类首页源文件和url；未抓取成功的分类首页的url再次加入url任务队列；三次抓取失败的url则认为此url无效；步骤5：解析分类首页源文件，获取下一级产品分类的首页url；步骤6：根据抓取成功的页面url，对解析出的url去重，然后加入url任务队列；步骤7：循环步骤2，直到网站所有分类首页源文件抓取完；步骤8：解析所有分类首页源文件，获取各分类页面数、翻页元素和分类首页url；步骤9：根据获取的各分类页面数、翻页元素和分类首页url，生成各分类的子页面链接；步骤10：根据各分类的子页面链接，抓取全部分类子页面；步骤11：保存各分类子页面源文件。