收集网站信息中有效信息网页的方法、装置及系统

摘要

本发明公开一种收集网站信息中有效信息网页的方法、装置及系统，该方法主要包括：根据预先配置的列表页的网址链接模板识别被收集网站中的列表页，获取每个列表页包所含的全部内部网址链接；根据预先配置的商品页的网址链接模板，在每个列表页包含的全部内部网址链接中进行匹配，获取其中商品页的网址链接，其中，所述预先配置的商品页的网址链接模板包含产品属性信息；收集所获取的所有商品页的网址链接。本发明以解决网络爬虫系统中爬取的结果不稳定以及网络爬虫系统消耗很大资源的问题。

主权项

一种收集网站信息中有效信息网页的方法，其中，包括：根据预先配置的列表页的网址链接模板识别被收集网站中的列表页，获取每个列表页包所含的全部内部网址链接；根据预先配置的商品页的网址链接模板，在每个列表页包含的全部内部网址链接中进行匹配，获取其中商品页的网址链接，其中，所述预先配置的商品页的网址链接模板包含产品属性信息；收集所获取的所有商品页的网址链接。