发明名称 | 网络数据分类式采集方法及装置 | ||
摘要 | 本发明提供了一种网络数据分类式采集方法及装置,该方法包括:确定待采集数据,并确定待采集数据对应的至少一个分类参数;确定每一个分类参数对应的参数值;根据每一个分类参数和对应的参数值,生成各个分类参数分别对应的入口链接;针对每一个入口链接,逐个采集相应分类参数所对应的数据。本发明通过将待采集数据进行分类,利用每一个分类参数和相应的参数值拼接成入口链接,通过访问该入口链接可以展示出对应该入口链接的列表页面,由于每一个分类对应的列表页面内容较少,因此,即使网站对显示页数有限制,每一个分类的列表页面也可能会完全显示,通过对显示的列表页面进行数据采集,从而能够实现防止数据漏采的功能。 | ||
申请公布号 | CN106168973A | 申请公布日期 | 2016.11.30 |
申请号 | CN201610542380.0 | 申请日期 | 2016.07.11 |
申请人 | 浪潮软件集团有限公司 | 发明人 | 邢荣;王传超;徐宏伟 |
分类号 | G06F17/30(2006.01)I | 主分类号 | G06F17/30(2006.01)I |
代理机构 | 济南信达专利事务所有限公司 37100 | 代理人 | 李世喆 |
主权项 | 网络数据分类式采集方法,其特征在于,该方法包括:确定待采集数据,并确定所述待采集数据对应的至少一个分类参数;确定每一个分类参数对应的参数值;根据每一个分类参数和对应的参数值,生成各个分类参数分别对应的入口链接;针对每一个入口链接,逐个采集相应分类参数所对应的数据。 | ||
地址 | 250100 山东省济南市高新区科航路2877号 |