发明名称 网络数据分类式采集方法及装置
摘要 本发明提供了一种网络数据分类式采集方法及装置,该方法包括:确定待采集数据,并确定待采集数据对应的至少一个分类参数;确定每一个分类参数对应的参数值;根据每一个分类参数和对应的参数值,生成各个分类参数分别对应的入口链接;针对每一个入口链接,逐个采集相应分类参数所对应的数据。本发明通过将待采集数据进行分类,利用每一个分类参数和相应的参数值拼接成入口链接,通过访问该入口链接可以展示出对应该入口链接的列表页面,由于每一个分类对应的列表页面内容较少,因此,即使网站对显示页数有限制,每一个分类的列表页面也可能会完全显示,通过对显示的列表页面进行数据采集,从而能够实现防止数据漏采的功能。
申请公布号 CN106168973A 申请公布日期 2016.11.30
申请号 CN201610542380.0 申请日期 2016.07.11
申请人 浪潮软件集团有限公司 发明人 邢荣;王传超;徐宏伟
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 济南信达专利事务所有限公司 37100 代理人 李世喆
主权项 网络数据分类式采集方法,其特征在于,该方法包括:确定待采集数据,并确定所述待采集数据对应的至少一个分类参数;确定每一个分类参数对应的参数值;根据每一个分类参数和对应的参数值,生成各个分类参数分别对应的入口链接;针对每一个入口链接,逐个采集相应分类参数所对应的数据。
地址 250100 山东省济南市高新区科航路2877号