发明名称 一种网页的相关数据的发送方法及装置
摘要 本申请公开了一种网页的相关数据的发送方法,用以解决现有技术中如何使网络爬虫获取到JS对象对应的网页的相关数据的问题。方法包括:根据网络爬虫发送的网页下载请求,获取网页对应的原始代码;根据所述原始代码,确定所述网页的相关数据;其中,当所述原始代码中包括JS对象,或者包括JS对象的引用路径时,根据所述原始代码,确定所述网页的相关数据,包括:根据所述原始代码,确定所述JS对象;解析所述JS对象,并根据解析结果,确定与所述JS对象对应的网页的相关数据;将确定出的所述网页的相关数据,发送给所述网络爬虫。本申请还公开一种网页的相关数据的发送装置。
申请公布号 CN106126693A 申请公布日期 2016.11.16
申请号 CN201610500745.3 申请日期 2016.06.29
申请人 微梦创科网络科技(中国)有限公司 发明人 朱炎;王崇;任文越
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 北京国昊天诚知识产权代理有限公司 11315 代理人 黄熊
主权项 一种网页的相关数据的发送方法,其特征在于,包括:根据网络爬虫发送的网页下载请求,获取网页对应的原始代码;根据所述原始代码,确定所述网页的相关数据;其中,当所述原始代码中包括JS对象,或者包括JS对象的引用路径时,根据所述原始代码,确定所述网页的相关数据,包括:根据所述原始代码,确定所述JS对象;解析所述JS对象,并根据解析结果,确定与所述JS对象对应的网页的相关数据;将确定出的所述网页的相关数据,发送给所述网络爬虫。
地址 100080 北京市海淀区彩和坊路6号7-10层