发明名称 |
一种基于网络爬虫实现数据快速处理的方法和装置 |
摘要 |
本发明实施例提供一种基于网络爬虫实现数据快速处理的方法和装置,其中方法包括:对当前网页进行解析,获取所述当前网页的页面信息;如果所述当前网页的页面信息中包含快速处理标签,则基于网络爬虫对所述当前网页优先进行数据处理。本发明实施例通过在网页中设置快速处理标签,对更新的网页和已有的网页进行区分处理,从而提高了网页数据的处理速度。 |
申请公布号 |
CN105912547A |
申请公布日期 |
2016.08.31 |
申请号 |
CN201510938570.X |
申请日期 |
2015.12.15 |
申请人 |
乐视网信息技术(北京)股份有限公司 |
发明人 |
尹斐 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京合智同创知识产权代理有限公司 11545 |
代理人 |
李杰 |
主权项 |
一种基于网络爬虫实现数据快速处理的方法,其特征在于,包括:对当前网页进行解析,获取所述当前网页的页面信息;如果所述当前网页的页面信息中包含快速处理标签,则基于网络爬虫对所述当前网页优先进行数据处理。 |
地址 |
100081 北京市海淀区学院南路68号19号楼六层6184号房间 |