发明名称 基于直线生成算法的爬虫方法及爬虫系统
摘要 本发明公开了一种基于直线生成算法的爬虫方法及爬虫系统,爬虫方法包括以下步骤:S<sub>1</sub>、初始化URL索引;S<sub>2</sub>、采用直线生成算法进行程序动作打包;S<sub>3</sub>、使用参数构造URL列表;S<sub>4</sub>、分析网页页面并进行网页数据抓取。本发明通过将直线方程式算法运用至网络爬虫结构,可以提高爬虫的数据读取速度,减少数据传输过程中的时间,提高搜索速度。
申请公布号 CN104462580A 申请公布日期 2015.03.25
申请号 CN201410839970.0 申请日期 2014.12.24
申请人 携程计算机技术(上海)有限公司 发明人 郑小龙;梅蓓
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 上海弼兴律师事务所 31283 代理人 薛琦;王聪
主权项 一种基于直线生成算法的爬虫方法,其特征在于,包括以下步骤:S<sub>1</sub>、初始化URL索引;S<sub>2</sub>、采用直线生成算法进行程序动作打包;S<sub>3</sub>、使用参数构造URL列表;S<sub>4</sub>、分析网页页面并进行网页数据抓取。
地址 200335 上海市长宁区福泉路99号携程网络技术大楼