发明名称 |
基于直线生成算法的爬虫方法及爬虫系统 |
摘要 |
本发明公开了一种基于直线生成算法的爬虫方法及爬虫系统,爬虫方法包括以下步骤:S<sub>1</sub>、初始化URL索引;S<sub>2</sub>、采用直线生成算法进行程序动作打包;S<sub>3</sub>、使用参数构造URL列表;S<sub>4</sub>、分析网页页面并进行网页数据抓取。本发明通过将直线方程式算法运用至网络爬虫结构,可以提高爬虫的数据读取速度,减少数据传输过程中的时间,提高搜索速度。 |
申请公布号 |
CN104462580A |
申请公布日期 |
2015.03.25 |
申请号 |
CN201410839970.0 |
申请日期 |
2014.12.24 |
申请人 |
携程计算机技术(上海)有限公司 |
发明人 |
郑小龙;梅蓓 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
上海弼兴律师事务所 31283 |
代理人 |
薛琦;王聪 |
主权项 |
一种基于直线生成算法的爬虫方法,其特征在于,包括以下步骤:S<sub>1</sub>、初始化URL索引;S<sub>2</sub>、采用直线生成算法进行程序动作打包;S<sub>3</sub>、使用参数构造URL列表;S<sub>4</sub>、分析网页页面并进行网页数据抓取。 |
地址 |
200335 上海市长宁区福泉路99号携程网络技术大楼 |