| 发明名称 | 一种通用的网络爬虫模拟登录方法及系统 | ||
| 摘要 | 本发明提供一种通用的网络爬虫模拟登录方法，所述方法为：配置要爬取的各个站点的认证信息，所述认证信息包括：用户名、密码以及用户权限；网络爬虫调用无UI浏览器访问各个站点；无UI浏览器模拟人工登录过程，认证成功后保存各个站点的cookie信息；网络爬虫携带cookie信息访问站点，爬取站点网页内容。本发明解决了爬虫模拟登录过程需要人工参与或需要针对特定站点进行定制程序开发的问题，减少开发工作量并避免了需要人工参与的弊端。 | ||
| 申请公布号 | CN105631030A | 申请公布日期 | 2016.06.01 |
| 申请号 | CN201511026050.8 | 申请日期 | 2015.12.30 |
| 申请人 | 福建亿榕信息技术有限公司 | 发明人 | 倪时龙;苏江文;张垚 |
| 分类号 | G06F17/30(2006.01)I;H04L29/06(2006.01)I;H04L29/08(2006.01)I | 主分类号 | G06F17/30(2006.01)I |
| 代理机构 | 福州市鼓楼区京华专利事务所(普通合伙) 35212 | 代理人 | 宋连梅 |
| 主权项 | 一种通用的网络爬虫模拟登录方法，其特征在于：所述方法为：配置要爬取的各个站点的认证信息，所述认证信息包括：用户名、密码以及用户权限；网络爬虫调用无UI浏览器访问各个站点；无UI浏览器模拟人工登录过程，认证成功后保存各个站点的cookie信息；网络爬虫携带cookie信息访问站点，爬取站点网页内容。 | ||
| 地址 | 350000 福建省福州市鼓楼区软件大道89号B区13号楼 | ||