发明名称 |
一种防止网络爬虫死锁的资源配置方法 |
摘要 |
本发明公开了一种防止网络爬虫死锁的资源配置方法,所述的方法主要包括:在系统运行过程中为爬虫进程动态的申请资源和试探性分配资源;计算此分配资源操作的安全性;基于安全性的分配成立或分配作废操作;重复以上操作,为系统各爬虫进程动态分配资源。通过采用所述防止网络爬虫死锁的资源配置方法,本发明提高了网络爬虫的效率和减少爬虫过程死锁的次数。 |
申请公布号 |
CN104462195A |
申请公布日期 |
2015.03.25 |
申请号 |
CN201410595829.0 |
申请日期 |
2014.10.30 |
申请人 |
中国南方电网有限责任公司电网技术研究中心;南方电网科学研究院有限责任公司 |
发明人 |
李广凯;王庆红;周育忠;韦嵘晖;郑金 |
分类号 |
G06F17/30(2006.01)I;G06F9/50(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
广州粤高专利商标代理有限公司 44102 |
代理人 |
廖继海 |
主权项 |
一种防止网络爬虫死锁的资源配置方法,其特征在于包括以下步骤:(1.1)在系统运行过程中为爬虫进程动态的申请资源和试探性分配资源;(1.2)计算此分配资源操作的安全性;(1.3) 基于安全性的分配成立或分配作废操作;(1.4)重复执行步骤(1.1‑1.3)为系统各爬虫进程动态分配资源。 |
地址 |
510623 广东省广州市天河区珠江新城华穗路6号四层、五层505-508号房 |