发明名称 一种防止网络爬虫死锁的资源配置方法
摘要 本发明公开了一种防止网络爬虫死锁的资源配置方法,所述的方法主要包括:在系统运行过程中为爬虫进程动态的申请资源和试探性分配资源;计算此分配资源操作的安全性;基于安全性的分配成立或分配作废操作;重复以上操作,为系统各爬虫进程动态分配资源。通过采用所述防止网络爬虫死锁的资源配置方法,本发明提高了网络爬虫的效率和减少爬虫过程死锁的次数。
申请公布号 CN104462195A 申请公布日期 2015.03.25
申请号 CN201410595829.0 申请日期 2014.10.30
申请人 中国南方电网有限责任公司电网技术研究中心;南方电网科学研究院有限责任公司 发明人 李广凯;王庆红;周育忠;韦嵘晖;郑金
分类号 G06F17/30(2006.01)I;G06F9/50(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 广州粤高专利商标代理有限公司 44102 代理人 廖继海
主权项 一种防止网络爬虫死锁的资源配置方法,其特征在于包括以下步骤:(1.1)在系统运行过程中为爬虫进程动态的申请资源和试探性分配资源;(1.2)计算此分配资源操作的安全性;(1.3) 基于安全性的分配成立或分配作废操作;(1.4)重复执行步骤(1.1‑1.3)为系统各爬虫进程动态分配资源。
地址 510623 广东省广州市天河区珠江新城华穗路6号四层、五层505-508号房