发明名称 |
分布式信息获取系统及方法 |
摘要 |
本发明提供一种分布式信息获取系统及方法,所述分布式信息获取系统包括:一个或多个请求生成装置,用于生成获取信息的任务请求;一个或多个任务管理装置,用于根据所述任务请求确定任务的优先级并分配任务;多个任务执行装置,用于根据所述任务管理器的分配执行所述任务以获取信息;信息收集装置,用于收集多个所述任务执行装置获取的信息;一个或多个数据解析装置,用于对所述信息进行数据解析;以及数据储存装置,用于储存进行过数据解析的信息。本发明通过上述分布式信息获取系统管理多台低成本任务执行装置来抓取网络上的信息。 |
申请公布号 |
CN104102740A |
申请公布日期 |
2014.10.15 |
申请号 |
CN201410371132.5 |
申请日期 |
2014.07.30 |
申请人 |
精硕世纪科技(北京)有限公司 |
发明人 |
洪倍 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
上海隆天律师事务所 31282 |
代理人 |
臧云霄;李峰 |
主权项 |
一种分布式信息获取系统,其特征在于,包括:一个或多个请求生成装置,用于生成获取信息的任务请求;一个或多个任务管理装置,用于根据所述任务请求确定任务的优先级并分配任务;多个任务执行装置,用于根据所述任务管理器的分配执行所述任务以获取信息;信息收集装置,用于收集多个所述任务执行装置获取的信息;一个或多个数据解析装置,用于对所述信息进行数据解析;以及数据储存装置,用于储存进行过数据解析的信息。 |
地址 |
100010 北京市东城区南竹竿胡同1号9层1007室 |