一种基于垂直行业的多任务式采集与收割方法

摘要

本发明提供一种基于垂直行业的多任务式采集与收割方法，也是一种基于互联网垂直行业信息按照主从式结构进行多任务自定义采集和收割的方法(简称：gReap方法)，该方法用以填补市面主流搜索采集及其数据汇总技术的部分短板。解决了垂直行业关于多源化、互异化数据采集中多任务定制与协同困难，定制化解析语义不强，无法智慧化数据并及时收割等难题。通过实现该方法的互联网行业数据采集，再叠加企业内部组织数据以融合大数据，让我们透过数据背后分析出市场价值与趋势。

主权项

一种基于垂直行业的多任务式采集与收割方法, 其特征在于,具体步骤如下：步骤1：客户根据需求主题，通过某些或者某类行业网站，分析并定义出所需的数据要素，发送给本专利的gReap采割系统；步骤2：gReap采割系统根据请求数据，自动匹配行业模板及其采割方法，并回馈给客户以验证是否符合要求，如果不符合，提供给用户自定义数据模型和采割方法，以便gReap按需提供实现数据和内容的交付；步骤3：确定任务模板，gReap系统中的适配模块首先接收到这个模板，将模板分解为多个采集任务，并将每个任务分配给调度监控集群；步骤4：调度节点根据任务进行按维度划分，并负责将各个子任务分配给执行节点，同时监控执行情况，对于异常或者出错的子任务动态迁移到正常执行节点，调度节点与执行节点依赖MapReduce计算模型；步骤5：执行节点融合Nutch思路，按独立网址维护采集周期，并纳入gReap语义化采集模块进行采集，该模块用以解决主要反爬宿主的数据采集；步骤6：在执行完成采集以后，执行节点主动心跳状态，gReap系统收割模块负责异构收割，并按照一定的规则进行数据预处理，并进行收割库归档，以备后续数据分析；步骤7：收割库的归档借助于Hadoop分布式文件系统，采用列式数据分布存储方式，以提供海量存储和高性能的读写速度，以及安全的容灾能力。