基于Storm的流处理方法及系统

摘要

本发明提供了一种基于Storm的流处理方法及系统，属于数据处理技术领域。方法包括：提取数据；获取配置文件，解析配置文件中的拓扑参数，拓扑参数用于构建拓扑作业；根据拓扑参数、数据构建拓扑作业；将拓扑作业进行Storm流处理。系统包括：数据接入通用模块，用于提取数据；配置文件解析模块，用于获取配置文件，解析配置文件中的拓扑参数；Storm流处理模块，用于根据拓扑参数、数据库构建拓扑作业，将拓扑作业提交至Storm集群进行流处理。本发明提供的基于Storm的流处理系统，可自动获取用户存储的数据及用户提供的配置文件，生成拓扑作业提交至Storm集群进行流处理，实现整个流处理框架中的通用组件及作业配置组装，简化、加速流处理作业开发过程。

主权项

一种基于Storm的流处理方法，其特征在于，所述方法包括：提取数据；获取配置文件，解析所述配置文件中的拓扑参数，所述拓扑参数用于构建拓扑作业；根据所述拓扑参数、所述数据构建拓扑作业；将所述拓扑作业进行Storm流处理。