一种Flume与SparkStreaming整合的方法及系统

摘要

本发明涉及一种Flume与SparkStreaming整合的方法及系统，其中方法包括以下步骤：步骤1：下载可供代码正常运行的插件包；步骤2：修改Flume的配置信息，指定节点ip和端口；步骤3：Flume与SparkStreaming通过设置的端口进行数据交互，SparkStreaming应用插件包对得到的变化数据并进行分析处理，得到分析结果。本发明通过Flume与SparkStreaming整合，使整个系统达到了高通量、容错处理、低延迟、高性能、分布式的流式处理的状态。

主权项

一种Flume与SparkStreaming整合的方法，其特征在于，具体包括以下步骤：步骤1：下载可供代码正常运行的插件包；步骤2：修改Flume的配置信息，指定端口；步骤3：Flume与SparkStreaming通过设置的端口进行数据交互，SparkStreaming应用插件包对得到的变化数据并进行分析处理，得到分析结果。