一种基于flume系统的数据处理方法及其装置

摘要

本发明公开了一种基于flume系统的数据处理方法及其装置，该方法应用于数据清洗系统，包括如下步骤：S1、source层从数据源采集原始数据；S2、source层将采集到的原始数据发送至channel层；S3、channel层将原始数据发送至数据清洗模块；S4、channel层从数据清洗模块获取目标数据；S5、sink层从channel层获取目标数据；S6、sink层将目标数据发送至接收方。本发明的优点在于通过将flume系统的在source层中的清洗功能剥离至flume系统外的数据清洗模块中，提高source层的数据采集效率，减少了对生产机器的损耗。

主权项

一种基于flume系统的数据处理方法，应用于数据清洗系统，其特征在于，包括如下步骤：S1、source层从数据源采集原始数据；S2、source层将采集到的原始数据发送至channel层；S3、channel层将原始数据发送至数据清洗模块；S4、channel层从数据清洗模块获取目标数据；S5、sink层从channel层获取目标数据；S6、sink层将目标数据发送至接收方。