一种利用拦截器进行日志数据收集的方法及系统

摘要

本发明涉及一种利用拦截器进行日志数据收集的方法及系统，其中方法包括以下步骤：步骤1：自定义构建一个拦截器，将拦截器放到Flume的根目录下；步骤2：所述拦截器接收数据并过滤掉不需要的数据，得到需要收集的日志数据。一个大的应用系统中往往产生的日志数据会有几十甚至上百个字段，在使用Flume自带的拦截器进行日志收集时，收集到的日志还是会有对应这么多的字段，但是基本上有很多字段是我们不需要去关注的，没有实际利用价值，这样带来数据的传输性能缓慢和存储的开销。本发明通过自定义Flume拦截器，可以抽取出我们需要的字段，并对某个字段进行加密处理。减少了数据的传输量，降低了存储的开销。

主权项

一种利用拦截器进行日志数据收集的方法，其特征在于，具体包括以下步骤：步骤1：自定义构建一个拦截器，将拦截器放到Flume的根目录下；步骤2：所述拦截器接收数据并过滤掉不需要的数据，得到需要收集的日志数据。