针对kafka的Hbase数据库的入库方法和系统

摘要

本发明涉及一种针对kafka的Hbase数据库的入库方法，包括：S1：收集kafka集群内所有topic的数据，并保存在队列中；S2：在配置文件中配置topic和所述数据中的分隔符、过滤规则、入库规则的对应关系；S3：根据所述对应关系，将数据序列化，并对所述数据进行过滤；S4：读取所述配置文件中的配置信息，创建与Hbase数据库的连接，并将所述数据构建成put对象；S5：将所述put对象入库所述Hbase数据库。本发明解决了针对kafka中不同topic需要进行单独处理的问题，提供一种通用适配所有topic的方法，并构建了一种高性能的Hbase数据库入库方法，极大的提高了数据写入的效率，提升了输出带宽，最大限度利用了机器的网络和磁盘性能，通过双队列设计，最大限度保证了数据的安全，避免了数据的丢失。

主权项

一种针对kafka的Hbase数据库的入库方法,其特征在于，包括如下步骤：S1：收集kafka集群内所有主题的数据，并保存在队列中；S2：在配置文件中配置主题和所述数据中的分隔符、过滤规则、入库规则的对应关系；S3：根据所述对应关系，将所述数据序列化，并对所述数据进行过滤；S4：读取所述配置文件中的配置信息，创建与Hbase数据库的连接，并将所述数据构建成put对象；S5：将所述put对象入库所述Hbase数据库。