一种文本文件的并行解析过滤方法

摘要

本发明公开一种文本文件的并行解析过滤方法,涉及数据抽取转换技术，用于文本文件与hbase数据库的转换，通过配置数据模板及内置常用数据项，在解析出不同的文本文件类型后进行匹配解析，使得文本文件与数据模板中的常用数据项自动匹配；最后按照不同的数据分类存储到hbase数据库，进行文本文件的分类解析过滤。本发明通过配置数据模板及内置常用数据项实现文本文件的分类解析过滤，通过多线程入库hbase实现文本文件的分布式存储管理；增加了系统的可扩展性，同时使用了分类解析、存储、管理的方式，增强了文本数据解析过滤后的可用性。

主权项

一种文本文件的并行解析过滤方法，其特征在于, 用于文本文件与hbase数据库的转换，通过配置数据模板及内置常用数据项，在解析出不同的文本文件类型后进行匹配解析，使得文本文件与数据模板中的常用数据项自动匹配；最后按照不同的数据分类存储到hbase数据库，进行文本文件的分类解析过滤。