基于HBase的数据导入方法和系统

摘要

一种基于HBase的数据导入方法，包括以下步骤：文件名提取线程提取文件压缩池中新上报文件的文件名，将提取的文件名存放到无读写锁的队列；文件处理线程从无读写锁的队列中获取文件名，从所述文件压缩池中提取文件名对应的文件，读取文件为文件流；文件处理线程将文件流中的行数据转换为json对象；文件处理线程根据json对象构造HBase的Row对象；存储线程将构造的Row对象导入HBase中。上述基于HBase的数据导入方法，通过无读写锁队列以及多线程并发处理机制，可提高将数据导入HBase的速度。此外，还提供一种基于HBase的数据导入系统。

主权项

一种基于HBase的数据导入方法，包括以下步骤：文件名提取线程提取文件压缩池中新上报文件的文件名，将提取的文件名存放到无读写锁的队列；文件处理线程从无读写锁的队列中获取文件名，从所述文件压缩池中提取文件名对应的文件，读取文件为文件流；文件处理线程将文件流中的行数据转换为json对象；文件处理线程根据json对象构造HBase的Row对象；存储线程将构造的Row对象导入HBase中。