一种Hbase数据库的通用高性能数据写入方法

摘要

本发明公开一种Hbase数据库的通用高性能数据写入方法，其能够避免了数据干扰和并发安全隐患，避免了因HTable数据写入速率慢的原因导致队列数据阻塞,保证了队列的数据可以持续不断的输出。这种Hbase数据库的通用高性能数据写入方法，使用数据分发机制,平均分发多份数据,不同表的数据有不同的数据处理对象,HTable对象数组均为此对象的局部变量；每份数据一一对应一个HTable对象数组；每份数据写入多个缓冲区中,然后HTable对象数组读取已经写好的缓冲区来进行入库操作；HTable对象数组写入数据的过程中对使用的缓冲区加上线程锁,未写入缓冲区的数据绕开加上线程锁的缓冲区而写一个新的缓冲区。

主权项

一种Hbase数据库的通用高性能数据写入方法，其特征在于：使用数据分发机制,平均分发多份数据,不同表的数据有不同的数据处理对象,HTable对象数组均为此对象的局部变量；每份数据一一对应一个HTable对象数组；每份数据写入多个缓冲区中,然后HTable对象数组读取已经写好的缓冲区来进行入库操作；HTable对象数组写入数据的过程中对使用的缓冲区加上线程锁,未写入缓冲区的数据绕开加上线程锁的缓冲区而写一个新的缓冲区。