一种基于内存数据库和Hbase存取大数据的方法及系统

摘要

本发明公开了一种基于内存数据库和Hbase存取大数据的方法及系统，其中，所述的方法包括：S1、读取多个待处理的源文件，分别对每一个所述源文件进行任务处理，其中，一个任务处理包括多个处理步骤；S2、每一个源文件进行了每一个处理步骤后，以第一预设方式将每一个源文件的文件处理状态存储于内存数据库中；S3、将每一个源文件的每一个处理步骤后的文件数据以第二预设方式存储于Hbase中。本发明将任务处理过程中的中间数据文件存放于Hbase中，而将每一个文件经过每一个处理步骤后的文件处理状态存放于内存数据库中，利用了Hbase可存放大数据以及内存数据库访问速度快的优势，能够实现数据的快速存取和快速访问。

主权项

一种基于内存数据库和Hbase存取大数据的方法，其特征在于，包括：S1、读取多个待处理的源文件，分别对每一个所述源文件进行任务处理，其中，一个任务处理包括多个处理步骤；S2、每一个源文件进行了每一个处理步骤后，以第一预设方式将每一个源文件的文件处理状态存储于内存数据库中；S3、将每一个源文件的每一个处理步骤后的文件数据以第二预设方式存储于Hbase中。