发明名称 一种将关系型数据迁移至HBase的方法及系统
摘要 本发明涉及一种将关系型数据迁移至HBase的方法及系统,包括关系数据库、HBase数据库、SQL解析模块、查询转换模块和数据模式管理模块;通过在HBase数据库中设计映射关系表,存储原关系数据库中模式信息与HBase数据库中模式信息的映射关系,完整保留了原关系数据库中数据表格的模式信息,且可灵活配置映射方式,为用户提供了更多的选择,且HBase的高效数据组织方式,大大提高了访问性能,节省了存储空间,同时提供数据导出功能,实现与其他子系统的数据交互,另外,数据查询功能支持SQL查询,将SQL查询语句转换成HBase数据库的查询语句,使用户更平滑地过渡到HBase数据库。
申请公布号 CN103631907B 申请公布日期 2016.09.07
申请号 CN201310612192.7 申请日期 2013.11.26
申请人 中国科学院信息工程研究所 发明人 戴娇;文杰;韩冀中;周薇
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 北京轻创知识产权代理有限公司 11212 代理人 杨立
主权项 一种将关系型数据迁移至HBase的方法,其特征在于,包括如下步骤:步骤1:建立HBase数据库,并建立用于存储关系数据库中的关系型数据表与HBase中相应的数据存储表间映射关系的映射关系表;步骤2:选定一个或一个以上的关系型数据表,并为选定的每个关系型数据表定义映射方式,记录在映射关系表中;步骤3:导入数据时,查询映射关系表中的映射方式,并根据映射方式建立相应的数据存储表;步骤4:将步骤2中所述一个或一个以上的关系型数据表中的数据按照步骤3中所述的映射关系迁移至建立的数据存储表中;步骤5:判断是否还有关系型数据要迁移到HBase数据库中,如果有返回步骤2,否则结束;步骤2中所述映射方式为包括表映射方式和列映射方式,所述表映射方式包括一对一映射和多对一映射,具体体现在表名的映射,所述表名的映射为根据表名转换运算进行映射,表名转换运算包括一对一哈希运算和多对一哈希运算;所述列映射方式包括默认方式、时序方式和用户自定义方式,所述默认方式即关系数据库中表格内所有列与HBase的数据存储表格的一个列簇内的所有列一一对应;所述时序方式即将关系数据库中表格内所有时间值属性列在HBase的数据存储表中单独定义一个列簇,该列簇包含一个列,将迁移的数据按照不同时间点对应于该列不同的时间戳上;所述用户自定义映射即根据用户的需要进行自定义。
地址 100093 北京市海淀区闵庄路甲89号