发明名称 |
数据库集群的并行压缩海量数据装载方法 |
摘要 |
本发明涉及一种数据库集群的并行压缩海量数据装载方法,其主要技术特点是:包括步骤1:建立包括数据装载工具、驱动程序和数据库集群的并行压缩海量数据装载的组件架构;步骤2、客户端通过数据装载工具和驱动程序向数据库集群发送数据装载命令,获取各个数据库节点的连接信息后,连接各个数据库并且发送需要装载的数据;数据库集群服务器给客户端提供集群各个数据库节点的连接信息以及各个表的相关信息;数据库节点接收客户端发送过来的数据并存储下来。本发明使用海量数据通信协议以及并行优化处理和压缩优化处理方法,充分利用服务器的多CPU和网络资源并融合在海量数据装载过程中,提升了数据库集群的搭建速度。 |
申请公布号 |
CN102981857A |
申请公布日期 |
2013.03.20 |
申请号 |
CN201210514328.6 |
申请日期 |
2012.12.04 |
申请人 |
天津神舟通用数据技术有限公司 |
发明人 |
谢卫平;冯柯;蒋志勇;刘碧楠;李阳;羊逢文;李晓鹏 |
分类号 |
G06F9/44(2006.01)I;G06F17/30(2006.01)I;H04L29/08(2006.01)I |
主分类号 |
G06F9/44(2006.01)I |
代理机构 |
天津盛理知识产权代理有限公司 12209 |
代理人 |
王利文 |
主权项 |
一种数据库集群的并行压缩海量数据装载方法,其特征在于:包括以下步骤: 步骤1:建立包括数据装载工具、驱动程序和数据库集群的并行压缩海量数据装载的组件架构; 步骤2:客户端通过数据装载工具和驱动程序向数据库集群发送数据装载命令,获取各个数据库节点的连接信息后,连接各个数据库并且发送需要装载的数据;数据库集群服务器给客户端提供集群各个数据库节点的连接信息以及各个表的相关信息;数据库节点接收客户端发送过来的数据并存储下来。 |
地址 |
300384 天津市南开区华苑产业区华天道6号海泰大厦302室 |