发明名称 巨量数据一次性快速写入数据库的方法
摘要 本发明提供一种巨量数据一次性快速写入数据库的方法,操作步骤如下:当巨量数据要写入数据库中的目的表时,先通过临时表生成和处理单元,根据写入的数据量,先动态生成多个临时表,并且把表名写到临时名称表中,然后启动多个线程把数据分组写到各个临时表中,由于是写入多个表,所以能在较短时间内完成,目的表处理单元自动判断计算机负载情况,系统空闲时,执行写入目的表操作,先从临时名称表中读取出来临时表的表名,然后根据表名,循环从每个表中读取出来所有记录,写入到目的表中,至此,完成操作。
申请公布号 CN101799832A 申请公布日期 2010.08.11
申请号 CN201010136637.5 申请日期 2010.03.31
申请人 山东高效能服务器和存储研究院 发明人 王理想
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 代理人
主权项 巨量数据一次性快速写入数据库的方法,其特征在于,支持方法的系统结构包括:临时表生成和处理单元,临时表和目的表处理单元,其中:临时表生成和处理单元是核心,根据写入的数据量,动态生成临时表,并把数据写入到生成的临时表中;临时表是暂时存放写入数据的中间体;目的表处理单元判断计算机负载情况,负载较低时,从临时表中取得数据,写入到目的表中,具体步骤如下:当巨量数据要写入数据库中的目的表时,先通过临时表生成和处理单元,根据写入的数据量,先动态生成多个临时表,并且把表名写到临时名称表中,然后启动多个线程把数据分组写到各个临时表中,由于是写入多个表,所以能在较短时间内完成,目的表处理单元自动判断计算机负载情况,系统空闲时,执行写入目的表操作,先从临时名称表中读取出来临时表的表名,然后根据表名,循环从每个表中读取出来所有记录,写入到目的表中,至此,完成操作。
地址 250014 山东省济南市历下区山大路224号