主权项 |
巨量数据一次性快速写入数据库的方法,其特征在于,支持方法的系统结构包括:临时表生成和处理单元,临时表和目的表处理单元,其中:临时表生成和处理单元是核心,根据写入的数据量,动态生成临时表,并把数据写入到生成的临时表中;临时表是暂时存放写入数据的中间体;目的表处理单元判断计算机负载情况,负载较低时,从临时表中取得数据,写入到目的表中,具体步骤如下:当巨量数据要写入数据库中的目的表时,先通过临时表生成和处理单元,根据写入的数据量,先动态生成多个临时表,并且把表名写到临时名称表中,然后启动多个线程把数据分组写到各个临时表中,由于是写入多个表,所以能在较短时间内完成,目的表处理单元自动判断计算机负载情况,系统空闲时,执行写入目的表操作,先从临时名称表中读取出来临时表的表名,然后根据表名,循环从每个表中读取出来所有记录,写入到目的表中,至此,完成操作。 |