一种数据传输方法

摘要

本申请提供了一种数据传输方法，所述方法应用于数据处理系统，所述数据处理系统中设置有快照表集合，所述快照表集合包括至少两个按次序排列的快照表，所述方法包括：判断在所述快照表中是否含有与当前准备写入快照表的数据记录关键值相对应的写入记录，如果是，将所述当前数据记录写入含有其写入记录的所述快照表中，否则，将所述当前准备写入快照表的数据记录按轮询方式写入所述快照表集合的快照表中；当所述源库数据表中的数据记录全部写入所述快照表中后，启动与所述快照表集合中被写入数据记录的快照表相同数量的数据处理任务分别对所述快照表中的数据记录同时进行数据抽取、转换、加载处理；将所述经过处理的数据记录放入目的库。

主权项

一种数据传输方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统中设置有快照表集合，所述快照表集合包括至少两个按次序排列的快照表，所述方法包括：判断在所述快照表集合的快照表中是否含有与源库数据表中的当前准备写入快照表的数据记录关键值相对应的写入记录，如果是，将所述当前准备写入快照表的数据记录写入所述含有与所述当前准备写入快照表的数据记录关键值相对应的写入记录的快照表中，否则，将所述当前准备写入快照表的数据记录按轮询方式写入所述快照表集合的快照表中；当所述源库数据表中的数据记录全部写入所述快照表集合的快照表中后，启动与所述快照表集合中写入所述源库数据表中的数据记录的快照表相同数量的数据处理任务分别对所述快照表中的数据记录同时进行数据抽取、转换、加载处理；将所述经过处理的数据记录放入目的库；所述将所述数据记录按照轮询方式写入所述快照表集合的快照表中包括：查找上一次被写入记录数据记录的且在写入数据记录前没有与所述写入的数据记录相对应的写入记录的快照表，并判断所述快照表在所述快照表集合中的位置；当所述快照表位置为所述快照表集合中的最后一个快照表时，将所述当前准备写入的数据记录写入所述快照表集合中的第一个快照表中，否则，将所述当前准备写入的数据记录写入所述快照表集合中的所述快照表位置的下一个快照表中。