| 主权项 |
一种高效的增量数据捕获方法, 其特征在于包括以下三个步骤：1）对源数据创建新版本的快照；2）新旧版本的快照数据比对；3）释放源数据的旧版本的快照；在步骤1）中，对源数据创建新版本的快照，进一步说明，根据增量捕获的结构规则，创建符合规则的新版本的快照数据；在步骤2）中，比对新旧版本的快照数据，它还包括以下的步骤：（1）捕获增加Insert操作类型的数据，进一步说，根据数据表的主键信息，识别出只在新版本快照中存在的数据，即为增加操作类型的数据；（2）捕获删除Delete操作类型的数据，进一步说，根据数据表的主键信息，识别出只在旧版本快照中存在的数据，即为删除操作类型的数据；（3）捕获修改Update操作类型的数据，进一步说，根据增量捕获中设置的拆分规则，分别把新、旧版本的快照数据，不包括增加、删除操作类型的数据分解成若干个数据块，新、旧版本的数据块是一一对应的，以下把对应的新、旧版本的数据块称为一对数据块；把对每一对数据块的比对处理初始化为一个任务，加载到任务池中；按照任务池的队列顺序依次并行执行任务；当任务执行完毕时，在任务池中注销该任务，再进一步说，每个任务的执行过程是，先分别对每个数据库逐行使用MD5算法进行计算，然后对计算后的数据进行逐行比对，主键相同但MD5值不相同的数据就是修改操作类型的数据；为了更高效地进行增量数据捕获，根据增量捕获的运行终端的资源可利用率决定任务池中各任务的执行状态，当增量捕获的运行终端的资源可利用率很低时，暂停执行任务池中余下的任务；当增量捕获的运行终端的可利用资源比较高时，按照最优资源利用原则依次执行余下的任务；在步骤3）中，释放源数据的旧版本的快照，进一步说明，由于旧版本的快照数据在以后的增量捕获活动中不再使用，为节约资源，将其释放掉。 |
