一种定时数据增量同步的方法

摘要

本发明提供一种定时数据增量同步的方法，本发明是一种基于时间戳增量抽取的技术，主要包括线程调度引擎和数据处理引擎，将业务系统中的变化数据按一定的频率准确地捕获到，并且通过查询数据总记录数，分析增量区间数据量大小，计算系统的可用内存，估计优化同步时的预计使用内存，合理分配数据同步内存。本发明能够很好地避免增量数据过大时导致内存溢出，降低数据增量同步时对业务系统造成的压力，从而确保在进行数据增量时现有业务也可以正常运行。

主权项

一种定时数据增量同步方法，所述方法基于一数据交换平台实现的，其特征在于：所述数据交换平台包括线程调度引擎和数据处理引擎，线程调度引擎通过分析线程内存、线程的最大数量来管理并发的线程，数据处理引擎通过分析业务数据记录数、记录数据大小来分配每次执行的数据记录数；所述线程调度引擎包括内存分析单元，所述数据处理引擎包括智能处理单元；所述方法包括如下步骤：步骤1、数据交换平台根据运行环境来配置初始运行参数，所述运行参数包括并行线程数；步骤2、数据交换平台在运行过程中，对数据增量同步后的调度日志和数据日志进行性能优化分析，并通过线程调度引擎中的内存分析单元对数据记录数量和每条记录占用的系统内存大小进行分析，根据服务器的配置情况计算出推荐配置的运行参数的并发线程数阈值；步骤3、数据处理引擎根据优化后设定的并发线程数阈值以及线程数量对数据进行拆分，将数据拆分成等块大小的数据块，且每块数据大小占用内存一样，在多任务多线程并发执行时，将根据数据量大小和内存大小来控制线程数量和数据块的大小，从而完成定时数据增量同步；所述并发线程数阈值计算方式如下：在CPU权重时，即内存充足，CPU不足时：当CPU正常满载，即当CPU达到80％～100％时，并发线程数阈值＝满载时并发线程数×当前任务分配的CPU所占比例；在内存权重时，即CPU充足，内存不足时：当内存满载，即当内存使用率达到70％～90％时，并发线程数阈值＝满载时的并发线程数×当前任务分配的内存所占比例。