数据同步调度方法和装置

摘要

本发明提出数据同步调度方法和装置。获取数据库日志生成的速度、采集进程对日志处理的速度、传输进程对队列的传输速度以及投递进程对队列处理的速度。决定采集进程组中采集进程数的多少、传输进程组中传输进程数的多少以及投递进程组中投递进程数的多少。本发明在不影响生产系统持续正常运行的情况下，提升数据采集和分发的效率，进而提高数据实时交付和实时共享的能力。

主权项

数据同步调度方法，包括以下步骤：生成系统资源的最大可利用值；获取数据日志生成速度以及数据采集进程对日志的处理速度，结合历史采集效率信息，动态生成数据采集进程组中备用进程的配置数目和每个数据采集进程对应的数据量配置信息；获取数据传输进程和数据投递进程的列队处理速度，结合历史队列处理效率信息，动态生成数据传输进程组和数据投递进程组中备用进程的配置数目、以及每个数据传输进程和数据投递进程对应的数据量配置信息；收集采集进程组、传输进程组以及投递进程组中需要唤醒的备用进程数，根据系统资源的最大可利用值和进程的资源开销系数，决定唤醒和/或停用的备用进程，即时唤醒和/或停用备用进程。