购供售一体化电能量采集与监控系统中基于分布式缓存的采集任务调度方法

摘要

本发明涉及一种购供售一体化电能量采集与监控系统中基于分布式缓存的采集任务调度方法，包括下列步骤：任务管理器根据任务模板创建采集任务，并将采集任务存放在分布式缓存的任务数据区里，任务管理器根据前置采集集群中的各个采集结点的负载情况均衡地分配任务，采集结点通过消息总线获取任务，启动相应的任务执行流程，执行完后将任务的执行状态更新回分布式缓存。本发明的有益效果是能很好地解决庞大数据的任务调度问题，从根本上解决了购供售一体化点能量采集与监控系统数据类型多，数据量大的瓶颈问题；实现了采集任务的高效、均衡、稳定调度。

主权项

一种购供售一体化电能量采集与监控系统中基于分布式缓存的采集任务调度方法，其特征在于所述方法由分布式缓存、任务管理器、前置采集集群及消息总线组成的采集任务调度系统完成；具体步骤如下：（一）由所述任务管理器根据任务模板生成采集任务，将所述采集任务放到所述分布式缓存的任务数据区：（1）由所述采集任务调度系统将数据库中的任务模板加载到所述分布式缓存的任务数据区，由任务管理器从所述任务数据区获取任务模板，并对任务模板的状态进行判断，过滤掉无效和停用的任务模板；（2）对任务模板进行增加或/和删除的修改：对任务模板根据需要进行增加或/和删除的修改，由任务管理器对作出修改的任务模板进行监测，并通过消息总线获取相应的信息；（3）创建任务线程池：通过分析任务模板的内容，根据任务需要执行的时间和周期创建任务线程池，任务管理器根据任务时间要求属性动态地生成采集任务，并将所生成的采集任务放入所述任务线程池中，由任务管理器统一管理；所述采集任务由任务ID号和任务信息体组成，一个任务ID号对应唯一一个任务信息体；（二）由任务管理器通过权重轮询算法对所述采集任务进行调度，将采集任务通过消息总线分发给各个采集结点，采集结点获取采集任务后进行报文组装、下发和接收解析操作，采集任务结束后更新采集任务状态：（1）所述权重轮询算法根据每个采集结点的不同处理能力，给每个采集结点分配不同的权值，使其能够接收相应权值数的任务请求；（2）分配好的采集任务会标记上采集结点的任务ID号标识，把分配的任务发送到消息总线上，同时在分布式缓存的任务数据区中记录下这个采集任务的状态，包括已经分配给哪个采集结点执行和采集任务的执行状态和时间；（3）采集结点获取任务后，根据任务信息体的内容进行报文的组装、下发及接收解析操作，然后根据采集任务执行结果通过消息总线返回到分布式缓存的任务数据区；所述采集任务执行结果包括成功、失败和超时；（三）任务管理器对执行完成的采集任务进行相应的处理：任务管理器定时地对所述任务数据区进行监测，对执行成功的任务进行清理，对执行失败和超时的任务重新进行分配；当前置采集集群里的某个采集结点突然退出时，任务管理器监测到采集结点工况变化信息，对这个采集结点上正在执行的采集任务和未执行的采集任务进行回收，将这些采集任务重新分配到其他在线的采集结点上。