分布式动态负载管理系统和方法

摘要

一种分布式动态负载管理系统和方法，系统由具有动态负载管理功能、且具有P2P完全对等架构的分布式处理集群组成，该处理集群没有集中控制的中心节点，只有多个处理节点，每个处理节点都能独立提供分布式仲裁的动态负载管理能力，且各自权限和动态负载管理功能完全相同，但处理事件能力相同或不同；每个处理节点均为该动态负载管理系统的控制核心，且都设有事件处理、事件监听、事件分发、动态负载管理四个模块。本发明系统能够在分布式网络环境下实现分布式动态负载管理，有效解决数据处理请求热点变更带来的系统负载转移波动和节点动态变更时保证系统负载均衡；还支持P2P环境下分布式集群系统各处理节点都过载时，能有效保证系统的健壮性。

主权项

一种分布式动态负载管理系统，其特征在于：所述系统由具有动态负载管理功能、且具有端对端P2P完全对等架构的分布式处理集群所组成，该处理集群没有集中控制的中心节点，只设有多个处理节点，其中每个处理节点都能独立提供分布式仲裁的动态负载管理能力，且其各自权限和动态负载管理的功能完全相同，但处理事件的能力相同或不同；每个处理节点均为该动态负载管理系统的控制核心，且都设有下述四个功能模块：事件处理模块、事件监听模块、事件分发模块、动态负载管理模块；各个模块的功能如下：事件处理模块，用于处理某些特定类型和属性的事件，产生中间处理结果或最终结果，并借助事件分发模块把产生的新事件交由本处理节点或发往其它处理节点继续处理，或将最终处理结果返回给客户端；该事件处理模块是该系统中预设的，或由第三方程序员开发并部署到处理节点上；事件监听模块，负责接收来自客户端的数据处理请求事件，以及来自自身或其它的处理节点的事件；并接受动态负载管理模块的动态负载管理决策控制指令：当接收到负载转移指令时，将事件分别发送到该指令中指定的处理节点；当接收到过载控制指令时，产生系统过载的响应消息，并发送到客户端；或者将事件交由事件处理模块重新进行处理；动态负载管理模块，设有负载监控单元和负载决策单元两个部件，其中：负载监控单元在事件监听模块协助下，实时采集和存储分布式处理集群中各处理节点的存活状况、有效负载率和综合处理能力的信息，并实时更新与存储经负载决策单元创建或者维护后的虚拟节点映射表和动态负载信息表；负载决策单元负责基于各处理节点的存活状况、有效负载率和综合处理能力的信息，以及其存储的虚拟节点映射表，制定用于事件处理和事件分发过程中的负载均衡、负载转移和过载控制的动态负载管理决策控制指令；事件分发模块，负责接受动态负载管理模块发出的动态负载管理决策控制指令，对其接收到的由事件处理模块产生的新事件或最终处理结果执行事件分发处理：当接收到负载均衡指令时，对其接收到的由事件处理模块产生的新事件或最终处理结果分别发送到该指令所指定的本处理节点的事件监听模块、或 其它处理节点、或客户端。