发明名称 对数据划分分布式环境实现动态划分和负载均衡的方法
摘要 本发明公开了一种对数据划分分布式环境实现动态划分和负载均衡的方法,本发明通过动态组合基本数据单元即进行动态划分进行局部负载均衡,使得划分粒度能够适应系统运行时的要求,解决了固定划分方法由于粒度过大导致负载均衡时效的问题;本发明采用划分请求队列及稀缺资源队列模型分析节点负载具有较广泛的适用性;系统达到负载均衡后,本发明中的局部监视器可以动态调整划分个数,即使划分在节点内部进行自适应调整,以增大节点内部的资源利用率,进而提高整个系统的工作效率。
申请公布号 CN102207891A 申请公布日期 2011.10.05
申请号 CN201110155674.5 申请日期 2011.06.10
申请人 浙江大学 发明人 王新宇;杨小虎;李善平;王婷;邱炜伟
分类号 G06F9/50(2006.01)I 主分类号 G06F9/50(2006.01)I
代理机构 杭州求是专利事务所有限公司 33200 代理人 周烽
主权项 一种对数据划分分布式环境实现动态划分和负载均衡的方法,其特征在于,该方法包括如下步骤:(1)对数据划分系统存储于数据库表中的业务数据进行划分,形成基本数据单元,再根据系统需要部署的数据划分数量将基本数据单元平均分配到各个数据划分;(2)将数据划分部署到各个物理节点上,每个节点上的数据划分都作为独立的进程并行运行,并加载数据库中相关的数据到本地节点;(3)为每个数据划分创建唯一的划分请求队列,系统将到达的对各个数据划分的请求按照其所属数据划分入队到对应划分请求队列,数据划分从这个唯一的队列中获取请求以进行解析与后续处理,再为每个物理节点上对数据库的连接建立资源请求队列,资源请求队列为一个被单个节点上所有数据划分共享的后端队列,数据划分处理的请求需要连接数据库进行读写操作时,将连接请求发送到该后端队列中等待;(4)数据划分系统运行时在系统范围内通过监控所有划分请求队列和资源请求队列来计算负载,所选择的负载指数称为预计延迟,其计算方式为某一队列的队列长度与出队列速度之商,是某一请求从进入该队列到出队的预计延迟时间;(5)局部负载均衡在单个物理节点内进行,位于每个节点上的局部监视器周期性不断监视、计算与刷新划分请求队列的预计延迟作为每个数据划分的负载,当一个节点上最低负载和最高负载数据划分的预计延迟比值和高负载数据划分请求队列长度都超过预定义的阈值,并且高负载数据划分请求队列的入队速度大于出队速度,负载将继续升高,则启动局部负载均衡算法,将高负载数据划分上的部分基本数据单元移动到负载最低的数据划分;(6)全局负载均衡在所有物理节点间进行,全局监视器负责监视不同节点上的资源请求队列,计算并且周期性刷新预计延迟的值作为每个节点的负载,当检测到最低负载和最高负载节点的预计延迟比值和高负载节点资源请求队列长度都超过预定义的阈值,则从高负载节点移动一定数量的数据划分到低负载节点;(7)数据划分系统运行时,位于每个节点上的局部监视器同时监视并计算划分请求队列和资源请求队列的预计延迟,并计算当前平均每个请求从进入系统到处理完毕的预计等待时间,若考虑是否需要增加数据划分,再次计算增加一个数据划分时平均每个请求的预计等待时间,若预计等待时间减少,则增加一个数据划分,若预计等待时间增加,则不增加数据划分,考虑是否需要减少数据划分时亦然。
地址 310027 浙江省杭州市西湖区浙大路38号