一种高效动态负载均衡的处理大规模数据的系统及方法

摘要

本发明公开了一种高效动态负载均衡的处理大规模数据的系统及方法，属于处理大规模数据技术领域，其结构包括控制系统、计算集群系统、存储系统、高速网络；控制系统中节点采用CPU与GPU混合异构架构；计算集群系统中节点采用CPU与GPU混合异构架构或节点采用CPU架构；存储系统分共享存储和本地存储，共享存储中节点采用CPU架构，本地存储用于存储所在的控制系统的节点或者是计算集群系统的节点的数据；高速网络用于将控制系统中节点、计算集群系统中节点、共享存储中节点互相连接，组成集中式的处理大规模数据的系统。本发明解决当前服务器计算系统网络带宽不足、内存容量小等情况，而无法对较大规模数据进行处理的问题。

主权项

一种高效动态负载均衡的处理大规模数据的系统，其特征在于为CPU与GPU混合异构集群系统，包括中央控制系统、计算集群系统、存储系统、高速网络；中央控制系统中节点采用CPU与GPU混合异构架构；计算集群系统中节点采用CPU与GPU混合异构架构或采用CPU架构；存储系统分共享存储和本地存储，共享存储中节点采用CPU架构，本地存储设置在中央控制系统的节点以及计算集群系统的每个节点中，共享存储分为主存储和备份存储，主存储和备份存储作为冗余存储、存储相同的计算数据，本地存储用于存储所在的中央控制系统的节点或者是计算集群系统的节点的数据；高速网络用于将中央控制系统中节点、计算集群系统中节点、共享存储中节点互相连接，组成集中式的处理大规模数据的系统。