大规模数据处理系统及方法

摘要

本发明公开了一种大规模数据处理系统和方法，应用于处理器与图形处理器混合异构集群，包括至少一个共享存储节点、一个控制节点和多个计算节点，通过高速网络将所述共享存储节点、控制节点和多个计算节点相连接，由控制节点对数据包中的基本数据块进行统筹规划分配给各计算节点，使得各计算节点的负载均衡，由各计算节点直接从共享存储节点中读取相应的基本数据块进行计算，并返回计算后的结果给控制节点，优化了数据传输过程，缩短了计算时间，从而最大限度的利用现有系统的性能，使得整个系统效率大幅提升，不需受限于网络带宽不足、内存容量小等情况，满足了高性能应用对于大规模数据进行处理的要求。

主权项

一种大规模数据处理系统，应用于中央处理器与图形处理器混合异构集群，其特征在于，包括：至少一个共享存储节点、一个控制节点和多个计算节点，所述共享存储节点、控制节点和多个计算节点通过高速网络相互连接；其中，所述共享存储节点用于存储所有需要处理的数据包，所述数据包由多个基本数据块组成；所述控制节点用于给各所述计算节点分配计算任务，接收各所述计算节点计算后的结果；所述计算节点用于根据所分配的计算任务从所述共享存储节点读取相应的所述基本数据块进行计算，发送计算后的结果给所述控制节点。