自洽多阶张量扩展方法及多MPU并行计算系统

摘要

本发明涉及一种自洽多阶张量扩展方法及多MPU并行计算系统，将多个基于MPU架构、集成有外联扩展网络接口的超节点互连成为一部整合的、更大规模的并行计算系统。外联扩展网络接口可以通过打开MPU超节点原有的内联网络的环绕连接来实现，也可以另外增设Axon节点，Axon节点与内联网络中的节点子集进行互连。多阶张量超高扩展方法包括零阶张量扩展、一阶张量扩展和高阶张量扩展。本发明可用于诸如全局求和与全局取大值等全局操作，远端通信，以提高长程通信效率，有效地减少网络半径。同时能够更有效地在扩充系统时，减缓网络半径的增加，降低长程通信的延迟，从而保证了更大规模系统的更高扩展性与可用性。

主权项

1、一种自洽多阶张量扩展方法，其特征在于，将多个基于MPU架构、集成有外联扩展网络接口的超节点互连成为一部整合的、更大规模的多MPU并行计算系统；该方法包括：1-1)零阶张量扩展：每个MPU超节点打开原有的内联网络的环绕连接，形成外联扩展网络接口；按照MPU拓扑架构的连接法则，将多个超节点利用外联扩展网络接口互连起来，从而使得所有打开的环绕连接重新在超节点间得到闭合；1-2)一阶张量扩展：在每个MPU超节点，增加若干Axon节点；上述的Axon节点，一方面，与内联网络中的一个含多个节点的子集进行互连，另一方面，提供Axon节点间互连的网络接口；按照一定的Axon节点间的互连方式，所有Axon节点互连成为一个一阶外联扩展网络系统；1-3)高阶张量扩展：以由比它低一阶张量扩展方式生成的MPU系统为超节点；在上述的超节点中，增加若干高阶Axon节点，作为辅助的通信节点；上述的高阶Axon节点，一方面，与内联网络中的一个低一阶Axon节点子集进行互连，另一方面，提供高阶外联扩展网络的接口；按照一定的Axon节点间的互连方式，所有Axon节点互连成为一个高阶外联扩展网络系统。