在构成网络的多个节点（处理器）之间，对包含多对多通信的多个计算处理进行调度的方法、程序和并行计算机系统

摘要

在构成n维的(环形或网状)网络的多个节点(处理器)之间，对包含多对多(A2A)通信的多个计算处理进行最佳调度。将构成网络的多个节点(处理器)分为仅对第1部分组内包含的多个节点之间的多对多通信需要的通信(计算处理)阶段(A2A-L)、和仅对第2部分组内包含的多个节点之间的多对多通信需要的通信(计算处理)阶段(A2A-P)，在遍及多个线程(线程1、线程2、线程3、线程4)，使各个阶段重叠而进行并行处理。即使对于FFT(快速傅立叶变换)或T(转置)((内部转置)这样的多个计算处理，也能够进行并行处理。

主权项

一种调度方法，用于在n维的轴上构成取决于该维数的形状的(环形或网状)网络的多个节点(处理器)之间，对包含多对多通信的多个计算处理进行调度，其中n＞2，该调度方法具有：将包含最长的轴的组(如果最长的轴为1个则为轴状，除此以外的情况下取决于将最长的轴的数作为维数的形状)内的多个节点选择为第1部分组的步骤；提供用于仅对该第1部分组内包含的多个节点之间的多对多通信进行处理的第1通信阶段的步骤；将包含最长的轴以外的其余全部轴的组内的多个节点选择为第2部分组的步骤；提供用于仅对该第2部分组内包含的多个节点之间的多对多通信进行处理的第2通信阶段(A2A‑P)的步骤；以及对多个计算处理进行调度，以使第1通信阶段(A2A‑L)和第2通信阶段(A2A‑P)能够在节点内并行地处理(流水线处理)(重叠进行)，并且能够等待第1部分组中的全部多对多通信完成后进入下面的处理的步骤。