面向流处理器并行环境的数据流通信系统及其通信方法

摘要

一种面向流处理器并行环境的数据流通信系统及其通信方法，涉及并行通信技术领域，所解决的是CUDA和MPI混合程序开发不便且不利于海量数据流实时处理的技术问题。该系统中的每个计算节点均配置有CPU计算部件、GPU计算部件、动态管道池，及用于MPI通信的MPI接收部件、MPI发送部件，且在每个计算节点中均设有节点资源表、部件资源表、流通信管道映射表，各计算节点部件之间的通信均通过动态管道池进行，并使用通信数据单元来传输。本发明提供的系统及其通信方法，能有效地支持利用MPI和流处理器计算机构建大规模信息处理并行环境，利于程序员开发系统程序，适用于云计算节点的构建和大规模数据流的实时处理。

主权项

一种面向流处理器并行环境的数据流通信系统，其特征在于：包括流处理器并行计算物理环境、节点资源表、部件资源表、流通信管道映射表；所述流处理器并行计算物理环境为一个四元组SPPE（PCS，MASTER，SOFS，NS）；其中，SPPE为流处理器并行计算物理环境，PCS=｛C1，C2，…，Cc｝为SPPE中的计算节点的集合，MASTER为SPPE中的主控制计算节点，SOFS为SPPE中的软件的集合，NS为SPPE中的互连网络的集合，且在NS上配有消息传递接口MPI通信环境；所述计算节点配置有CPU计算部件、GPU计算部件、动态管道池，及用于MPI通信的MPI接收部件、MPI发送部件，所述CPU计算部件、GPU计算部件、MPI接收部件、MPI发送部件均为广义计算部件，所述GPU计算部件为流处理计算设备；所述动态管道池为一个四元组DPP（ID，CPS，PPS，PipeM）；其中，DPP为动态管道池，ID为DPP的标识符，CPS=｛CP1，CP2，…，CPm｝为DPP中的公有管道的管道集合，PPS=｛PN1，PN2，…，PNn｝为DPP中的私有管道的管道集合，是广义计算部件读取信息的专有管道，PipeM为DPP的管道管理部件，所述公有管道及私有管道均为单向流动的数据流通道，所述CPS分为两组，分别为CPSM管道组和CPSS管道组，CPSM管道组用于接收消息，CPSS管道组用于发送消息和数据流信息通信的管道绑定，每个广义计算部件均配有一个私有管道，用于接收消息及数据流；所述广义计算部件为一个五元组GP（ID，RP，WP，PN，SP）；其中，GP为广义计算部件，ID为GP的部件标识符，RP为GP的读管道进程；WP为GP的写公有管道进程，PN为GP的私有管道，SP=｛P1，p2，p3，…，Pp｝为GP中的各狭义计算部件的集合；所述节点资源表为一个二维表NTA（Nid，Nname，Nip，Ntype），记载有SPPE中所有计算节点的节点信息；其中，NTA为节点资源表，Nid为所记载计算节点的节点标识符，Nname为所记载计算节点的节点名字，用于通信标识，Nip为所记载计算节点的节点IP地址，用于MPI环境的配置，Ntype为所记载计算节点的节点类型，用于表明所记载计算节点的是普通计算节点还是主控制计算节点；所述部件资源表为一个二维表PTA（Pid，Pname，Ptype，PN），记载有SPPE中所有广义计算部件的部件信息；其中，PTA为部件资源表，Pid为所记载部件的部件标识符，Pname为所记载部件的部件名字，用于通信标识，Ptype为所记载部件的部件类型，用于表明该部件是CPU计算部件、GPU计算部件，还是通信部件，PN为所记载部件的私有管道；所述流通信管道映射表为一个二维表MTA（mPid，group，sno，PipeA，PipeB）；其中，MTA为流通信管道映射表，mPid为标识符，group为数据流通信组号，用于通信标识，sno为序号，PipeA为数据流源管道号，PipeB为数据流目标管道号；所述NTA、PTA、MTA 在每个计算节点中均保持一个副本，并采用强一致性维护；各部件之间的通信均通过数据通信单元来承载，所述通信数据单元为一个十元组CDU（id，Sno，Segno，SourceN，SourceP，DestNS，DestPS，type，COM，DATA）；其中，CDU为通信数据单元，id为该CDU的标识符，Sno、Segno均用于数据流通信，Sno为该CDU的数据流号，Segno为该CDU的数据段号，SourceN为通信源计算节点，SourceP为该CDU的发出部件，DestNS为该CDU的目标计算节点的集合，DestPS为该CDU的目标部件的集合，是目标计算节点内接收该CDU的部件的集合，type为该CDU的通信数据单元类别，共有数据流、命令消息、短消息三种类别，COM为通信命令，DATA为消息数据。