一种在计算机集群上进行矩阵乘积运算的方法和系统

摘要

本发明提供了一种在计算机集群上进行矩阵乘积运算的方法和装置，所述计算机集群上部署有分布式文件系统、用来执行映射Map任务和化简Reduce任务的多个计算节点，其中的方法具体包括：在所述多个计算节点上执行第一Map任务、第一Reduce任务、第二Map任务和第二Reduce任务；其中，所述第一Map任务进行第一处理得到相应的第一键值对结果；所述第一Reduce任务对第一键值对结果中相同主键的键值进行聚合；第二Map任务识别得到第一矩阵和第二矩阵的元素，并进行两两组合求乘积运算，得到第二键值对结果；第二Reduce任务对所述第二键值对结果中相同主键的键值进行求和。本发明能够提高矩阵乘积的运算速度。

主权项

一种在计算机集群上进行矩阵乘积运算的方法，所述计算机集群上部署有分布式文件系统、用来执行映射Map任务和化简Reduce任务的多个计算节点，其特征在于，所述方法包括：在所述多个计算节点上执行第一Map任务、第一Reduce任务、第二Map任务和第二Reduce任务；其中，所述第一Map任务从分布式文件系统读取第一矩阵和第二矩阵的行数据，并对所述行数据进行第一处理得到相应的第一键值对结果，并输出；所述第一Reduce任务对所述第一键值对结果中相同主键的键值进行聚合，并将相应的聚合结果输出至分布式文件系统；所述第二Map任务从分布式文件系统读取所述聚合结果，从所述聚合结果中识别得到第一矩阵和第二矩阵的元素，并对所述第一矩阵和第二矩阵的元素进行两两组合求乘积运算，将运算得到的第二键值对结果进行输出；其中，所述第二键值对结果的主键为乘积矩阵元素的行列号，键值为乘积矩阵元素的值；所述第二Reduce任务对所述第二键值对结果中相同主键的键值进行求和，并将相应的求和结果作为乘积矩阵元素的值输出至分布式文件系统。