基于mapreduce的大规模稀疏矩阵乘法运算的方法

摘要

本发明提供一种基于mapreduce的大规模稀疏矩阵乘法运算的方法，假设大规模稀疏矩阵为A和B，A和B的乘积矩阵为C，方法包括：步骤10、由一个mapreduce Job完成转置矩阵A，输出矩阵A’；步骤20、变换矩阵B，将矩阵B中以坐标点的存储方式变换为以稀疏向量的存储方式，输出矩阵B’；步骤30、连接矩阵A’与B’,计算乘积分量，通过连接操作，得到Cij在矩阵A列号k与矩阵B行号k上的乘积分量；步骤40、合并乘积分量，通过累加乘积分量Cij_k计算Cij。将大规模矩阵乘法运算转换为转置、变换、连接与合并等适合mapreduce计算的基本操作，从而解决单机大矩阵乘法运算的资源限制问题。

主权项

1.一种基于mapreduce的大规模稀疏矩阵乘法运算的方法，其特征在于：假设大规模稀疏矩阵为A和B，A和B的乘积矩阵为C，A={(i,k,A_ik)︱i∈[1,2…m],k∈[1,2…n],A_ik≠0},B={(k,j,B_kj)︱k∈[1,2…n],j∈[1,2…l],B_kj≠0},求矩阵C={(i,j,C_ij)︱i∈[1,2…m],j∈[1,2…l],C_ij≠0},使得i=1,2,..,m;j=1,2，...,l；所述方法包括：步骤10、由一个mapreduce Job完成转置矩阵A，输出矩阵A’；步骤20、变换矩阵B，将矩阵B中以坐标点的存储方式变换为以稀疏向量的存储方式，输出矩阵B’；步骤30、连接矩阵A’与B’,计算乘积分量，通过连接操作，得到C_ij在矩阵A列号k与矩阵B行号k上的乘积分量；步骤40、合并乘积分量，通过累加乘积分量C_{ij_k}计算C_ij。