一种基于图计算模型的矩阵分解并行化方法

摘要

本发明公开了一种基于图计算模型的矩阵分解并行化方法。矩阵分解可以灵活地纳入更多的用户信息。矩阵分解根据用户对物品的评分，推断出用户和物品的隐语义向量，然后根据用户和物品的隐语义向量来进行推荐。然而在实际应用场景中实现这种矩阵分解推荐算法会需要消费大量的时间，不能满足目前商业方面的需求。利用分布式计算平台将这种矩阵分解推荐算法并行化能有效解决这一问题，同时在实现这种矩阵分解推荐算法中会存在多次迭代计算问题，本发明提出了一种基于Spark的GraphX图计算框架来实现矩阵分解并行化，相比传統的MapReduce计算图模型无论是在遇到多次迭代问题上还是执行效率上都有着很明显的优势。

主权项

一种基于图计算模型的矩阵分解并行化方法，其特征在于，包括以下步骤：1)根据用户对商品的评分矩阵R＝{r_ui}设定初始的用户子矩阵X和商品子矩阵Y，使得X的行数与Y的行数相等，X的列数与R的行数相等，Y的列数与R的列数相等，r_ui代表用户u对商品i的评分；2)通过两个子矩阵X和Y的乘积与R的差值建立目标损失函数：$L(R,X,Y)=\underset{(u,i)\in I}{\Sigma }{(r_{ui}-x_u^T{y}_i)}^2+\lambda \left(\underset{u}{\Sigma }\right|\left|x_u\right|{|}^2+\underset{i}{\Sigma }\left|\right|y_i\left|{|}^2\right)$其中，x_u表示计算过程中的用户子矩阵X，y_i表示计算过程中的商品子矩阵Y，I是已知评分在矩阵R中的下标索引集合，λ为设定参数，表示正则化的程度；3)利用ALS或SGD算法的并行化求解步骤2)中的目标损失函数；更新用户矩阵X和商品矩阵Y；所述的ALS或SGD算法的并行化利用图计算模型完成；4)重复执行步骤2)和3)，直到满足设定条件，得到最终的用户子矩阵和商品子矩阵