一种基于Hadoop平台的电影推荐方法

摘要

本发明涉及一种基于Hadoop平台的电影推荐方法，包括：对原数据集进行预处理，建立新的用户项目数据集；在Hadoop平台上采用基于评分倾向的双重预测方法对数据集中的空缺值进行填充，形成高密度的用户‑电影数据集；在Hadoop平台上，数据集进行分布式聚类，得到若干聚类单元，再训练分类器，进行分类；形成推荐列表。本发明不仅具有较好的推荐准确度，同时有效减少推荐时间，可以良好地应用于大规模电影信息推荐场景。

主权项

一种基于Hadoop平台的电影推荐方法，包括下列步骤：步骤1.对原数据集进行预处理，建立新的用户项目数据集：获取用户‑电影数据集，经过预处理后，形成新的用户项目数据集，并将数据集存储在Hadoop平台的HDFS分布式系统上，每个用户的数据作为一个单独的split；步骤2.在Hadoop平台上采用基于评分倾向的双重预测方法对数据集中的空缺值进行填充，形成高密度的用户‑电影数据集：引入用户评分倾向公式(1)，电影评分倾向公式(2)，然后进行双重预测评分，对于某电影，如果有最近邻电影，且最近邻无空缺，则作为填充数据；如果数据空缺，则用电影的若干近邻和用户的若干近邻加权求得的结果进行填充，如公式(3)、(4)所示：$sim(u_a,u_b)=\frac{{\Sigma }_{i\in I_{ab}}(1-\frac{|r_{ai}-r_{bi}|}{k})}{I_a\cup I_b}\frac{{\Sigma }_{i\in I_{ab}}(r_{ai}-\overline{r_a})·(r_{bi}-\overline{r_b})}{\sqrt{{\Sigma }_{i\in I_{ab}}{(r_{ai}-\overline{r_a})}^2}\sqrt{{\Sigma }_{i\in I_{ab}}{(r_{bi}-\overline{r_b})}^2}}---\left(1\right)$其中，u_s表示用户a，u_b表示用户b，其中l_s表示电影a，u_b表示电影b；表示用户a和用户b的共同评分集,r_ai和r_bi分别表示用户u_a和u_b对项目i的评分值，表示用户u_a的评分均值，表示用户u_b的评分均值，sim(u_a，u_b)表示两个用户间的评分倾向；$sim(I_a,I_b)=\frac{{\Sigma }_{u\in u_{ab}}(1-\frac{|r_{ua}-r_{ub}|}{k})}{U_a\cup U_b}\frac{{\Sigma }_{u\in U_{ab}}(r_{ua}-\overline{r_u})·(r_{ub}-\overline{r_u})}{\sqrt{{\Sigma }_{u\in U_{ab}}{(r_{ua}-\overline{r_a})}^2}\sqrt{{\Sigma }_{u\in U_{ab}}{(r_{ub}-\overline{r_b})}^2}}---\left(2\right)$sim(I_a，I_b)分别表示两个用户间和两个电影间的评分倾向，表示对电影a和电影b共同评分的用户集，r_ua和r_ub分别表示用户对电影a和b的评分值，表示用户的评分均值；N_i表示电影i的最近邻项目集，pr_bi表示基于电影的评分预测值；${\mathrm{pr}}_{bi}=\overline{r_a}+\frac{{\Sigma }_{b\in N_a}sim(u_a,u_b)·(r_{bi}-\overline{r_b})}{{\Sigma }_{b\in \widehat{N_a}}sim(u_a,u_b)}---\left(4\right)$N_a表示用户a的最近邻用户集，pr_bi表示基于用户的评分预测值；步骤3.在Hadoop平台上，对步骤2得到的数据集进行分布式聚类，得到若干聚类单元，再训练分类器，进行分类，步骤如下：1)对预测评分后的用户电影矩阵首先进行粗聚类，采用canopy算法，得到聚类的个数K，再引入经典的K‑means算法进行进一步的细聚类，将用户‑电影评分集根据类内方差和最小的原则分为指定的K类；2)采用BP神经网络的建模方法，训练分类器；步骤4.形成推荐列表：目标电影或用户就通过步骤3被分到不同类别，然后在不同类别中进行相似性度量，找到若干最近邻居集形成推荐列表。