面向流式数据的分布式在线推荐方法

摘要

本发明公开了一种面向流式数据的分布式在线推荐方法。它是采用分布式计算环境，对用户行为产生的流式数据直接进行处理，把用户对物品点击行为数据按用户编号和物品编号进行分组，把对应分组中的数据发送到相应的工作单元中，并根据用户的推荐反馈生成负样本，再用随机梯度下降算法进行统一的矩阵分解训练，采用协同过滤方法计算与用户最近感兴趣的品相似的物品集合，结合原推荐列表作为候选推荐集合，根据训练结果对候选集中的物品排序得到推荐结果。本发明可以面向流式数据进行分布式在线推荐，实时性强，计算性能高。

主权项

一种面向流式数据的分布式在线推荐方法，其特征在于包括以下步骤：1）构建分布式计算框架，分布式计算框架包括矩阵分解模块和推荐结果处理模块，矩阵分解模块由若干工作单元组成，其中每个工作单元对应用户行为数据矩阵中的一组数据块；2）接收用户行为数据并将用户行为数据发送到对应的工作单元，根据该用户的推荐反馈，生成负样本，即用户可能不感兴趣的物品，被推荐的物品中用户没用对其产生行为的有较大概率被选中为负样本；3）采用分布式随机梯度下降算法，对用户行为数据以及负样本数据进行矩阵分解训练，并保存新的训练结果；4）采用协同过滤的方法，利用用户行为数据离线计算物品相似度，并定时更新物品相似度数据；5）对于某个用户，利用物品相似度计算该用户最近感兴趣物品的相似物品集合，把该集合与该用户的原推荐列表集合的并集作为用户的候选推荐集合，并根据步骤3）中的矩阵分解训练结果计算该用户对候选推荐集合中所有物品的预测得分，对得分排序，得到该用户的推荐列表；6）返回推荐列表，把推荐列表中的物品推荐给用户。