商品短文本核心词提取方法和装置

摘要

本发明公开了一种商品短文本核心词提取方法和装置，涉及大数据处理领域。其中的商品短文本核心词提取方法包括：获取数据集内的商品短文本；对商品短文本进行分词处理；根据商品短文本的上下文信息获得商品短文本的文档向量；根据文档向量对数据集内的商品短文本进行聚类；确定商品短文本中的各个分词在商品短文本所属的类别的聚类层级权重；根据各个分词的聚类层级权重确定商品短文本的核心词。本发明参考了商品短文本中分词的上下文信息来获得该商品短文本的文档向量，可以弥补短文本信息量少的缺陷，使基于文档向量的聚类结果更准确，进而依据分词在其商品短文本所属聚类类别的权重可以更加准确地从商品短文本中提取出核心词。

主权项

一种商品短文本核心词提取方法，其特征在于，包括：获取数据集内的商品短文本；对所述商品短文本进行分词处理；根据所述商品短文本的上下文信息获得所述商品短文本的文档向量；根据所述文档向量对所述数据集内的商品短文本进行聚类；确定所述商品短文本中的各个分词在所述商品短文本所属的类别的聚类层级权重；根据所述各个分词的聚类层级权重确定所述商品短文本的核心词。