发明名称 基于维基百科的评论主题词聚类方法
摘要 本发明涉及一种基于维基百科的评论主题词聚类方法。现行的主题词聚类由于选取语料库和词语相似度计算之间的原因,评论的主题词聚类准确率不高。本发明首先对于评论进行词性的标注,接着进行评论的主题词的提取,然后是基于维基百科的词语相似度模型的生成,词的相似度矩阵的生成。这里词的相似度采用词向量的余弦相似度进行衡量。最有在采用k均值算法进行主题词的聚类。本发明的结果是提高评论主题词聚类的准确性。
申请公布号 CN104199846A 申请公布日期 2014.12.10
申请号 CN201410389477.3 申请日期 2014.08.08
申请人 杭州电子科技大学 发明人 姜明;严文操;陈婵;王兴起;张旻;汤景凡
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 杭州求是专利事务所有限公司 33200 代理人 杜军
主权项  基于维基百科的评论主题词聚类方法,其特征在于包括如下步骤:步骤(1)词性标注,具体是:A)采用中科院提供的ICTCLAS汉语分词系统对评论进行分词并标注其词性;B)对词性标注后的评论进行预处理,删除不必要的内容,其中包括去除停用词、助词,数量词;步骤(2)主题词提取,具体是:C)根据“形容词+名词”,“名词+形容词”,“名词+副词+形容词”的模式来提取主题词;D)根据“名词”,“名词+名词”,“名词+名词性语素”的模式来确认名词;E)统计每个名词出现的频率,去掉一些低频的名词;步骤(3)基于维基百科的词语相似度模型生成,具体是:F)筛选维基百科的文章,滤去字符数少于300的文章;G)对于筛选后的文章进行分词;H)建立词典,其中包括去除停用词和低频词I)建立词的空间向量模型;每个词的维数就是维基百科的文章篇数,每一维对应的值是该词对于该文章的TFIDF权重步骤(4)词的相似度矩阵生成,具体是:J)对于要聚类的主题词集合建立相似度矩阵;词与词之间的相似度则用词向量之间的余弦相似度表示;步骤(5)k均值算法进行主题词的聚类,具体是:K)采用机器学习中的k均值算法进行评论主题词的聚类;k‑均值算法的准则函数基于余弦相似度。
地址 310018 浙江省杭州市下沙高教园区2号大街