主权项 |
基于维基百科的评论主题词聚类方法,其特征在于包括如下步骤:步骤(1)词性标注,具体是:A)采用中科院提供的ICTCLAS汉语分词系统对评论进行分词并标注其词性;B)对词性标注后的评论进行预处理,删除不必要的内容,其中包括去除停用词、助词,数量词;步骤(2)主题词提取,具体是:C)根据“形容词+名词”,“名词+形容词”,“名词+副词+形容词”的模式来提取主题词;D)根据“名词”,“名词+名词”,“名词+名词性语素”的模式来确认名词;E)统计每个名词出现的频率,去掉一些低频的名词;步骤(3)基于维基百科的词语相似度模型生成,具体是:F)筛选维基百科的文章,滤去字符数少于300的文章;G)对于筛选后的文章进行分词;H)建立词典,其中包括去除停用词和低频词I)建立词的空间向量模型;每个词的维数就是维基百科的文章篇数,每一维对应的值是该词对于该文章的TFIDF权重步骤(4)词的相似度矩阵生成,具体是:J)对于要聚类的主题词集合建立相似度矩阵;词与词之间的相似度则用词向量之间的余弦相似度表示;步骤(5)k均值算法进行主题词的聚类,具体是:K)采用机器学习中的k均值算法进行评论主题词的聚类;k‑均值算法的准则函数基于余弦相似度。 |