基于词向量的针对电影评论信息的情感分析系统及方法

摘要

本发明提供一种基于词向量的针对电影评论信息的情感分析系统，包括：采集部，采集电影评论，形成评论文本库；评论文本处理部，对评论文本库中的每一条评论进行分词，构建分词后的评论文本库；特征提取部，对分词后的评论文本库中的每一条评论转换为基于词向量的评论向量，完成每一条评论的特征提取，其中，所述词向量为所述评论中每一个词语的词语概率最大化的最优解，所述评论向量为每一条评论中的所有词向量的平均值；评论分类部，存储有分类模型，将所述评论向量输入到所述分类模型中进行训练，得到每一条评论的评论类型。上述情感分析系统不需人工标注，不依赖于情感词典的维修修缮工作。

主权项

一种基于词向量的针对电影评论信息的情感分析系统，其特征在于，包括：采集部，采集电影评论，形成评论文本库；评论文本处理部，对评论文本库中的每一条评论进行分词，构建分词后的评论文本库；特征提取部，对分词后的评论文本库中的每一条评论转换为基于词向量的评论向量，完成每一条评论的特征提取，其中，所述词向量为所述评论中每一个词语的词语概率最大化的最优解，所述评论向量为每一条评论中的所有词向量的平均值；评论分类部，存储有分类模型，将所述评论向量输入到所述分类模型中进行训练，得到每一条评论的评论类型，其中，所述特征提取部包括：第一设定单元，设定词向量训练窗口的大小、词向量的维度和变化阈值；映射单元，将分词后的评论文本库中的所有评论中的词去重复后形成词汇表，建立分词后的评论文本库的词语到词汇表中词语的映射；词向量查找表构建单元，将上述词汇表中的每一个词语的词向量的每一维的数值设定为变量，构建词向量查找表；第一更新单元，随机生成所述词向量查找表构建单元中各词向量在各维度的数值，设定词向量训练窗口内一个词语为所述词语所在评论的中心词，通过所述中心词的词向量预测所述评论中其他词语的预测概率，通过所述预测概率采用平均对数法和迭代方法不断更新所述其他词语的词向量在每一维度的数值，直到所述数值的变化值小于变化阈值，完成词向量查找表的更新，其中，所述数值的变化值为：$B_{{\mathrm{word}}_{n,I+J},k}^a=v_{{\mathrm{word}}_{n,I+J},k}^a-v_{{\mathrm{word}}_{n,I+J},k}^{a-1}=[\frac{1}{wordc\left({\mathrm{doc}}_n\right)}-O^{a-1}\left(v_{{\mathrm{word}}_{n,I+J}}\right)]\times {v^{a-1}}_{{\mathrm{word}}_{n,I},k}$$O^{a-1}\left({\mathrm{word}}_{n,I+J}\right)=\frac{1}{wordc\left({\mathrm{doc}}_n\right)}\underset{I=1}{\overset{wordc\left({\mathrm{doc}}_n\right)}{\Sigma }}\underset{-win/2\le J\le win/2,j\ne 0}{\Sigma }\log p^{a-1}\left({\mathrm{word}}_{n,I+J}\right|{\mathrm{word}}_{n,I})$$p^{a-1}\left({\mathrm{word}}_{n,I+J}\right|{\mathrm{word}}_{n,I})=\frac{\exp [{\left(v_{{\mathrm{word}}_{n,I+J}}^{a-1}\right)}^T·{v^{a-1}}_{{\mathrm{word}}_{n,I}}]}{{\Sigma }_{X=1}^m\exp [{\left(v_{{\mathrm{word}}_X}^{a-1}\right)}^T·{v^{a-1}}_{{\mathrm{word}}_{n,I}}]}$其中，a为迭代次数，为自然数；wordc(doc_n)为第n条评论的词语总数；m为词汇表中的词语总数；win为词向量训练窗口的大小；word_n，I为第n条评论的第I个词语；为第a‑1次迭代中，第n条评论中第I个词语的第k维的数值；为第a‑1次迭代中，第n条评论的第I个词语的词向量；为第a‑1次迭代中，词汇表的第X个词语的词向量；p^a‑1(word_n,I+J|word_n,I)为第a‑1次迭代中，通过中心词word_n，I词向量预测得到词语word_n，I+J词向量的预测概率；O^a‑1(word_n,I+J)为第a‑1次迭代中，第n条评论的除中心词外各词语的预测概率的对数平均值；为词语word_n，I+J第k维数值在第a‑1次迭代和第a次迭代的数值变化；评论向量构建单元，通过计算每一条评论中的所有词向量的平均值，将所述评论的信息替换为评论向量。