发明名称 一种基于web文本的观点挖掘与分类的方法
摘要 本发明涉及一种基于web文本的观点挖掘与分类的方法,属于数据挖掘技术领域。本发明通过网络爬虫、观点挖掘、信息抽取、机器学等技术从互联网中获取、发现新的话题,并持续跟踪和关注该话题,通过对得到话题的情感倾向性及真伪倾向性的综合分析。本发明能快速有效地在大数据时代背景下,通过从中挖掘热点主题倾向性走势,分析影响因子,为减少舆论导向对公众的负面影响,为互联网管理的决策提供参考。
申请公布号 CN103793503B 申请公布日期 2017.02.08
申请号 CN201410035384.0 申请日期 2014.01.24
申请人 北京理工大学 发明人 闫波;张彬;宿红毅;郑宏
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 代理人
主权项 一种基于web文本的观点挖掘与分类的方法,其特征在于:步骤1、初次获取web信息,初步处理并存入数据库:步骤2、使用向量空间模型进行文本特征构建,使用TF‑IDF模型计算特征词权重;采用Single‑Pass增量聚类方法,检测话题相似度,获得与主题相关的话题群;步骤3、根据话题中时间窗口和话题数量,提取出话题的摘要和关键词,计算话题数量与时间窗口的比值,分值由大到小排列;取分值超过某个阈值以上的话题作为热点话题,呈现给用户;步骤4、对已知的热点话题进行二次专题网络抓取,结合利用发帖人ID,构造热点话题的用户拓扑网络,并对每个热点话题内的每个子话题的评论建立倒排索引;步骤5、读取已处理的话题数据和情感词典,根据情感词典和语法模式库,从语料中抽取情感特征,构造话题分类训练数据集;使用朴素贝叶斯分类算法训练,得到话题观点情感倾向性分类模型;步骤6、读入待情感分类的子话题;通过自然语言处理,得到经中文分词和词性标注好的子话题;根据情感词典和语法模式库,从子话题中抽取情感特征,构造测试数据集;分类器读取测试数据和已训练好的话题情感分类模型,保存子话题情感分类结果;步骤7、话题观点情感倾向性识别后,对其话题进行真伪倾向性分类;构造用户信誉度、URL信誉度、权威结论集数据集;使用朴素贝叶斯分类算法,用户信誉度、URL信誉度、权威结论集作为影响因子,通过训练得到话题真伪分类模型;步骤8、读入待真伪分类的子话题;根据从话题中抽取出的情感特征,结合步骤7中的URL信誉、权威结论集;分类器读取测试数据和已训练好的分类模型,输出子话题真伪性分类的预测结果;步骤9:对待分类话题进行解析,得到子话题集;调用对每个子话题进行分类得到的情感分类结果;根据子话题之间的相似度,构建LexRank图模型,利用所构建的图模型,计算子话题的重要性和冗余度,最终输出话题情感分类结果;步骤10:结合情感倾向性分类结果:正面、负面;真伪性分类结果:真实、 伪造;绘制表格,作为辅助分析,挖掘出观点的影响因子。
地址 100081 北京市海淀区中关村南大街5号