基于证据理论的中文微博可信度评估方法

摘要

本发明属于信息检索与评估领域，具体涉及基于证据理论的中文微博可信度评估方法。本发明从中文微博的固有特点入手，兼顾了这些特点的可测量性和实际任务，系统地梳理了中文微博信息的可信度测量指标，并将其归属为文本信息、信息来源与信息传播三个高层维度。考虑到人类认知的模糊性本质，提出一个基于多维证据的微博可信度评估方法用于融合上述三个异构维度。与现有的仅针对网络文本或互连关系的单一特征评估方法比较，基于证据理论的中文微博可信度评估方法考虑更全面、合理，在同样的查询条件下，可以优选哪些来源可靠，传播广泛的信息。

主权项

基于证据理论的中文微博可信度评估方法，其特征在于步骤如下：步骤1：预处理，将从各微博平台获取的Json格式微博，通过格式解析形成有效数据，然后借助现有的自然语言处理工具，对有效数据中的微博文本进行分词、词性标注、图标检测、错误词检测、重复标点检测、正/负性词检测六项预处理工作，并统计相关数据；步骤2：文本信息的可信度测量，信息本身的可信度可以从客观和主观两个方面入手考察，客观因素主要包括句法、语法、语气和语义四个层面，前两个层面，考虑了文本长度S_length和拼写错误S_spelling两个指标，由于考虑的和语气相关的三个因素分别是：图标S_emoticons、重复标点S_punc以及正性词/负性词S_posi/neg，将语义因素归结到任务相关领域，信息本身的可信度测量不涉及,影响文本信息可信度的主观因素反映的是其他用户对该文本质量的主观看法，通过分析主流中文微博平台数据，发现针对单个文本的可直接测量的主观因素有直接转贴数S_reposts和用户评论数S_comments；采用均值模式来分别融合客观因素和主观因素，然后再通过一个介于[0，1]之间的权重λ来控制客观和主观因素的相对权重，将各个影响因素的得分进行min‑max标准化，计算方法如下：$v^{\prime }=\frac{v-min}{max-min}\times ({\max }^{\prime }-{\min }^{\prime })$其中v是需要标准化的值，min与max是某一影响因素得分的最小值与最大值，min'与max'是标准化区间的最小最大值；所述主观和客观综合可信度值的加权融合计算方法如下：$C_{post}=\lambda \left[\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}{S}_i^{ext}\left(post\right)\right]+(1-\lambda )\left[\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}{S}_i^{sub}\left(post\right)\right]$由于客观因素更重要，设定λ＝0.7，分别表示各客观影响因素和各主观影响因素的标准化取值，具体计算方式如下：第一个客观因素文本长度：S_length(post)＝log(|post|),其中|post|是文本信息中包含的词个数；第二个客观因素拼写错误：其中n(error,post)表示文本信息中包含的拼写错误或不能识别的词的个数；第三个客观因素图标：其中n(emo,post)表示文本信息中包含的图标的个数；第四个客观因素重复标点：其中n(punc,post)表示文本信息中包含的问号，感叹号，省略号这三种重复符号的总数目；第五个客观因素正/负性词：其中n(pos/neg,post)表示文本信息中包含的正性词和负性词的总个数；第一个主观因素直接转贴数：S_reposts(post)＝log(|reposts|)，其中|reposts|是文本信息被转发的个数；第二个主观因素用户评论数：S_comments(post)＝log(|comments|)，其中|comments|是文本信息的评论个数；步骤3：信息来源的可信度测量，任何微博最初都是由人产生的，因此信息来源就是文本信息作者，微博用户可信度由他的客观日常行为和主观外部评价累积形成，可测量客观日常行为包括是否做过实名认证Φ，发布的文本信息总数S_posts，以及发布的高可信文本信息总数S_Hposts，而微博用户可测量外部评价包括追随者数目S_fellows，文本信息反馈情况S_comments，上述指标中，对作者影响最大的是是否实名认证，将实名认证这一指标定义为一个二值函数[0,1]，信息总数和高可信信息总数是两个关联指标，作者可信度的加权综合融合方式计算方法如下：$C_{author}=w_{aut}\times \Phi +w_{ext}\times \frac{S_{Hposts}}{S_{posts}}+w_{sub}\times \left[\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}{S}_i^{sub}\left(author\right)\right]$其中，w_aut、w_ext和w_sub分别是认证因素、客观因素和主观因素的权重，为突出认证的重要性，权重比例设定w_aut:w_ext:w_sub＝5:3:2；是主观影响因素的min‑max标准化取值，具体计算方式如下：第一个客观因素高质量信息数和信息总数的比值：其中post是文本信息,C_post表示文本信息post的可信度，w是区别质量的最少阈值；第一个主观因素追随者总数：S_fellows(author)＝logn(fellows,author)，n(fellows,author)表示作者的追随者总数；第二个主观因素文本信息反馈情况：其中n(comm,post)表示文本信息post获得的评论数；步骤4：信息传播的可信度测量，影响信息传播可信度的因素包括两项，一是时效，二是传播媒介，将时效因素也归结到了任务相关领域，传播媒介对文本信息可信度的影响方式通过两种情况递增：一种是传播媒介中包含可信度高的名人；另外一种是传播媒介中节点数目庞大，这种提升趋向于一个确定的阈值，依据可信度递增规律，定义了用于具体计算传播媒介对微博文本可信度的影响，计算方法如下：$C_{ptree}=\underset{i=1}{\overset{n}{\Sigma }}{\mu }^i\times C_{{\mathrm{author}}_i}$其中是用户根据可信度值递减排序后得到的第i个传播者的可信度，μ＜1是递减因子；步骤5：基于多维证据理论的可信度融合评估，对三个维度可信度检测结果进行合成,得到综合微博可信度的过程将采用改进的D‑S证据理论方法对多个维度的基本概率分配函数进行合成，计算方法如下：$\left\{\begin{array}{c}m\left(\phi \right)=0\\ m\left(h\right)=\underset{i=1}{\overset{n}{\Pi }}{m}_i\left(h\right)+kq\left(h\right)\\ m\left(\bar{h}\right)=1-m\left(h\right)\\ m\left(\Theta \right)=0\end{array}\right.$其中，辨识框架φ表示不可能事件“微博信息既可信又不可信”,h表示“微博信息可信”，表示“微博信息不可信”，Θ表示“微博信息可信度无法评估”,n＝3表示文本信息、作者和传播三个维度，m_i(h)＝C_i(h)；