基于特征信息的Blog自动摘要方法

摘要

本发明在于公开了一种基于特征信息的Blog自动摘要方法，其步骤包括：基于特征信息的语句得分；基于潜在语义的评论关注得分；摘要复选与合并；经过如上处理后，即为本发明最终所得到的摘要句集合；该方法在充分利用Blog特征信息的基础上，基于潜在语义相关性来融合评论中的关注点，生成对读者更为友好的摘要，同时通过摘要复选的方法平衡了主题覆盖与信息冗余；本发明利用潜在语义相关性解决了评论和正文间的同义噪音问题；本方法生成的摘要对读者更为友好，准确性更高。

主权项

基于特征信息的Blog自动摘要方法，其特征在于，包括以下步骤：步骤1)基于特征信息的语句得分，其包括词条特征信息得分和语句特征信息得分；（a）词条特征信息得分利用分词工具对待处理的博文进行分词和词性标注，过滤掉数词、量词、介词，将预处理后得到的词条集合记为；然后综合考虑博文词频、图的描述信息、标题和标签因素对WS中的词条进行打分，词条的综合得分公式如下：；（b）语句特征信息得分所述语句特征信息得分所考虑的特征包括位置信息、格式信息和提示词；在综合考虑句子的特征以及其所包含的词条信息的基础上，利用公式计算句子的权重得分，公式如下：；步骤2）基于潜在语义的评论关注得分（a）找出原文中的每个句子被哪些评论所关注以及关注的程度；（b）根据每个句子所得到的评论关注程度和评论价值，来确定该句子被关注的权重得分;步骤3）摘要复选与合并（a）初次摘要生成经过上述两步处理后，每条语句最终的得分由特征得分和评论关注得分两部分组成，记为，并计算权值；在得到博文内每条语句的权值后，首先依据压缩比例和博文总的句子数量计算出所需抽取出的摘要句子数n，然后将博文内的句子按权值进行排名，取出排名前n位的句子，即为初次生成的摘要，记为FA；（b）二次摘要的抽取把没有包含摘要句的自然段落提取出来，组成候选自然段落集合CPS:；假定CPS中某个自然段落，其前面包含摘要句的最相邻自然段落内的摘要句集合为PAS，其后面包含摘要句的最相邻自然段落内的摘要句集合为NAS，分别计算和这两个集合的相似度，直接以余弦相似度来衡量；和为利用TF‑IDF将PAS和量化后对应的向量；以同样的方式计算出NAS和的相似度；如果和中任意一个超过预先设定的阈值，则认为已经通过上下文的摘要句得到表达，将其从CPS中移除；否则认为该段落是独立表达某个主题，需要进行二次摘要抽取；若某个候选自然段落需要进行二次摘要抽取，设r为抽取比例，为段落内的语句数，则抽取数量可表示为；因为这里需要抽取能够体现该段落主题的句子，故对于词频信息得分进行改进后重新给每个语句打分：其中为在该段落中出现的频率，PN为博文内的段落数目，为包含词条的段落数目；将段落内的句子按得分排名，并取出前n位的句子，得到其对应段落的二次摘要句集合，记为；对CPS中的所有自然段落都进行如上一系列处理，将得到的所有段落的二次摘要句集合合并在一起，记为；将在原文中连在一起的，并为表达同一主题服务的段落进行合并处理，得到最终的二次摘要句集合SA:；（c）合并摘要句记二次摘要句集合SA中子集合的数量为w，同时用表示对FA中删除语句的数量并初始化为0，则具体处理算法可描述如下：1) 计算FA中句子和句子之间的两两相似度，构造摘要句之间的相似度矩阵,该矩阵为一对称矩阵，记为：2) 扫描相似度矩阵，找到矩阵中最大的值：，其表示和为摘要句集合中最为相似的两句，保留权值较大的句子，将权值较小的句子从FA和矩阵中删除，同时删除句子数加1，即：；3) 不断循环第二步，直到，即删除的句子数量满足大于等于；4) 检查矩阵中相似度最大的值看其是否已经满足小于指定的相似度阈值,若没有则一直进行上述步骤直到满足此条件，否则终止，最终得到删除的句子数为()，以及删除后的初次摘要集合FA；5) 从SA中选择句补充进FA,将SA中每个子集合中得分最高的一句加入FA，以保证每个主题都有代表句被选入最终的摘要中；对剩下的数量，则按SA内各子集合的摘要句数量比进行分配，并按得分高低从每个子集合取出对应数量的句子加入到FA中；步骤4）经过如上处理后，FA即为本发明最终所得到的摘要句集合；所述的基于特征信息的Blog自动摘要方法，步骤2的具体方法为，假定语句衍生出的评论集合为CS，则语句的评论关注得分用下式进行衡量，为相似度，为评论的价值得分；接下来确定的值；将博文和其对应的评论内容看成文档，并进行相应预处理，然后在分类后的每一子类中进行SVD分解，从而构造每个分类下潜在的词‑文档语义空间；计算评论和句子相似度时，在对应的类别的语义空间中，首先将待处理的评论和句子根据词频信息表示成对应的评论向量和句子向量，接着将其在k维语义空间中映射成对应的语义向量；经过映射处理后，对于某条评论和某个语句的相似度则用其语义余弦相似度来衡量，表示如下：在上式中，和为语句与评论各自映射后的语义向量，k为语义空间的维数，和为各自语义向量中第t维的权值；确定的值，从而得到每个语句的评论关注得分；步骤1（a）中所述因素包括博文词频得分、图的描述信息、标题和标签；所述博文词频得分：词频信息对于词条权重的贡献采用TF‑IDF的方式来判定，计算方法如式：；所述图片的描述信息：把这些描述信息作为一种有价值的信息引入进来，对于在这些描述信息里出现过的词条会给定一个加权系数；所述标题：标题信息往往是全文的概括，所以如果某个词条出现在标题里则意味着该词条具有很高的主题相关性，为其设定加权系数；所述标签：如果某个词条出现在标签中，则应该具有一个较高的权重，设为；对于以上的加权信息，取值分别为1.1，1.2，1.2，考虑以上的各个因素之后则词条的综合得分为：；步骤1（b）中所述语句特征信息得分所考虑的特征包括位置信息、格式信息和提示词；所述位置信息：位于段首或者段尾的句子通常会用来概括整段的内容，所以对于位置信息采用加权规则，设定加权系数；所述格式信息：对于一些重要的信息，或者想提示给读者的信息，往往会被用特殊的字体，或者不同的颜色表示出来，这里设定加权系数；所述提示词：在进行主题或者内容概括时，往往会用一些提示词来引出，对于包含这些词的句子，设定加权系数；在综合考虑句子的特征以及其所包含的词条信息的基础上，利用公式计算句子的权重得分，公式如下：其中，为该语句中包含的词条信息得分和，、、为相应的加权系数，这里位置信息权值设为1.1，格式信息权值设为1.2，提示词权值设为1.1，为句子的长度；步骤3（a）中，所述的计算如下式，其中为权重参数用来调节两者对总得分的贡献比：。