基于文本结构分析的Web文档摘要的生成方法

摘要

本发明公开了一种基于文本结构分析的Web文档摘要的生成方法，该方法以一个URL作为输入，综合视觉特征和文本特征的网页正文提取，将正文分割成若干个语义段，再对各语义段进行摘要的方式，使得生成的摘要拥有较高的覆盖率。本发明针对Web页面结构复杂，难以识别正文，且中文自动摘要还处于探索阶段的情况下，实现了对Web网页生成质量较好的文本摘要。

主权项

一种基于文本结构分析的Web文档摘要的生成方法，其特征在于：该方法包括以下步骤：1)输入待摘要网页的URL；2)从待摘要网页基于视觉分析提取网页正文，具体包括；2.1)采用浏览器核心对Web文档进行解析和渲染；2.2)采用视觉树算法对网页进行分块，得到各区块的位置、面积；2.3)对各区块进行分词；2.4)对各区块分析文本特征；2.5)对各区块是否包含正文进行打分，使用以下公式计算打分的分值：$V\left(S\right)=\frac{S^2*P(x_1,y_1,x_2,y_2)}{N+1}$其中S表示陈述句数量，N表示非陈述句数量，P是根据区块大小和位置计算得到的一个值,x₁，y₁表示区块左上角的坐标，x₂，y₂表示区块右下角的坐标；2.6)将得分高于某一阈值的文本按顺序连接起来；2.7)输出Web文档正文；3)对提取的正文进行基于文本结构分析的自动摘要，具体包括：3.1)由步骤2)得到网页正文；3.2)对正文进行分词和词性标注；3.3)进行文本预处理：识别正文中的基本结构，即识别文章标题，完成句子、段落切分；3.4)对正文进行语义段切分，通过文本结构分析识别语义发生转换的位置，作为语义段切分的标志；3.5)对每个语义段，利用TFIDF的推广方法，对每个句子在所在语义段中的重要性进行度量，然后根据文摘字数要求，提取出若干句最能代表该语义段主题的句子；3.6)将各句子按顺序连接起来，输出文摘。