一种网页的正文抽取方法

摘要

本发明提供一种网页的正文抽取方法，包括下列步骤：1)将为所述网页建立的DOM树中的所有特征节点进行合并段落操作；2)从承载最长段落的节点集合中任选一个节点，从所选节点回溯至所述DOM树的根节点，计算各个节点的父节点及其子树与该节点及其子树承载的文本的标点符号的数量的差值，顺序构成增量序列；3)在所述增量序列中查找第一个0值的增量，或第一个小于其前面相邻增量且小于或等于其后面相邻增量的增量；4)如果查找到所述增量，则确定该增量的对应节点及其子树所承载的文本是网页的正文；5)如果未查找到所述增量，则确定根节点及其子树所承载的文本是网页的正文。本发明抽取精度高，实现速度快，维护代价低且适应性好。

主权项

一种网页的正文抽取方法，包括下列步骤：1）将为所述网页建立的DOM树中的所有特征节点进行合并段落操作；2）从承载最长段落的节点集合中任选一个节点n1，从所选节点n1回溯至所述DOM树的根节点nm，计算所述所选节点的父节点n2及其子树与所述所选节点n1及其子树承载的文本的标点符号的数量的差值d2，依此类推，直到计算所述根节点及其子树与所述根节点的子节点及其子树承载的文本的标点符号的数量的增量dm，顺序构成增量序列；3）在所述增量序列中查找第一个0值的增量dp，或第一个小于其前面相邻增量且小于或等于其后面相邻增量的增量dq；4）如果查找到所述增量dp或所述增量dq，则确定所述增量dp的对应节点np－1及其子树或所述增量dq的对应节点nq－1及其各自的子树所承载的文本是网页的正文；5）如果未查找到所述增量dp或所述增量dq，则确定所述根节点nm及其子树所承载的文本是网页的正文。