动态网页的分块方法

摘要

本发明涉及一种动态网页的分块方法，首先接受一个网页内容流并生成扩展DOM树，然后将DOM树的各节点生成特征编码，比较各DOM树的对应节点，生成共享分块和定制化分块。采用本发明的方法，能够根据网页的动态和结构特性，理解、识别系统中多个页面共享的部分(共享分块)以及变化规律不一致的部分(定制化分块)，在无人为参与的情况下，动态地进行页面划分，以提供一种具备良好可扩展性的解决方案，降低手动分块的劳力成本。可广泛应用于动态网页技术领域。

主权项

1.一种动态网页的分块方法，其步骤包括：：1)将应用户请求生成的动态网页内容流分别生成相应的不包含格式化结点的扩展DOM树；其中扩展DOM树的节点包括下列信息：节点值：叶节点的值即该节点所包含的网页文本的内容；内部节点的节点值为空；子树值：叶节点的子树值即该节点的节点值；内部节点的子树值为该节点所有儿子的子树值的以及节点本身的节点值的串接；2)对上述节点进行特征编码：对长度为N的DOM树节点，取其所有长为W的子串，其中0＜W＜N；对每个子串进行哈西运算，得到该子串的哈西运算值；对(N-W+1)个上述哈西运算值，取S个最小的值构成的向量作为该节点的特征编码，其中0＜S＜(N-W+1)；N，W，S均为正整数；3)遍历各DOM树节点，比较各DOM树对应节点的特征编码值；4)将超过设定个数的相同或相似节点对应的网页内容设定为共享分块。