一种DeepWeb响应页面数据抽取方法

摘要

一种DeepWeb响应页面数据抽取方法，属于深层网络数据管理领域，该方法包括以下步骤：(1)选取DeepWeb响应页面Page；在查询页面输入关键字Key，查询得到响应页面Page；(2)抽取页面模板信息；对于响应页面的DOM树结构，找到包含关键字的孩子结点个数Wn最多的双亲结点P，将带标记的token块序列转化为带标记的token字符序列；用LCS算法处理以上两个记录的带标记的token字符序列，分隔并过滤公共token字符序列得到模板信息；(3)数据抽取；(4)token块合并；(5)数据表格聚类；本发明的有益效果：采用本发明的数据抽取方法，适用性强，精度高，效率得到大大提高。

主权项

1、一种DeepWeb响应页面数据抽取方法，其特征是该方法包括以下步骤：步骤(1)选取DeepWeb响应页面Page在查询页面输入关键字Key，查询得到响应页面Page，响应页面Page是HTML语法描述的字符串数组，用DOM解析工具将HTML字符串转化为DOM树结构，DOM树中的结点定义：(N，K_n，W_n，T_n)，其中N表示结点N，K_n表示结点N包含关键字的个数，W_n表示结点N中包含关键字的孩子结点的个数，T_n表示结点N的文本内容，则DOM树结构描述为：$\mathrm{DOM}=\left\{\right(C_N^i,K_{C_N^i},W_{C_N^i},T_{C_N^i}\left)\right|\forall N\in \mathrm{DOM},(\mathrm{root},K_{\mathrm{root}},W_{\mathrm{root}},T_{\mathrm{root}})\in \mathrm{DOM}\}$其中，N为DOM树中的结点，C_Nⁱ为结点N的第i个孩子结点；步骤(2)抽取页面模板信息；对于响应页面的DOM树结构，找到包含关键字的孩子结点个数W_n最多的双亲结点P，保存该结点的绝对路径{i₁，i₂，...，i_n}，绝对路径的起始结点为根结点root，则P结点可以表示为$P=C_{C_{C_{C_{\mathrm{root}}^{i_1}}^{i_2}}^{···}}^{i_n}$P结点所有的孩子结点子树即为记录结点子树集；将记录结点子树集所有记录结点子树先根遍历转化为带标记的token块序列，统计记录token块序列中非空结点最小深度，记为lownum，再将带标记的token块序列转化为带标记的token字符序列；用LCS算法处理以上两个记录的带标记的token字符序列，得到一个公共token字符序列；分隔并过滤公共token字符序列得到模板信息；步骤(3)数据抽取；根据绝对路径取得记录结点的双亲结点P，P下的每个记录结点子树的根结点即为记录的根结点，先根遍历每个记录的根结点，读取文本结点的内容T_n，得到一个记录的文本内容，即得到记录级数据；基于模板信息对token块进行切割，得到新的token块序列，设A为待切割的token块，B为模板信息，U为模板信息中token块集合，若A切割必需满足：①$\exists B(B\subseteq U)$且②A的内容必需完全包含B的内容，并且A的token块深度等于B的token块深度；步骤(4)token块合并；依据统计值lownum继续对token块进行合并，合并规则为：(1)如果token块深度高于lownum，则将当前token块合并到下一token块中；(2)如果token块深度等于lownum时，并且下一token块深度大于lownum，则输出本token块内容；如果下一token块深度等于lownum，则当前token块合并到下一token块中；(5)数据表格聚类，得到数据块级别数据；将标有相同模板信息的token块放入数据表格的同一列，其它无标记的token块同块序列号最近的带标记的token块放在一起。