基于查询接口连接图的深层网页数据源分类管理方法

摘要

本发明公开了一种基于查询接口连接图的深层网页数据源分类管理方法，包括下列步骤：(1)获取深层网页查询接口表单集合；(2)自动抽取步骤(1)获取的查询接口表单的特征值，所述特征值包括表单标签的名称以及属性值；(3)构造表单特征向量；(4)在步骤(3)获得的向量集合中，对每个向量之间通过相似性比较获得关于标签、属性值、标签与属性值组合的关联邻接矩阵；(5)构造查询接口表单集合的连接图，可用关联邻接矩阵表示；(6)利用聚类方法对带权无向图进行聚类；(7)获得深层网页数据源聚类结果。本发明通过有效构造深层网页数据源查询接口连接图，结合图挖掘技术，提高了大规模深层网页数据源自动分类管理的性能。

主权项

一种基于查询接口连接图的深层网页数据源分类管理方法，其特征在于，包括下列步骤：(1)获取深层网页查询接口表单集合；(2)自动抽取步骤(1)获取的查询接口表单的特征值，所述特征值包括表单标签的名称以及属性值；(3)构造表单特征向量，包括，将提取的标签的名称和属性值分别构造特征空间LS和VS，对LS和VS中的每个表单形成的特征集合构造一个对应的特征向量，由此获得向量集合；(4)在步骤(3)获得的向量集合中，对每个向量之间通过相似性计算获得关于标签、属性值、标签与属性值组合的查询接口连接图，分别可用LableMatrix、ValueMatrix、LableValueMatrix邻接矩阵来表示，查询接口之间的关联度计算方法为：在基于标签的表单关联度计算中，利用标签的相同特征项的数量进行衡量，并进行标准化， Sim L ( F 1 , F 2 ) = sw len 其中，sw表示表单F1和F2具有相同标签的个数，len表示F1和F2中标签特征向量的平均长度，两者相除进行标准化，SimL(F1，F2)表示基于标签(Label，L)的表单F1和F2的关联权值；基于属性值以及标签与属性值组合的表单关联度计算，我们利用其向量之间的相似度函数进行计算， Sim v ( F 1 , F 2 ) = Σ k = 1 n W 1 k × W 2 k ( Σ k = 1 n W 1 k 2 ) ( Σ k = 1 n W 2 k 2 ) 式中，W1k和W2k分别表示表单F1和F2中属性值(Value，V)集合构成的向量表示，利用向量余弦公式计算得到基于属性值的表单F1和F2的关联权值SimV(F1，F2)，基于标签与属性值(Label&Value，LV)组合的表单关联权值SimLV(F1，F2)与SimV(F1，F2)的计算方法类似，但其中W1k和W2k分别表示表单F1和F2中标签和属性值共同构成集合的向量表示；(5)构造查询接口连接图：将步骤(4)得到的三个矩阵LableMatrix、ValueMatrix、LableValueMatrix进行加权合并，即将上述三个矩阵中的相似度值进行加权求和作为两两互连的查询接口表单之间的关联权值；按照带权无向连接图的构造方法，把每个查询接口作为图中的一个节点，为存在一定关联度的查询接口之间建立一条无向边，此关联权值就作为边的权值；Sim(F1，F2)＝ω1*SimL(F1，F2)+ω2*SimV(F1，F2)+ω3*SimLV(F1，F2)其中，ω1、ω2、ω3表示为每个关联度分量分配的权重系数，其取值范围ω1为0.25～0.35，ω2为0.15～0.25，ω3为0.45～0.55，可用基于遗传算法确定这些权值的最优值，Sim(F1，F2)表示查询接口表单F1和F2的关联权值，由此形成一个深层网页查询接口连接图，可用邻接矩阵FormLinkMatrix表示；(6)利用聚类方法对查询接口表单带权无向连接图进行聚类；(7)得到深层网页数据源聚类结果，结束。