基于模糊优先级的二阶段实例层数据集成方法

摘要

本发明公开了一种基于模糊优先级的二阶段实例层数据集成方法，属于数据集成技术领域。所述二阶段实例层数据集成方法首先确定待集成记录所属分布式存储节点的优先级指标及每个指标的权重，并采用三角模糊数来表示模糊优先级；数据集成时，根据投票机制区分出实例层的强弱冲突；若为弱冲突，则采用多数一致属性值作为集成后的结果；若为强冲突，则通过构建去模糊化的融合决策矩阵，计算每条记录与正理想解的隶属度来决定集成所采用的属性值。本发明解决了在海量数据集成中集成效率低或集成结果精度低等问题。

主权项

一种基于模糊优先级的二阶段实例层数据集成方法，其特征在于，包括模糊优先级模型建立和二阶段实例层数据集成，其中：所述模糊优先级模型建立包括分布式存储节点优先级指标的设置、优先级指标的模糊化表示；所述二阶段实例层数据集成包括利用投票机制的强弱冲突判断、弱冲突解决以及强冲突解决；实现步骤如下：步骤1，为分布式存储节点进行优先级指标定性判断，然后采用三角模糊数对优先级指标进行表示，同时为各个优先级指标根据应用需求赋以权值；步骤2，对于发生实例层冲突的记录项，按照集成准确度的需求选用三分之二投票制或半数投票制的方法区分出强弱冲突；若冲突为弱冲突，则转向步骤3；否则，转向步骤4；步骤3，对于弱冲突情况，采用多数属性值一致的记录作为集成后的输出结果，转向步骤5；步骤4，对于强冲突情况，根据记录所来源的分布式存储节点优先级指标进行集成，包括获取融合矩阵、规格化、构建融合决策矩阵、去模糊化、计算每条记录与正理想解和负理想解的距离、综合评估步骤，执行完毕后转向步骤5；步骤5，若存在记录未集成，则重复步骤2；否则，集成完毕；所述步骤4的具体实施步骤如下：步骤4‑1，将n条来自不同分布式存储节点的待集成记录，按照它们所属节点的优先级指标建立融合矩阵；步骤4‑2，根据步骤4‑1所得到的融合矩阵中三角模糊数的值情况，进行成本型指标或收益型指标的规格化；步骤4‑3，通过步骤1所获得的优先级指标权值与步骤4‑2获得的规格化融合矩阵构建融合决策矩阵；步骤4‑4，对步骤4‑3获得的融合决策矩阵去模糊化处理；步骤4‑5，对步骤4‑4获得的去模糊化后的融合决策矩阵，计算每条记录与正理想解和负理想解的距离；步骤4‑6，按照步骤4‑5的处理结果，计算每条记录与正理想解的隶属度，并按照隶属度排序，隶属度最大的记录所存储的属性即为集成后的结果，结束步骤4；所述分布式存储节点优先级包括置信度、可用性、出错性三个指标；置信度指标描述了分布式存储节点所提供数据的准确度及权威性；可用性指标描述了分布式存储节点上的数据在某一时段的可用程度；出错性指标描述了分布式存储节点运行的稳定性及发生故障的可能性；所述优先级指标从其影响关系上可以分为两类：成本型指标和收益型指标；成本型指标值越大，表明其成本越低，优先级越高；反之，收益型的指标值越大，表明其收益越高，优先级越高；所述优先级指标在优先级模型中存在权重关系，描述了各个指标在优先级中的作用程度，用权重向量w＝(w₁,w₂,w₃)表示；其中w_j表示分布式存储节点的第j个优先级指标权值，且所述优先级指标的模糊化指的是对分布式存储节点的优先级指标采用三角模糊数进行描述；三角模糊数用M＝(m_l,m,m_r)来表示，其中m_l表示M所支撑的上界，m_r表示M所支撑的下界，m表示M的中值；去模糊化的计算公式如下：$v_M=\frac{m_1+2m+m_r}{4}$  公式1v_M表示三角模糊数M去模糊化后的数值；所述二阶段实例层数据集成指的是用投票机制将实例层冲突区分为强冲突与弱冲突；对于弱冲突采用简化的集成方式进行处理；对于强冲突采用依据分布式节点优先级的关系进行处理；即对于任何实例层数据的集成均分为冲突判断与冲突解决两个阶段进行；所述投票机制分为三分之二投票制与半数投票制两种；三分之二投票制指的是在现有的记录里满足：有不低于三分之二的记录对于发生冲突的属性它们的属性值是一致的；半数投票制指的是在现有记录里满足：指代现实世界同一对象的记录超过2条，且发生了属性值的冲突，同时，它们中有不低于一半的记录属性值是一致的；所述弱冲突指数据集成过程中，实例层的冲突现象满足三分之二投票制或半数投票制的情况；所述强冲突指数据集成过程中，实例层的冲突现象不满足三分之二投票制与半数投票制的情况；所述弱冲突解决方法为：在三分之二投票制中，有不低于三分之二的记录，对于发生冲突的属性它们的属性值是一致的，则此时将以这些一致的属性值作为集成后的数据对外显示；在半数投票制中，有不低于一半的记录，对于发生冲突的属性它们的属性值是一致的，则将以这些一致的属性值作为集成后的数据对外显示；所述融合矩阵为F_n×3＝(f_ij)_n×3，其中n表示有n条来自不同分布式节点的记录待集成；3表示每个分布式存储节点的3个优先级指标；f_ij表示第i条记录所属的分布式节点的第j个优先级指标；所述规格化是为了便于数据的评估和比较，将分布式存储节点优先级指标规格化至一个统一的量纲；对于f_ij＝(a_ij,b_ij,c_ij)，成本型指标的值规格方式如下：$r_{ij}=(\frac{\underset{1\le i\le n}{{\mathrm{mina}}_{ij}}}{c_{ij}},\frac{\underset{1\le i\le n}{{\mathrm{minb}}_{ij}}}{b_{ij}},\frac{\underset{1\le i\le n}{{\mathrm{minc}}_{ij}}}{a_{ij}}),(1\le i\le n,1\le j\le 3)$  公式2收益型指标的值规格方式如下：$r_{ij}=(\frac{a_{ij}}{\underset{1\le i\le n}{{\mathrm{minc}}_{ij}}},\frac{b_{ij}}{\underset{1\le i\le n}{{\mathrm{minb}}_{ij}}},\frac{c_{ij}}{\underset{1\le i\le n}{{\mathrm{mina}}_{ij}}}),(1\le i\le n,1\le j\le 3)$  公式3其中，r_ij表示第i条记录所属的分布式存储节点的第j个优先级指标规格化后的模糊数，n表示有n条来自不同分布式存储节点的记录待集成；3表示每个分布式存储节点的3个优先级指标；所述构建融合决策矩阵是指将优先级指标权值加入融合矩阵；若权重向量w＝(w₁,w₂,w₃)，规格化后的r_ij＝(a_ij,b_ij,c_ij)，则融合决策矩阵如下：d_ij＝(a′_ij,b′_ij,c′_ij)＝w_j(a_ij,b_ij,c_ij),(1≤i≤n,1≤j≤3)  公式4其中，d_ij表示融合决策矩阵中的每一个元素；所述计算与正理想解和负理想解的距离中，正理想解向量由M⁺表示，定义为$M^{+}=(M_1^{+},M_2^{+},M_3^{+}),$且$M_j^{+}=\underset{1\le i\le n}{max}{v}_{ij},(1\le i\le n,1\le j\le 3);$负理想解向量由M^‑表示，定义为$M^{-}=(M_1^{-},M_2^{-},M_3^{-}),$且$M_j^{-}=\underset{1\le i\le n}{min}{v}_{ij},(1\le i\le n,1\le j\le 3);$其中v_ij表示融合决策矩阵中的每一个元素去模糊化后的值；待选记录与正理想解之间的距离定义为：$l_i^{+}=\sqrt{\underset{j=1}{\overset{3}{\Sigma }}{(v_{ij}-M_j^{+})}^2},(1\le i\le n,1\le j\le 3)$  公式5待选记录与负理想解之间的距离定义为：$l_i^{-}=\sqrt{\underset{i=1}{\overset{3}{\Sigma }}{(v_{ij}-M_j^{-})}^2},(1\le i\le n,1\le j\le 3)$  公式6所述综合评估指求出每个待选记录项与正理想解的隶属度μ(v_i)，计算公式如下：$\mu \left(v_i\right)=\frac{{\left(l_i^{-}\right)}^2}{{\left(l_i^{+}\right)}^2+{\left(l_i^{-}\right)}^2},(1\le i\le n)$  公式7然后对待选记录的隶属度排序，隶属度最大的待选记录值就是集成后的数据值。