一种适合大数据环境具有抗噪声能力的实体解析方法

摘要

本发明公开了一种适合大数据环境具有抗噪声能力的实体解析方法，所述方法是在传统相关性聚类方法的基础上进行改进，通过引入邻居关系和核概念，由两层算法实现。上层算法基于邻居关系对数据进行粗糙的、允许重叠的预分块处理；下层算法通过引入核的概念，精确地定义了节点与类之间的关联程度，以便准确地判断节点的归属，进而提高相关性聚类的准确度。

主权项

一种适合大数据环境具有抗噪声能力的实体解析方法，其特征在于：所述方法是在传统相关性聚类方法的基础上进行改进，通过引入邻居关系和核概念，由两层算法实现，上层算法基于邻居关系对数据进行粗糙的、允许重叠的预分块处理；下层算法通过引入核的概念，精确地定义了节点与类之间的关联程度，以便准确地判断节点的归属，进而提高相关性聚类的准确度，其中，所述方法具体包括如下步骤：(1)对未归类的记录，首先使用粗糙的相似度函数计算每个节点对(i，j)之间的相似程度p_i,j，p_i,j表示将节点i和j归到一个类中的概率，为了计算p_i,j选用Jaccard相似度，对于两个集合S和T，Jaccard定义为公式1所示：$Jaccard(S,T)=\frac{|S\cap T|}{|S\cup T|}---\left(1\right)$(2)在两层相关性聚类问题中引入邻居关系，采用两层算法进行实体解析；所述两层相关性聚类算法基于邻居关系实现；(3)满足条件的边为正边，否则为负边；其中，对于节点i，其邻居定义为与其有正边的节点集合，包含其本身，简记为其中，简记为对于节点i和j，它们的公共邻居为其邻居的交集，简记为定义节点i相对于节点j的非公共邻居为属于节点i的邻居，但不属于节点j的邻居的节点集合，简记为(4)上层预分块算法预分块算法每次选择当前邻居相似度最大的节点对，将该节点对的公共邻居的邻居作为一个类，若当前邻居相似度最大的节点对为节点i和j，由其形成的类应该包含两层节点，内层为节点i和j的公共邻居，外层为节点i和j的公共邻居的邻居，其中，内层节点，即节点i和j的公共邻居，称之为类的核，预分块算法依赖于一个节点对的序列，即边的序列，算法每一次迭代之后，都会将当前节点的公共邻居所在的边从边序列中移除，当边序列为空时，算法终止；如果两个节点可以归为一类，那么它们应该和同样的节点有尽可能相同的匹配概率，即概率相当，即拥有相似的邻居向量；其中，对于节点i，其邻居向量简记为其中n为节点i的邻居个数，(k)为节点i的第k个邻居节点且1≤k≤n，p_i,(k)为节点i和第k个邻居节点所在边的概率；如果当(k)＝i时，即节点(k)为节点i本身时，p_i,(k)＝1；如果节点i和j由一条正边相连，其邻居向量分别为将这两个向量对齐，即在空白位置补上相应的概率后，使用余弦相似度来计算节点i和j的邻居相似度，简记为sim(i,j):(5)下层调整块算法下层调整块算法，所述算法的输入是上层预分块算法的分块结果C，对于集合V中的每一个重叠节点i，计算i与C中每一个包含它的类的关联程度，若存在这样一个类，它与i的关联程度最大且大于0，算法将i归入该类，同时将它从其它类中移除，若i与所有包含它的类的关联程度都不大于0，就将其单独作为一个类，并从所有包含它的类中移除；下层调整块算法主要是为了解决上层预分块算法带来的分块重叠问题，该算法可以将节点i归到和其具有最大关联程度的类中，对于节点i以及某个类c的核内与节点i邻居相似度最大的节点j，如果节点i属于类c，那么它应该和节点j落在核内的邻居有很强的关联，这种关联为节点i与类c的关联程度，简记为R_i(c,j):其中，j＝x|max_x∈c.kernelsim(i,x)。