一种商品关联大数据稀疏网络快速聚类方法

摘要

本发明公开了一种商品关联大数据稀疏网络快速聚类方法，包括以下步骤：对商品销售记录数据进行预处理，构建存储商品关联大数据稀疏网络；对商品关联大数据稀疏网络进行剪枝；对商品关联大数据稀疏网络进行快速聚类，得到聚类结果。本发明采用单步链表结构存储商品节点间的关系，只标记与商品节点直接相连商品节点的关系，消除共同购买关系矩阵中的冗余空间。本发明对商品关联大数据稀疏网络的低度商品节点进行剪枝提高挖掘效率并提高聚类的精度。本发明利用高度值商品节点被低度值商品节点分割的思想可以消除传统聚类算法的制约，直接依据度的值进行判断，无须考虑数据分布、无须多次访问数据、无须先验知识即可完成聚类过程。

主权项

一种商品关联大数据稀疏网络快速聚类方法，其特征在于：包括以下步骤：A、对商品销售记录数据进行预处理，构建存储商品关联大数据稀疏网络A1、令V为商品节点集合，商品节点数目为N，则V＝{v₁,v₂,…,v_i,…,v_N}，v_i表示第i种商品节点；A2、依据商品购买记录，建立商品间共同购买关系的商品关联大数据稀疏网络G＝<V,E>，所有商品间共同购买关系边的集合为E，即E＝{e_ij}，商品节点v_i和v_j间的共同购买关系作为边e_ij，同时所有商品共同购买关系的矩阵表达形式为(e_ij)_N*N，v_j表示第j种商品节点；j＝1,2,…,N；A3、存储商品节点v_i为一个单步链表，单步链表包含三部分：商品节点v_i的序号、商品节点v_i的连接度d_i、指向所有与该商品节点v_i相邻的所有商品节点序号的集合Ω_i；商品节点v_i的连接度d_i表示与商品节点v_i存在共同购买关系的商品数目，即商品购买关系网络中与商品节点v_i相邻的商品节点数；获取Ω_i的步骤如下：A31、设定当前商品节点序号j＝1，Ω_i＝Φ，Φ为空集；A32、判断：如果j≤N，则转到步骤A33，否则转到步骤A35；A33、判断：如果商品节点v_i和v_j相邻，即存在共同购买关系，则把商品节点v_j存入Ω_i，否则直接转入步骤A34；A34、令当前商品节点序号j＝j+1，返回步骤A32；A35、停止得到Ω_i；B、对商品关联大数据稀疏网络进行剪枝B1、令连接度的阈值为d_c；B2、设定当前商品节点序号i＝1；B3、判断：如果商品节点v_i的连接度d_i≥d_c，则转到步骤B4；否则转到步骤B5；B4、将商品节点v_i放入集合Ψ，Ψ为连接度大于等于d_c的商品节点集合；B5、当前商品节点序号i＝i+1；B6、判断：如果i≤N，则转到步骤B3；否则转到步骤B7；B7、停止剪枝，得到剪枝后的商品节点集合Ψ；B8、设定当前商品节点序号i＝1；B9、判断：如果v_i∈Ψ，且v_j∈Ω_i，从Ω_i中删除v_j，j＝1,2,…,N；否则转到步骤B10；B10、求新的商品节点序号i＝i+1；B11、判断：如果i≤N，则转到步骤B9；否则转到步骤B12；B12、得到剪枝后的商品关联大数据稀疏网络G’＝<V’,E’>,V’为剪枝后的商品节点集合，E’为剪枝后边的集合；C、对商品关联大数据稀疏网络进行快速聚类，得到聚类结果C1、设定聚类最终得到类的数目为L，令C_l表示第l个类中的商品节点集合，首先寻找第1个类C₁中的商品节点，即当前类的序号l＝1；C2、判断：如果Ψ≠Φ，Φ为空集，则转到步骤C3；否则转到步骤C9；C3、将Ψ中的商品节点按照连接度的值由大到小的顺序排列，得到当前连接度最大的商品节点v_m；C4、将v_m放入C_l中；C5、对C_l中的任意第j个商品节点v_j，更新C_l中的商品节点得到新的类C_l^*＝C_l∪Ω_j；C6、如果C_l^*≠C_l，则把C_l^*的值赋值给C_l，即C_l＝C_l^*，转到步骤C5；否则转到步骤C7；C7、令Ψ＝Ψ‑C_l；C8、求新的类序号l＝l+1，转到步骤C2；C9、聚类过程结束，输出各类中的商品节点。