聚类实现方法及系统

摘要

本发明公开了聚类实现方法及系统。包括：由主控节点对样本分块，并将分块样本分配给至少两个计算节点，由各计算节点并行参与计算，将本地样本归属到对应聚类中，并对每一个聚类统计本地各样本的样本值的和值传送给合并节点，再由合并节点得到每一个聚类的虚拟聚类中心点信息，并传送给主控节点，由主控节点判断是否进行聚类中心点更新，以及是否启动下一轮聚类计算。本发明通过多个节点参与聚类实现过程，在聚类计算及合并过程中通过采用多个节点并行处理，解决了现有技术对海量数据无法实现聚类处理及处理效率低的问题。

主权项

一种聚类实现方法，其特征在于，包括：步骤1、主控节点对样本分块，并将分块样本分配给至少两个计算节点，将分配的分块样本和每一个聚类的聚类中心点信息传送给每个所述计算节点；步骤2、每个所述计算节点分别计算分配的分块样本中每个样本在样本空间中的对应样本点与各聚类中心点的距离，将每个样本归属到所述距离最小的对应聚类中心点所属聚类；对每一个聚类分别统计本地属于该聚类的样本数量以及计算属于该聚类的各样本的样本值的和值，并传送所述样本数量和所述和值给合并节点；步骤3、所述合并节点对每一个聚类根据每个所述计算节点传送的所述样本数量和所述和值，求取均值，得到每一个聚类的虚拟聚类中心点信息，并传送给所述主控节点；步骤4、所述主控节点根据接收的每一个聚类的虚拟聚类中心点信息和当前保存的每一个聚类的聚类中心点信息以及设定的中心点更新策略，当确定出至少由一个聚类的虚拟聚类中心点信息更新当前保存的该聚类的聚类中心点信息时，发送本次更新后的和本次未更新的每一个聚类的聚类中心点信息给所述至少两个计算节点，重复上述步骤2和步骤3；当确定出每一个聚类的聚类中心点信息都不再更新时，将最后一次更新后的聚类中心点信息作为每一个聚类的实际聚类中心点信息；所述合并节点至少包括两个；由所述主控节点预先分配每个合并节点进行合并的对应聚类；且合并节点的最大数量与聚类的数量相等；由所述主控节点预先分配每个合并节点进行合并的对应聚类，包括：由所述主控节点给每个所述合并节点分配至少一个进行合并的聚类。