基于图形处理单元的自组织映射神经网络聚类方法及系统

摘要

本发明涉及一种基于图形处理单元的并行化自组织映射神经网络的聚类方法及系统，相对传统的串行化聚类方法,本发明通过算法的并行化和基于图形处理单元的并行加速系统，能更快的实现大规模数据的聚类。本发明主要涉及两方面的内容：(1)首先，针对图形处理单元的高并行计算能力的特点，设计了一种并行化自组织映射神经网络的聚类方法，该方法通过并行化统计文档的关键词词频得到词频矩阵，通过并行化计算文本的特征向量生成数据集的特征矩阵，通过并行化的自组织映射神经网络聚类得到海量数据对象的簇结构；(2)其次，利用图形处理单元(GPU)和处理器(CPU)之间的计算能力的互补性,设计了一套基于CPU/GPU协作框架的并行化文本聚类系统。

主权项

一种基于图形处理单元的并行化自组织映射神经网络聚类方法，包括如下步骤：并行关键词词频统计：将文本内容进行分词并得到关键词的集合，并行统计文档中关键词的频率，得到词频矩阵；并行特征向量计算：把关键词词频矩阵转化为对应的特征向量矩阵，每个特征向量代表一个文档；并行SOM聚类：根据特征向量矩阵设计SOM网络结构，初始化SOM网络，并行计算输入样本与全部输出神经元权向量距离, 比较各个距离的大小，获取最小距离的最佳神经元J，通过更新最佳神经元、其邻域内的神经元权向量值、学习率及最佳神经元的邻域大小，然后通过图形处理单元并行计算网络误差率Et，若网络误差率Et<=目标误差ε或迭代次数t>=训练最大迭代次数T,则SOM网络训练结束，否则重新进行新一轮训练；每次学习的结果使得最佳匹配神经元的邻域区域向输入数据向量值靠近，把距离相近的输入特征向量聚集成同一个簇，形成的簇集合即为最终的聚类结果。