用于复杂网络的分布式知识数据挖掘装置和挖掘方法

摘要

一种用于复杂网络的分布式知识数据挖掘装置和方法，该装置采用分布式计算平台，由控制单元、计算单元和人机交互单元三部件组成，其创新关键是将数据挖掘中繁杂的聚类算法所需的计算量分配在不同的服务器完成，提高数据挖掘的效率。还能针对不同知识数据运用不同准则计算知识数据的关系度及其权值，使得其结果更加可信。且在知识数据挖掘过程中采用二级聚类模式：第一级聚类结果较为粗略，但计算复杂度很低；第二级聚类的计算复杂度较高，但结果更为精准；本发明将二者有效结合，比传统一级聚类模式在时间复杂度和聚类精准度上都得到很大的改善。本发明采用可视化直观展示网络结构及动态演化过程，为学科发展、热点研究领域的预测提供参考。

主权项

一种用于复杂网络的分布式知识数据挖掘装置，其特征在于：该装置设有三个部件：控制单元、计算单元和人机交互单元，其中：人机交互单元，用于实现人机交互功能，向用户提供包括针对知识数据的聚类、关系度计算或权值计算的可选功能，在用户选择后，接收用户指令，并转送给控制单元执行相应操作；且在运算结束后，将控制单元处理完成的数据，结合用户所选择的功能，以适宜方式显示给用户；该单元以.NET开发为主，利用包括WPF的框架模块实现数据的图形化显示和交互；控制单元，用于接收人机交互单元输入的指令，并以分布式平台特性和功能，按照包括MapReduce机制的设定方式控制和分配计算任务，并统一汇总计算单元的计算结果，反馈给人机交互单元进行显示；计算单元，负责完成控制单元分配的计算任务，并将计算结果反馈给控制单元，设有：数据采集，相关度计算，权重计算，聚类和预测共五个模块。