一种高效的关联主题模型数据处理方法及其系统

摘要

本发明公开了一种高效的关联主题模型数据处理方法及其系统，其方法为在任务初始化阶段，首先通过主控节点给出初始模型M₀并将其同步到所有的计算节点上，然后划分任务集并将其分布到多个计算节点上进行计算；在任务执行阶段，需要进行若干数据处理，每一轮中首先是每个计算节点的工作线程进行局部并行计算获得关于该节点文档子集的主题分布和模型统计量，并传送到主控节点进行汇总并判断数据处理结果是否收敛。本发明的系统包括一个主控节点和多个计算节点，构成一个集群计算机系统进行并行计算。本发明可以显著提高计算速度和扩大计算目标。

主权项

1.一种高效的关联主题模型数据处理方法，其步骤为：初始化阶段：1)在每个节点计算机上根据该节点的硬件并发能力自动生成具有相应数量工作线程的计算服务；2)主控节点给出初始模型并将其复制到所有的计算节点上；3)主控节点将任务文档全集划分成若干计算节点文档子集，并分配给相应计算节点；迭代阶段：1)各计算节点对接收到的节点文档子集进行数据处理，得到该节点文档子集中每篇文档的主题分布和该节点文档子集的模型统计量；2)各计算节点将数据结果返回给主控节点进行汇总，得到任务文档全集的主题分布；3)主控节点根据模型统计量的汇总，迭代本次模型并判断其收敛性：如未收敛则重复迭代阶段，否则结束数据处理。