一种基于隐含狄利克雷分配模型的并行数据处理方法

摘要

本发明公开了一种基于隐含狄利克雷分配模型的并行数据处理方法，属于数据挖掘领域，该方法包含了多进程并行处理、多线程并行处理和复合多进程多线程处理三种方案，在这三种方案中都将要处理的数据DM分成长度为等长或不等长的数据片段，每个数据片段都有一个索引，每个计算进程/线程通过申请索引来处理对应的数据片段，进而获得每个数据项的主题信息并生成局部充分统计量；处理完整个DM后，通过归并局部充分统计量，得到全局充分统计量，即可估计得到当前模型Mi，直到该模型收敛。该方法能够充分利用单机上的多内核并行架构和多机上的机群大规模并行能力，进而实现对大规模文本集合的高速处理，并能有效降低并行处理过程中内存的使用量。

主权项

一种基于隐含狄利克雷分配模型的并行数据处理方法，对于多进程并行处理，其步骤包括：1)根据节点计算机的硬件并发能力自动生成具有相应数量计算进程；2)输入要处理的数据集，随机给出初始模型M0；3)将数据集分成若干数据片段，每个数据片段包含若干文档，且数据片段的长度远小于文档数，每个数据片段有一个索引；4)每个计算进程申请一个索引处理相应数据片段，并计算生成局部充分统计量；5)归并局部充分统计量，得到全局充分统计量，进而估计得到当前模型Mi；6)判断模型Mi是否收敛，收敛则完成计算，否则从步骤3)开始循环。