基于细划分MapReduce的文本语义提取方法

摘要

本发明涉及一种基于细划分MapReduce的文本语义提取方法。所述方法包括：将待处理文本集按照文档维度和单词表维度进行双重划分，每个划分是部分文本的部分内容；申请一定数量的Mapper，使用LDA主题模型SparseLDA算法分别训练文本集的每个划分，得到局部参数，并对不同的参数给予不同的标记，记录其所对应的Reducer；申请一定数量的Reducer，不同种类的Reducer融合不同标记的局部参数，得到全局参数，输出到文件；重复此Mapper和Reducer过程直到达到收敛条件，得到最终训练模型，用于新文本的语义解释与表达。

主权项

一种基于细划分MapReduce的文本语义提取方法，其特征在于：所述方法包括：将待处理文本集以文档维度和单词维度两个维度分别进行划分；将划分后的文档和单词分别经过MapReduce的多次处理直至达到收敛条件，得到训练模型；基于所述训练模型对文本进行语义解释与表达。