数据处理的方法及计算设备

摘要

本发明实施例提供了一种数据处理的方法，外部存储器中的大规模词包矩阵能分割成A个词包矩阵，其中第s个词包矩阵为X^s_Ws×Ds，A和s为正整数，s＝1,2,…,A，该方法包括：将外部存储器中第s＝1个词包矩阵读取至内存；根据第s＝1个词包矩阵随机初始化消息矩阵；采用EM算法确定单词-主题矩阵；释放内存中由第s＝1个词包矩阵、消息矩阵和EM算法产生的文档-主题矩阵占用的空间，保留单词-主题矩阵并缓存在内存中；依次地对s>1的第s个词包矩阵X^s_Ws×Ds，更新单词-主题矩阵。本发明实施例中，大规模词包矩阵能够分割成A个词包矩阵，针对其中每一个词包矩阵，采用EM算法，确定对应的单词-主题矩阵，并且及时释放EM算法的参数所占用的内存空间，该方法对内存资源的要求较低。

主权项

一种数据处理的方法，其特征在于，外部存储器中的大规模词包矩阵能够分割成A个词包矩阵，所述A个词包矩阵中的第s个词包矩阵表示为X^s_Ws×Ds，A和s为正整数，s＝1,2,…,A，所述词包矩阵的行表示单词表索引，列表示文档索引，所述方法包括：处理器将所述外部存储器中的第s＝1个词包矩阵X^s_Ws×Ds读取至内存；根据所述第s＝1个词包矩阵X^s_Ws×Ds，随机初始化第一消息矩阵；根据所述随机初始化的第一消息矩阵，采用期望最大化EM算法，确定第一单词‑主题矩阵；释放所述内存中由所述第s＝1个词包矩阵X^s_Ws×Ds、第一消息矩阵和EM算法产生的第一文档‑主题矩阵占用的空间，保留所述第一单词‑主题矩阵并缓存在所述内存中；依次地对s>1的第s个词包矩阵X^s_Ws×Ds，更新所述第一单词‑主题矩阵；其中，Ws为所述第s个词包矩阵X^s_Ws×Ds的单词表中的单词数，Ds为所述第s个词包矩阵的文档数。