基于主题遗传的在线主题建模方法

摘要

本发明公开了一种基于主题遗传的在线主题建模方法，包括抓取当前时间片文本数据，按照LDA模型进行主题建模，计算主题强度，主题排名，计算主题的遗传因子，抓取下一个时间片文本数据，转换主题-单词分布向量，计算下一个时间片Dirichlet分布先验参数，采用Gibbs采样方法进行主题建模等步骤。本发明的有益效果在于：1、本发明是一种在线主题模型，适合处理时序文本流，可以较好地应用在舆情监控系统中；2、本发明在保留OLDA模型主题对齐特性的同时，根据主题强度为各个主题设置不同的遗传因子，改善了主题混合和新主题不易及时检测的缺陷；3、本发明的主题强度计算方法能够有效降低宽泛主题的得分。

主权项

1.一种基于主题遗传的在线主题建模方法，其特征在于，包括步骤1：令时间片t_n为当前时间片，抓取时间片t_n中个文本的数据，得到词表步骤2：按照LDA模型进行主题建模，得到文本的文本-主题分布向量和主题的主题-单词分布向量其中，m为文本序号，k为主题序号，k＝1，2，..，K，K为主题总数；步骤3：计算主题强度步骤4：根据主题强度作出主题排名步骤5：根据主题排名计算主题的遗传因子${\omega }_k^{t_n}=a+\frac{b-a}{K}(K-{\mathrm{Rank}}_k^{t_n}),{\mathrm{Rank}}_k^{t_n}\in [1,K];$其中，a、b为遗传因子的上、下限；步骤6：抓取下一个时间片t_n+1中个文本的数据，得到词表步骤7：将词表上的主题-单词分布向量转换为词表上的主题-单词分布向量步骤8：计算下一个时间片t_n+1的主题的Dirichlet分布先验参数其中，${\gamma }^{t_{n+1}}=({\gamma }_1^{t_{n+1}},...,{\gamma }^{\left|V^{t_{n+1}}\right|})$是平衡向量，且${\gamma }_i^{t_{n+1}}=1/\left|V^{t_{n+1}}\right|,i\in [1,|V^{t_{n+1}}\left|\right],\left|V^{t_{n+1}}\right|$是t_n+1时间片的词表的大小；步骤9：采用Gibbs采样方法进行主题建模，得到文本的文本-主题分布向量和主题的主题-单词分布向量其中，步骤10：令时间片t_n+1为当前时间片t_n，重复步骤3至步骤9。