一种互联网新颖词监测方法

摘要

本发明公开了一种互联网新颖词监测方法，属于互联网信息挖掘领域。本发明方法包括下列步骤：根据目标信息源集合，获得其中各个首页及其内部链接所指向的各级下级页面中当日的所有文章；对各个文章作分词处理，并为各个文章中的每个词语赋予权重，以权重最大的前a个词语作为该文章的备选新颖词，并以该备选新颖词同时成为多个文章的备选新颖词时的文章数作为该词当天的频率freq；根据各个备选新颖词在b天内的freq记录计算各个备选新颖词的新颖系数n；根据新颖系数n确定新颖度θ，当某个备选新颖词的新颖度大于新颖度阈值θ_t时，即认为该词语是当天的新颖词。本发明方法可以有效地发现当天的新颖词汇，指导互联网新信息发现和监管的实践。

主权项

1.一种互联网新颖词监测方法，其特征在于，包括下列步骤：a)根据目标信息源集合，获得其中各个首页及其内部链接所指向的各级下级页面中当日的所有文章；b)对各个文章作分词处理，并为各个文章中的每个词语赋予权重，以权重最大的前a个词语作为该文章的备选新颖词，并以该备选新颖词同时成为多个文章的备选新颖词时的文章数作为该词当天的频率freq；c)根据各个备选新颖词在b天内的freq记录计算各个备选新颖词的新颖系数$n=(\mathrm{freq}-\mathrm{avg})/\sqrt{\mathrm{ceil}\left(\mathrm{var}\right)},$其中$\mathrm{avg}=\frac{\underset{i=1}{\overset{b}{\Sigma }}\mathrm{freq}\left(i\right)}{b},$$\mathrm{var}=\frac{\sqrt{\underset{i=1}{\overset{b}{\Sigma }}{(\mathrm{freq}\left(i\right)-\mathrm{avg})}^2}}{b},$ceil表示上取整函数；d)根据新颖系数n确定新颖度θ，当某个备选新颖词的新颖度大于新颖度阈值θ_t时，即认为该词语是当天的新颖词。