基于元数据分析的新闻事件检测方法

摘要

基于元数据分析的新闻事件检测方法属于数据挖掘领域。本发明特征在于，它是采用多维向量空间模型来表示新闻文档，在特征表示的权重计算时充分考虑的新闻的时间特性，并给出了改进的新闻特征词的IDF(逆文本频率指数)计算方式，并且在计算新闻之间相似度时综合考虑时间、类别和新闻的具体内容等信息，利用关键字抽取对新闻文档进行预处理，有效地降低了向量的维度。在此基础上，利用层次聚类方法将新闻报道进行聚类，通过对聚类结果树的动态划分，将由新闻报道聚类，并对应为相应的新闻事件。该方法与传统的事件检测方法相比F值(一种用来评估聚类品质好坏的标准)有较大的提高。

主权项

一种基于元数据分析的新闻事件检测方法，其特征在于，包括步骤：(1)预处理：将新闻报道全部输入计算机，进行预处理，预处理的结果可表示为如下的集合S：S＝{(di，ti)}，i＝1...|S|；其中S中的任一个元组(di，ti)表示集合S中第i个时间为ti的文档；这里di表示第i个新闻文档，具体为由文档特征词构成的多维特征向量{w1，w2，...，wq，...，wn}，wq则为每个特征词的权重，其值在预处理中先为词在文档中的词频，计算结束时为步骤(2)中利用TF-IDF单文本词汇频率/逆文本频率指数公式计算的结果；使用关键词抽取的方式降低所选取的特征词的数量使其更具代表性；(2)结合时间信息计算新闻信息的向量模型：向量空间模型的基本思想是以向量来表示文本：(w1，w2，...，wi，...wn)，其中wi为第i个特征词的权重，其计算方法采用TF-IDF公式，需要对新闻文档按时间顺序进行升序排序，得到新闻序列：(d1，d2，d3，...，dn-1，dn)；按照升序排列，即最近发生的新闻其序号n越大；排序后新闻文档所对应的序号表示其撰写时间，对某个特征词c，其IDF的计算方式为： IDF ( c ) = log 2 ( N 1 + Σ j = 2 dc log 2 ( x j - x j - 1 + 1 ) ) ; 其中，xj表示特征词c出现的文档所对应的发生时间，即排序后新闻文档所对应的序号，dc表示在新闻序列中出现特征词c的文档的个数，N是所有新闻文档的个数；(3)计算相似度：在计算相似度时，包括新闻内容、新闻时间和新闻的分类，最后利用加权求和的方式得到最终的新闻相似度计算方式；新闻间的相似度可由下面的公式得出：Sim(di，dj)＝αSimCat(di，dj)+βSimTime(di，dj)+γSimContent(di，dj)其中新闻内容的相似度为SimContent(di，dj)新闻报道的时间之间相似度为SimTime(di，dj)；新闻分类间的相似度为SimCat(di，dj)α，β，γ是由实验得出的参数，α，β，γ对应的范围分别为[6，6.5]、[2.7，3.5]和[9，9.7]；(4)聚类：输入：新闻间相似度构成的二维矩阵M[1..N][1…N]，N即为所有新闻文档的个数；输出：聚类簇的集合。