一种快速的短文本双聚类方法

摘要

一种快速的短文本双聚类方法，包括以下步骤：1）短文本干扰项的预处理，在无关语词典和词类词典的支持下，对短文本进行快速进行的无关语和词类识别和处理识别；2）计算预处理后的两个短文本相似度，形成在短文本相似度稀疏矩阵；3）在短文本相似度稀疏矩阵上进行短文本一级聚类，根据短文本相似度的结算结果，将相似的短文本划分成一个一个的簇；4）在一级聚类结果基础上进行短文本二级聚类。

主权项

一种快速的短文本双聚类方法，其特征在于：包括以下步骤：步骤1)短文本干扰项的预处理，在无关语词典和词类词典的支持下，对短文本进行快速的无关语和词类识别和处理；步骤2)计算预处理后的两个短文本相似度，形成短文本相似度稀疏矩阵；步骤3)在短文本相似度稀疏矩阵上进行短文本一级聚类，根据短文本相似度的计算结果，将相似的短文本划分成一个一个的簇；步骤4)在一级聚类结果基础上进行短文本二级聚类；所述的步骤2)包括计算短文本相似度的方法：对两个短文本S_i和S_j，它们的相似度计算方法为：$SSim\left(S_i,S_j\right)=\frac{{\Sigma }_{s=1}^h\left(1-|A\left(i,a_s\right)-B\left(j,b_s\right)|\right)}{|{S^{\prime \prime }}_i\cup {S^{\prime \prime }}_j|}$|S_i|和|S_j|分别表示为S_i和S_j的长度m和n，对应的k‑gram序列分别为：S”_i＝{w[i,1]..w[i,k],w[i,2]…w[i,k+1],…,w[i,a]…w[i,k+a‑1],…,w[i,m‑k+1]…w[i,m]}，S”_j＝{w[j,1]..w[j,k],w[j,2]…w[j,k+1],…,w[j,b]…w[j,k+b‑1],…,w[j,n‑k+1]…w[j,n]}。计算S_i和S_j的位置同元相似度的方法如下：$A\left(i,a\right)=\frac{\min \left(a,m-a+k+1\right)}{m}$$B\left(i,b\right)=\frac{\min \left(b,m-b+k+1\right)}{n}$其中两个集合的交集中共有h个元素；我们用w[i,a₁]…w[i,k+a₁‑1]＝w[j,b₁]…w[j,k+b₁‑1]表示交集中的两个元素分别来自于S”_i和S”_j中的哪两个元素。