基于自适应子空间学的迭代文本聚类方法

摘要

本发明公开了一种基于自适应子空间学的迭代文本聚类方法，包括以下步骤：（1）初始化：将文本语料表示成文本向量空间,采用仿射传播聚类方法产生初始K个聚类，所有文本的聚类类别表示为初始类归属指示矩阵。（2）子空间投影与聚类之间的迭代：将初始类归属指示矩阵作为先验知识，以最大化平均邻域边缘为目标求解子空间投影矩阵，将文本向量空间投影到子空间，并在子空间中采用仿射传播聚类方法产生K个聚类，从而更新类归属指示矩阵；基于子空间投影矩阵和类归属指示矩阵计算收敛函数，直到函数收敛，退出迭代，完成文本聚类。本发明对文本数据的大小和分布无限制，子空间求解和聚类被融合到统一框架下，通过迭代的策略取得全局最优的聚类结果。

主权项

基于自适应子空间学习的迭代文本聚类方法，其特征在于，包括以下步骤：(1)初始化：将文本语料表示成文本向量空间的数学形式，在文本向量空间上采用仿射传播聚类方法产生初始的K个聚类，进而得到表示文本语料中所有文档所属类别的初始类归属指示矩阵；(2)子空间投影和聚类之间的迭代优化，包括以下步骤：(2‑1)以步骤(1)中获得的初始类归属指示矩阵作为先验知识，采用基于平均邻域边缘最大化的子空间学习方法求解子空间投影矩阵，并且基于初始类归属指示矩阵和子空间投影矩阵计算收敛函数值；(2‑2)若未满足收敛条件，则将原始文本向量空间根据当前子空间投影矩阵投影到子空间中，在子空间中继续采取仿射传播聚类方法产生指定K个聚类，更新当前的类归属指示矩阵；(2‑3)以更新后的类归属指示矩阵作为先验知识，采用基于平均邻域边缘最大化的子空间学习方法求解子空间投影矩阵，并且基于更新后的类归属指示矩阵与子空间投影矩阵计算收敛函数值；(2‑4)重复步骤(2‑2)‑(2‑3)，直到满足收敛条件，停止迭代，从迭代过程输出最终的类归属指示矩阵，得到所有文档的最终聚类结果；所述步骤(2‑1)中，基于平均邻域边缘最大化的子空间学习方法求解子空间投影矩阵的步骤是：对于文本向量空间中的某个数据点x_i，计算其它数据点与x_i的距离，并按照距离远近以及数据点x_i所属的类别信息，将它们分为以下两个子集：是同类邻域集，包含与x_i属于同类的ξ个最近邻域点；是异类邻域集，包含与x_i分属不同类的ζ个最近邻域点；分别求取数据点x_i的平均类间距离和平均类内距离；求取文本向量空间中所有数据点的平均类间距离P和平均类内距离Q；对于所有的数据点，在约束条件下，最大化其平均邻域边缘函数，即在满足最大化平均类间距离的同时最小化平均类内距离；从而得到子空间投影矩阵W；所述平均邻域边缘函数为：$\gamma =\underset{i}{\Sigma }(\underset{p:x_p\in N_i^e}{\Sigma }\frac{\left|\right|y_i-y_p|{|}^2}{\left|N_i^e\right|}-\underset{q:x_q\in N_i^o}{\Sigma }\frac{\left|\right|y_i-y_q|{|}^2}{\left|N_i^o\right|});$子空间投影的求解须在约束条件下，即最大化以下目标函数：其中，y_i＝W^Tx_i，即数据点x_i通过子空间投影矩阵W投影到子空间后的文本向量，y_p和y_q分别代表同类邻域集和异类邻域集中的数据点投影到子空间后的文本向量。