一种基于潜在语义分析的迁移学方法

摘要

本发明的目的在于提供一种基于潜在语义分析的迁移学方法，包括以下步骤：对训练数据做去停用词、词干化处理，分别计算源领域与目标领域词汇权重，得到词汇‑文本矩阵M，对矩阵M进行奇异值分解，将M中词汇与文本映射到低维潜在语义空间，去除源领域中同义词噪音影响，调整矩阵M结构，从源领域中找出与目标领域文本关联度较大的词汇作为迁移词，再对矩阵M结构进行调整，分析调整后的矩阵M中目标领域词汇，得到目标领域数据新的特征表示，在训数据集中得到最终分类器，对测试数据集S进行分类。

主权项

一种基于潜在语义分析的迁移学习方法，其特征是：(1)对训练数据做去停用词、词干化处理，分别计算源领域与目标领域词汇权重，得到词汇‑文本矩阵M；(2)对矩阵M进行奇异值分解，将M中词汇与文本映射到低维潜在语义空间：矩阵M可表示为：M＝UΣV^TU、V是正交阵，UU^T＝VV^T＝I，Σ＝diag(a₁,a₂,...,a_k,...,a_v)是对角阵，a₁,a₂,···,a_v为M的奇异值，潜在语义分析只取前k个最大的奇异值，而将剩余的值设为零，$\tilde{M}=U\tilde{\Sigma }{V}^T\approx U\Sigma V^T=M;$(3)去除源领域中同义词噪音影响，调整矩阵M结构：计算词汇与词汇之间的相似度，即对矩阵做正向乘法：$\tilde{M}{\tilde{M}}^T=\left(U\tilde{\Sigma }{V}^T\right){\left(U\tilde{\Sigma }{V}^T\right)}^T$所求得的结果中，第i行第j列表明了词汇i与词汇j之间的相似程度，设定阈值θ₁，从源领域中找出与目标领域词汇相似度大于θ₁的词汇，记为目标领域词汇的同义词汇，将源领域该词汇用目标领域词汇替换，调整矩阵M结构；从源领域中找出与目标领域文本关联度较大的词汇作为迁移词，再对矩阵M结构进行调整：在M矩阵中，第i行第j列上的权重即代表该行词汇与该列文本的关联度，设置阈值θ₂，从在源领域词汇中，筛选出与目标领域文本相关度大于θ₂的词汇作为目标领域的迁移词，将该词汇放到描述目标领域数据的词汇行中，调整矩阵结构；(4)分析调整后的矩阵M中目标领域词汇，得到目标领域数据新的特征表示，在训数据集中得到最终分类器，对测试数据集S进行分类；所述的词汇‑文本矩阵M的获得方法为：词汇权重W(i,j)的计算方法包括文本贡献权重LW(i,j)和类标签贡献权重GET(i)两部分，将两个权重相乘，得到最终词汇权重：取词汇频率的对数定义文本贡献权重：LW(i,j)＝log(Tf(i,j)+1)其中Tf(i,j)代表词汇i在文本j中出现的频率；借助熵的概念来表示词汇的类标签贡献权重，熵(H(X))是对信源X不确定的度量，条件熵H(X|Y)表示在Y发生的情况下X的熵，即当Y确定时，对X的不确定程度，H(X)‑H(X|Y)即为当Y发生时，对X的确定程度，由此定义类标签贡献权重可表示为：$\begin{array}{c}GET\left(i\right)H\left(K\right)-H\left(K\right|i)\\ =-\underset{k=1}{\overset{k=m}{\Sigma }}p\left(k\right)\log p\left(k\right)+\underset{k=1}{\overset{k=m}{\Sigma }}p(k,i)\log (k,i)\\ =\log m+\underset{k=1}{\overset{k=m}{\Sigma }}\frac{Cf(k,i)}{Gf\left(k\right)}\log \frac{Cf(k,i)}{Gf\left(k\right)}\end{array}$其中K代表类标签k＝{1,2,...,m}集合，i代表第i个词汇，Cf(k,i)代表在类别k中，i词汇出现的次数，Gf(k)所有词汇出现次数的总和；分别计算源领域与目标领域词汇的类标签贡献权重：其中n为训练数据中源领域数据数量是目标领域数据数目的倍数值；由此得到训练数据的词汇—文本矩阵M，其中M的值m(i，j)即为W(i，j)：W(i,j)＝LW(i,j)×GET(i)。