基于鉴别流形的跨数据域的转移学分类方法

摘要

本发明实施例公开了一种基于鉴别流形的跨数据域的转移学分类方法，包括以下步骤：输入各个数据域的数据和用于训练的标签数据，对数据建立用于谱图几何调节的邻接图；对输入的数据、标签信息和建立的邻接图，将优化目标结合，建立统一的数学模型；根据建立的数学模型，推导变量的更新公式，以交替迭代的方式更新各个数据域的各个维度的隐藏因子，域间共享的关系结构，以及回归系数，直到收敛为止；利用得到的参数，对目标域的数据进行类属标签预测，得到对目标域数据预测的类属标签。本发明用于学得到一种鉴别的数据流形空间，新的表达因子具有有利于分类的高度鉴别结构，也保持了数据原有的聚类流形结构。

主权项

一种基于鉴别流形的跨数据域的转移学习分类方法，其特征在于，包括以下步骤：S10，输入各个数据域的数据和用于训练的标签数据，对数据建立用于谱图几何调节的邻接图；S20，对所述输入的数据、标签信息和建立的邻接图，结合优化目标，建立统一的数学模型，所述优化目标包括跨数据域的联合矩阵分解模型、鉴别回归模型、跨数据域的距离调节、流形几何调节；S30，根据所述建立的数学模型，推导变量的更新公式，以交替迭代的方式更新各个数据域的各个维度的隐藏因子，域间共享的关系结构，以及回归系数，直到收敛为止；S40，利用得到的参数，对目标域的数据进行类属标签预测，得到对目标域数据预测的类属标签；其中，S10中具体包括以下步骤：S101，输入辅助数据域D_s和目标数据域D_t的训练样本数据，包括辅助数据域的标签数据以及对应的标签信息矩阵以及目标域的数据当目标域有少量的标签数据时，输入标签指示信息P_t矩阵来指明目标域哪些数据是有标签的，并且同时输入目标域数据的标签信息用集合I＝{s,t}表示不同数据域的下标，当指的数据域为π∈I时，它所对应的另外一个数据域记为S102，利用输入的数据分别构建辅助域的数据维度的邻接图和特征维度的邻接图邻接图的点之间的边权重分别如下：图图其中N_p(x)表示数据x的p领域，取p＝5，构建目标域的数据维度邻接图和特征维度邻接图，邻接图的点之间的边权重分别如下：图图其中N_p(x)表示数据x的p领域，取p＝5；S20中具体包括以下步骤：S201，建立跨数据域的联合矩阵分解模型：${\min }_{U_{\pi },H,V_{\pi }\ge 0}\underset{\pi \in I}{\Sigma }\left|\right|X_{\pi }-U_{\pi }{\mathrm{HV}}_{\pi }|{|}^2$矩阵分解模型将目标数据域和辅助数据域的数据同时分解到低维的数据表达中去，并且保留了两个数据域间共同的知识结构，其中，表示π数据域D_π的特征的低维聚类结构，k_m是特征维度的聚类个数；表示π数据域D_π的数据低维聚类结构，同时也是数据的低维隐藏表示因子，k_n是数据的聚类个数；表示π数据域D_π里特征类和数据类之间的关系结构，而且目标数据域和辅助数据域共享这一稳定的关系结构；S202，融合鉴别回归模型，对数据的低维隐藏表示因子进行监督性约束：${\min }_{V_{\pi },U_{\pi },H,A}\underset{\pi \in 1}{\Sigma }\left(\right||X_{\pi }-U_{\pi }{\mathrm{HV}}_{\pi }|{|}^2+\beta \left|\right|Y_{\pi }{P}_{\pi }-{\mathrm{AV}}_{\pi }{P}_{\pi }\left|{|}^2\right)+\alpha \left|\right|A|{|}^2$其中是作用在数据隐藏因子上的回归系数，标签指示信息P_t矩阵是一个对角矩阵，表示π数据域D_π里的第i个元素用于监督的回归鉴别约束，否则$P_{ii}^{\pi }=0;$S203，减小目标数据域和辅助数据域间的差异，引入最大均值差异Maximum Mean Discrepancy，MMD距离的调节；数据维度上的域间差异距离定义如下：${\mathrm{Dist}}^v(D_s,D_t)=\left|\right|\frac{1}{n_s}\underset{i=1}{\overset{n_s}{\Sigma }}{v}_{·i}^s-\frac{1}{n_t}\underset{j=1}{\overset{n_t}{\Sigma }}{v}_{·j}^t|{|}^2;$特征维度上的域间差异距离定义如下：${\mathrm{Dist}}^u(D_s,D_t)=\left|\right|\frac{1}{n_s}\underset{i=1}{\overset{n_s}{\Sigma }}{u}_{i·}^s-\frac{1}{n_t}\underset{j=1}{\overset{n_t}{\Sigma }}{u}_{j·}^t|{|}^2;$为了降低目标数据域和辅助数据域间的差异，期望得到的数据隐藏表示因子和特征低维聚类结构表示因子，能使各自维度上的域间差异距离能够尽可能的小，从而将这两个距离函数作为最小化目标调节因子融合到上一步S202得到的模型中去，并且得到：$\begin{array}{c}{\min }_{V_s,V_t,U_s,U_t,H,A}\underset{\pi \in I}{\Sigma }\left(\right||X_{\pi }-U_{\pi }{\mathrm{HV}}_{\pi }|{|}^2+\beta \left|\right|Y_{\pi }{P}_{\pi }-{\mathrm{AV}}_{\pi }{P}_{\pi }\left|{|}^2\right)+\alpha \left|\right|A|{|}^2\\ +\left|\right|\frac{1}{m_s}{1}_{m_s}^T{U}_s-\frac{1}{m_t}{1}_{m_t}^T{U}_t|{|}^2+||\frac{1}{n_s}{V}_s{1}_{n_s}-\frac{1}{n_t}{V}_t{1}_{n_t}|{|}^2\end{array}$S204，保持数据的低维流形结构，根据谱图几何理论，利用步骤S102中得到的辅助域的数据维度的邻接图，建立度量数据映射函数在低维流形空间沿测地线的光滑性的测度：$\begin{array}{c}{R}_s^v=\frac{1}{2}\underset{ij}{\Sigma }\left|\right|v_{·i}^s-v_{·j}^s|{|}^2{\left(W_s^v\right)}_{ij}=\underset{i}{\Sigma }tr\left(v_{·i}^s{\left(v_{·i}^s\right)}^T\right){\left(D_s^v\right)}_{ii}-\underset{ij}{\Sigma }tr\left(v_{·i}^s{\left(v_{·j}^s\right)}^T\right){\left(W_s^v\right)}_{ij}\\ =tr\left(V_s\right(D_s^v-W_s^v\left)V_s^T\right)\end{array}$其中，$D_s^v=diag\left(\underset{i}{\Sigma }{\left(W_s^v\right)}_{ij}\right)$利用步骤S102中得到的辅助域的特征维度的邻接图，建立度量数据特征映射函数在低维流形空间沿测地线的光滑性的测度：$\begin{array}{c}{R}_s^u=\frac{1}{2}\underset{ij}{\Sigma }\left|\right|u_{i·}^s-u_{j·}^s|{|}^2{\left(W_s^u\right)}_{ij}=\underset{i}{\Sigma }tr\left({\left(u_{i·}^s\right)}^T\right(u_{i·}^s\left)\right){\left(D_s^u\right)}_{ii}-\underset{ij}{\Sigma }tr\left({\left(u_{i·}^s\right)}^T\right(u_{j·}^s\left)\right){\left(W_s^u\right)}_{ij}\\ =tr\left(U_s^T\right(D_s^u-W_s^u\left)U_s\right)\end{array}$其中，$D_s^u=diag\left(\underset{i}{\Sigma }{\left(W_s^u\right)}_{ij}\right)$类似地，利用步骤S102中得到的目标域D_t的数据维度的邻接图，在目标域D_t在数据维度上，建立度量数据映射函数在低维流形空间沿测地线的光滑性的测度：$\begin{array}{c}{R}_t^v=\frac{1}{2}\underset{ij}{\Sigma }\left|\right|v_{·i}^t-v_{·j}^t|{|}^2{\left(W_t^v\right)}_{ij}=\underset{i}{\Sigma }tr\left(v_{·i}^t{\left(v_{·i}^t\right)}^T\right){\left(D_t^v\right)}_{ii}-\underset{ij}{\Sigma }tr\left(v_{·i}^t{\left(v_{·j}^t\right)}^T\right){\left(W_t^v\right)}_{ij}\\ =tr\left(V_t\right(D_t^v-W_t^v\left)V_t^T\right)\end{array}$其中，$D_t^v=diag\left(\underset{i}{\Sigma }{\left(W_t^v\right)}_{ij}\right)$利用步骤S102中得到的目标域的特征维度的邻接图，在特征维度上，建立度量数据特征映射函数在低维流形空间沿测地线的光滑性的测度：$\begin{array}{c}{R}_t^u=\frac{1}{2}\underset{ij}{\Sigma }\left|\right|u_{i·}^t-u_{j·}^t|{|}^2{\left(W_t^u\right)}_{ij}=\underset{i}{\Sigma }tr\left({\left(u_{i·}^t\right)}^T\right(u_{i·}^t\left)\right){\left(D_t^u\right)}_{ii}-\underset{ij}{\Sigma }tr\left({\left(u_{i·}^t\right)}^T\right(u_{j·}^t\left)\right){\left(W_t^u\right)}_{ij}\\ =tr\left(U_t^T\right(D_t^T-W_t^u\left)U_t\right)\end{array}$其中，$D_t^u=diag\left(\underset{i}{\Sigma }{\left(W_t^u\right)}_{ij}\right)$S205:建立基于鉴别流形的跨数据域的转移学习分类模型如下：$\begin{array}{c}{\min }_{V_s,V_t,U_s,U_t,H,A}\underset{\pi \in I}{\Sigma }\left(\right||X_{\pi }-U_{\pi }{\mathrm{HV}}_{\pi }|{|}^2+\beta \left|\right|Y_{\pi }{P}_{\pi }-{\mathrm{AV}}_{\pi }{P}_{\pi }\left|{|}^2\right)+\alpha \left|\right|A|{|}^2\\ +\underset{\pi \in I}{\Sigma }\lambda (R_{\pi }^u+R_{\pi }^v)+\left|\right|\frac{1}{m_s}{1}_{m_s}^T{U}_s-\frac{1}{m_t}{1}_{m_t}^T{U}_t|{|}^2+||\frac{1}{n_s}{V}_s{1}_{n_s}-\frac{1}{n_t}{V}_t{1}_{n_t}|{|}^2\end{array}$s.t.V_s,V_t,U_s,U_t,H≥0S30中进行交替迭代具体包括以下步骤：S301，更新辅助域数据隐藏因子V_s：其中$B_s=A^T{Y}_s{P}_s{P}_s^T,B_s^{+}=\left(\right|B_s|+B_s)/2,B_s^{-}=\left(\right|B_s|-B_s)/2,E_s=A^T{\mathrm{AV}}_s{P}_s{P}_s^T,$R＝A^TA，R⁺＝(|R|+R)/2，R^‑＝(|R|‑R)/2，S302，更新目标域数据隐藏因子V_t：其中$B_t=A^T{Y}_t{P}_t{P}_t^T,B_t^{+}=\left(\right|B_t|+B_t)/2,B_t^{-}=\left(\right|B_t|-B_t)/2,E_t=A^T{\mathrm{AV}}_t{P}_t{P}_t^T,$R＝A^TA，R⁺＝(|R|+R)/2，R^‑＝(|R|‑R)/2，S303，更新辅助域特征维度低维因子U_s：S304，更新目标域特征维度低维因子U_t：S305，更新辅助域和目标域之间的共享因子：数据维度的隐藏因子和特征维度的隐藏因子之间的关系结构，更新公式如下：其中I＝{s,t}S306，更新回归系数A：$A=\left(\underset{\pi \in I}{\Sigma }{Y}_{\pi }{P}_{\pi }{\left(V_{\pi }{P}_{\pi }\right)}^T\right){(\underset{\pi \in I}{\Sigma }{V}_{\pi }{P}_{\pi }{\left(V_{\pi }{P}_{\pi }\right)}^T+\gamma I)}^{-1},$其中I＝{s,t}，$\gamma =\frac{\alpha }{\beta }.$