一种耦合步态特征的低分辨率人脸识别方法

摘要

本发明提供的是一种耦合步态特征的低分辨率人脸识别方法。首先，将所有低分辨率人脸、步态样本分别转换到向量空间上，然后采用内积计算人脸和步态特征的核变换特征并修正，再将表示同一个体的低分辨率人脸图像和步态样本构成样本对，使得不同集合下的样本对足够近，并且保留数据局部结构的本质几何特性，建立目标优化模型，转化成“迹”求广义特征分解，得到两个不同的变换矩阵，低分辨率人脸图像和步态图像得到新的特征。测试时，测试样本首先向量化，再经核变换由向量空间映射到高维空间，采用最近邻分类器来预测所属的类别。本发明不需要对高分辨率的人脸图像进行估计，可对低分辨率的人脸图像采用步态耦合的机器学方式直接进行身份识别。

主权项

1.一种耦合步态特征的低分辨率人脸识别方法，其特征在于，包括训练和识别阶段；训练阶段的方法为，首先，将所有低分辨率人脸、步态图像样本分别都转换到向量空间上，然后采用内积形式计算人脸和步态特征的核变换特征并对该特征进行修正，再将表示同一个体的低分辨率人脸图像和步态图像构成样本对，使得不同集合下的同一样本对足够近，并且保留数据局部结构的本质几何特性，建立目标优化模型，然后将目标函数转化成“迹”的形式后转换成广义特征分解，得到对于低分辨率人脸图像和步态图像的两个不同的变换矩阵，最后将低分辨率人脸图像和步态图像分别投影到这两个空间中，得到低分辨率人脸特征和步态特征，并把步态特征作为注册样本集；识别阶段的方法是：由测试样本向核空间的投影转换过程和匹配组成；实现方法为：测试的低分辨率人脸图像样本首先向量化，再经核变换由向量空间映射到核高维空间，样本匹配时在注册样本集中采用最近邻分类器来预测测试样本所属的类别；所述的采用内积形式计算人脸和步态特征的核变换特征并对该特征进行修正，是根据以下公式进行的：其中，x₁,x₂,……,x_M和y₁,y₂,……,y_M表示人脸图像、步态能量图像经向量化后的特征；φ表示核映射，是将原始向量特征映射到高维的特征空间中；K_x和K_y分别表示人脸图像、步态能量图像的核变换特征矩阵；K_x和K_y中的每一项采用高斯核来计算如下$K_x(i,j)=\exp (-\frac{\left|\right|x_i-x_j{\left|\right|}^2}{2{\sigma }^2})---\left(3\right)$$K_y(i,j)=\exp (-\frac{\left|\right|y_i-y_j{\left|\right|}^2}{2{\sigma }^2})---\left(4\right)$其中，σ为控制高斯核宽度的参数；K_x和K_y采用如下去中心化方法，分别得到和${\tilde{K}}_x=K_x-1_M·K_x-K_x·1_M+1_M·K_x·1_M---\left(5\right)$${\tilde{K}}_y=K_y-1_M·K_y-K_y·1_M+1_M·K_y·1_M---\left(6\right)$其中，1_M是系数为1/M的M·M的单位阵；所述的建立目标优化模型，最后将目标函数转化成“迹”的形式后转换成广义特征分解，是根据以下公式进行的：欲使同一个人的低分辨率人脸图像和步态样本图像应该足够地相似，即使下式达到最小值J(P₁,P₂)=∑_i,j||P₁^Tφ(x_i)-P₂^Tφ(y_j)||²S_ij   (7)其中，P₁和P₂为核空间下的变换矩阵，S_ij为相似度矩阵S的元素；如果x_i和x_j是属于同一类别，x_i是x_j的k-近邻，或者x_j是x_i的k-近邻，这里有两种S的计算方法，其一是余弦相似度:$S_{\mathrm{ij}}=\frac{x_i·x_j}{\left|\right|x_i\left|\right|\left|\right|x_j\left|\right|}---\left(8\right)$其二是高斯相似度，t是控制高斯函数的尺度因子$S_{\mathrm{ij}}=\exp (-\frac{\left|\right|x_i-x_j{\left|\right|}^2}{t})---\left(9\right)$否则，S_ij=0；为了求得P₁和P₂，式(5)写成迹的形式：$J(P_1,P_2)=\mathrm{tr}({\left[\begin{array}{c}{P}_1\\ P_2\end{array}\right]}^T\left[\begin{array}{cc}\phi \left(x_1\right),\phi \left(x_2\right),...,\phi \left(x_M\right)& \\ & \phi \left(y_1\right),\phi \left(y_2\right),...,\phi \left(y_M\right)\end{array}\right]...$$\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ {-S}^T& F_v\left(S\right)\end{array}\right]{\left[\begin{array}{cc}\phi \left(x_1\right),\phi \left(x_2\right),...,\phi \left(x_M\right)& \\ & \phi \left(y_1\right),\phi \left(y_2\right),...,\phi \left(y_M\right)\end{array}\right]}^T\left[\begin{array}{c}{P}_1\\ P_2\end{array}\right])---\left(10\right)$其中，F_h(S)和F_v(S)都是对角阵，其中的每一元素都是S的列或者行的和，而且F_h(S)和F_v(S)提供了数据点的本质度量对于式(10)中的P₁，这里存在M个样本用来张成核特征空间{φ(x_i),i=1,2,...M}；对于P₂也存在M个样本用来张成核特征空间{φ(y_j),j=1,2,...M}，设张成系数为α₁,α₂,...,α_M和β₁,β₂,...,β_M，这样有$P_1=\underset{i=1}{\overset{M}{\Sigma }}{\alpha }_i\phi \left(x_i\right)---\left(13\right)$$P_2=\underset{i=1}{\overset{M}{\Sigma }}{\beta }_i\phi \left(y_i\right)---\left(14\right)$将式(13)和式(14)带入式(10)中，有$J(\alpha ,\beta )=\mathrm{tr}\left({\left[\begin{array}{c}\alpha \\ \beta \end{array}\right]}^T\left[\begin{array}{cc}\phi {\left(X\right)}^T& \\ & \phi {\left(Y\right)}^T\end{array}\right]\left[\begin{array}{cc}\phi \left(X\right)& \\ & \phi \left(Y\right)\end{array}\right]\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ {-S}^T& F_v\left(S\right)\end{array}\right]{\left[\begin{array}{cc}\phi \left(X\right)& \\ & \phi \left(Y\right)\end{array}\right]}^T\left[\begin{array}{cc}\phi \left(X\right)& \\ & \phi \left(Y\right)\end{array}\right]\left[\begin{array}{c}\alpha \\ \beta \end{array}\right]\right)$$=\mathrm{tr}\left({\left[\begin{array}{c}\alpha \\ \beta \end{array}\right]}^T\left[\begin{array}{cc}{K}_x& \\ & K_y\end{array}\right]\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ {-S}^T& F_v\left(S\right)\end{array}\right]{\left[\begin{array}{cc}{K}_x& \\ & K_y\end{array}\right]}^T\left[\begin{array}{c}\alpha \\ \beta \end{array}\right]\right)---\left(15\right)$其中，φ(X)=[φ(x₁),φ(x₂),...,φ(x_M)]和φ(Y)=[φ(y₁),φ(y₂),...,φ(y_M)]；α=[α₁,α₂,...,α_M]^T和β=[β₁,β₂,...,β_M]^T；再令$W=\left[\begin{array}{c}\alpha \\ \beta \end{array}\right],$$Z=\left[\begin{array}{cc}{K}_x& \\ & K_y\end{array}\right],$$\Theta =\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ {-S}^T& F_v\left(S\right)\end{array}\right],$目标函数(15)写成J(α,β)=tr(W^TZΘZ^TW)   (16)ZZ^T不总是可逆的，需要规整化为ZZ^T+τI，I为单位阵，τ为很小的正实数，取τ=10^-6；ZΘZ^T和ZZ^T的维数均为2M·2M，使式(16)达到最小时的W通过解下式的广义特征分解来求得(ZΘZ^T)W=λ(ZZ^T)W   (17)式(17)的特征值从小到大排列，当W由前d′个较小的特征值对应的特征向量排列组成时，即使式(17)达到最小；显然，α∈R^M·d′对应于W的第1到第M行，β∈R^M·d′对应于W的第M+1到第2M行；所述的低分辨率人脸图像和步态图像分别投影到这两个空间中，得到低分辨率人脸特征和步态特征，是根据以下公式进行的：$F_x={P_1}^T\phi \left(X\right)={\alpha }^T{\tilde{K}}_x---\left(18\right)$$F_y={P_2}^T\phi \left(Y\right)={\beta }^T{\tilde{K}}_y---\left(19\right)$其中，F_x=[f_x1,f_x2,...,f_xM]，F_y=[f_y1,f_y2,...,f_yM]，f_xi(i=1,...,M)和f_yj(j=1,...,M)分别对应为x_i和步态y_j的特征；这样，低分辨率的人脸图像、步态图像集合X和Y耦合映射到同一核空间中；所述的测试的低分辨率人脸图像样本首先向量化，再经核变换由向量空间映射到核高维空间，样本匹配时在注册样本集中采用最近邻分类器来预测测试样本所属的类别，是根据以下公式进行的：待测试的低分辨人脸图像样本首先向量化，记为y′，然后再由向量空间映射到高维空间的特征为φ(y′)，那么所计算的核耦合特征f_y′为$f_y^{\prime }={P_2}^T\phi \left(y^{\prime }\right)={\beta }^T{\tilde{K}}_y^{\prime }---\left(20\right)$其中：表示$K_y^{\prime }=[\phi \left(y_1\right)·\phi \left(y^{\prime }\right),\phi \left(y_2\right)·\phi \left(y^{\prime }\right),...,\phi \left(y_M\right)·\phi \left(y^{\prime }\right){]}^T$的中心化结果，由下式计算得出${\tilde{K}}_y^{\prime }=K_y^{\prime }-K_y·1_{1·M}^T-1_M·K_y^{\prime }+1_M·K_y·1_{1·M}^T---\left(21\right)$其中：1_1·M表示系数均为1/M，大小为1·M的单位阵；样本匹配时采用最近邻分类器在注册集中来预测测试样本所属的类别$\mathrm{Dis}(f_{\mathrm{xc}},f_y^{\prime })=\arg \underset{i}{\min }\mathrm{Dis}(f_{\mathrm{xi}},f_y^{\prime })---\left(22\right)$即f_y′距离f_xc最近，因此，y′的类别属于f_xc所在的类别。