基于统计形状理论的非线性面部运动流形学方法

摘要

本发明一种基于统计形状理论的非线性面部运动流形学方法，其中基于统计形状理论对面部形状的预处理方法描述如下：(1)对面部运动序列中的每一帧形状进行①去均值②归一化③复数化处理；(2)去掉复数表示中的冗余信息；(3)结合黎曼几何切空间映射，将复数表示的面部运动序列投影至运动流形的切空间，形成面部运动轨迹。其中面部流形学方法采用高斯过程隐变量模型，具体方法描述如下：(1)计算高斯过程的均值及协方差函数，确定所构造的高斯过程的概率密度函数；(2)用尺度共轭梯度法(Scaled Conjugate Gradient)求解隐变量，进而得到对应面部运动轨迹的降维结果。该方法采用真实的流形距离并采用优秀的降维方法对面部运动数据进行维数约减，从而更准确的描述面部运动流形的结构。

主权项

1.一种基于统计形状理论的非线性面部运动流形学习方法，其特征在于：该方法包括基于统计形状理论的预处理及采用高斯过程隐变量模型的面部运动流形学习两个部分；其中：(1)关于基于统计形状理论的预处理，其步骤如下：Ω＝{ω_i|i＝1，2...N}为一个面部形状运动序列，其中ω_i＝{(x_i1，y_i1)，(x_i2，y_i2)...(x_iM，y_iM)}表示由M个点组成的一帧面部形状：步骤1：对面部运动序列Ω中的每一帧形状作去均值处理，首先得到每一帧面部形状的中心位置(x₀，y₀)，然后从形状数据中去掉中心位置信息，即x_ij′＝x_ij-x₀，y_ij′＝y_ij-y₀使$\underset{j}{\Sigma }{x_{\mathrm{ij}}}^{\prime }+\underset{j}{\Sigma }{y_{\mathrm{ij}}}^{\prime }=0;$步骤2：对面部运动序列Ω中的每一帧形状作归一化处理，首先计算每帧形状到中心位置(经过去均值处理后，中心位置既为原点)距离的平方和然后使用L对形状数据进行归一化，即${x_{\mathrm{ij}}}^{\prime \prime }=\frac{{x_{\mathrm{ij}}}^{\prime }}{\sqrt{L}},$${y_{\mathrm{ij}}}^{\prime \prime }=\frac{{y_{\mathrm{ij}}}^{\prime }}{\sqrt{L}}$使$\underset{j}{\Sigma }{x}_{\mathrm{ij}}^{\prime \prime 2}+\underset{j}{\Sigma }{y}_{\mathrm{ij}}^{\prime \prime 2}=1;$步骤3：对面部运动序列Ω中的每一帧形状作复数化处理，每个点的横坐标为实部，纵坐标为虚部，将2×M维的实值面部形状向量转换为M维复数向量ω_i＝{s₁，s₂...s_M}，其中s_ij＝x_ij+I×y_ij，I为复数单位，I²＝-1；步骤4：去掉复数表示中的冗余信息。利用各个形状的实虚部之和为零的特点(如步骤1)，用特定矩阵左乘面部序列Ω，该矩阵Ω可以将向量转变利用各个面部形状均值为零的特点，可以使面部运动形状序列的最后一行归零，再去掉最后一行将复数表示的形状向量维数降为M-1，由此形成的复数空间称为“正则形状空间”(Norshape Space)；步骤5：结合黎曼几何切空间映射，将复数表示的面部运动序列投影至运动流形的切空间，形成面部运动轨迹。经过上述步骤处理经过上述步骤得到的“正则形状空间”具有一条重要性质：正则形状空间切空间的水平子空间与原始形状空间同构，即正则形状空间切空间的水平子空间中的欧式距离与原始形状空间中的流形距离等价，可以通过向切空间投影得到反映面部运动的轨迹；(2)关于高斯过程隐变量模型面部运动流形学习，其步骤如下：ω＝f(x)为一个实值函数，高斯隐变量模型利用高斯过程逼近这一函数，通过最大化后验概率确定变量x的值，该变量作为参数隐含于高斯过程中，故称为高斯过程隐变量模型。其中高斯过程指服从高斯分布的随机过程，即g(x)～N(m(x)，δ²(x))，m(x)、δ²(x)分别为均值函数和协方差函数，本发明采用权值空间构造法(Weight-Space)构造高斯过程隐函数模型，即w～N(0，I)，则y为高斯分布。其中协方差函数采用径向基函数构造，径向基函数为：具体步骤如下：步骤1：计算构造的高斯过程的均值及协方差函数，对于给定的面部运动序列s确定所构造的高斯过程的概率密度函数其中均值及协方差函数的计算方法为： 假设$s=g\left(x\right)=\underset{j=1}{\overset{J}{\Sigma }}{\omega }_j{\phi }_j\left(x\right)=w^T\Phi \left(x\right)$为高斯分布，则m(x)＝E(s)＝E[w^TΦ(x)]＝0σ²(x)＝E(s_is_j)＝E[(w^TΦ(x_i))(w^TΦ(x_j))]＝Φ(x_i)^TΦ(x_j)＝K，其中K_ij＝k(x_i，x_j)当均值函数和协方差函数为已知时，高斯过程的概率密度函数可得到解析解。步骤2：采用尺度共轭梯度法(Scaled Conjugate Gradient)求解隐变量，进而得到对应面部运动轨迹的降维结果。尺度共轭梯度法的目标函数为：$\underset{x}{\max \arg }p\left(S\right|x)=\underset{x}{\max \arg }\underset{i=1}{\overset{I}{\Pi }}p\left(s_i\right|x)$即寻找使输出的形状序列S＝{s₁，s₂...s_N}的联合概率最大。