一种人脸特征提取方法

摘要

本发明公开了一种将Kinect相机提供的人体姿态分析数据和深度数据融合到Depth-AAM算法中，形成基于2.5维图像的人脸特征提取方法,1）采用主成份分析方法训练Depth-AAM算法的表观模型；2）基于训练完成的Depth-AAM算法的表观模型进行人脸特征提取。

主权项

1.一种人脸特征提取方法，其特征在于，包括以下步骤，1）采用主成份分析方法训练Depth-AAM算法的表观模型：①利用Kinect相机采集训练用人脸图像的纹理图像和深度图像，将深度图像从0~65535像素范围压缩到0~255像素范围，代入四通道图像的α通道，再与纹理图像合并为RGBD四通道图像，并对其进行手工标定若干个轮廓点；②定义人脸形状为组成网格的v个顶点坐标s＝(x₁,y₁,...,x_v,y_v)^T；顶点构成的形状向量用主成份分析方法建立二维线性模型，形状向量被表示成基本形状s₀加上m个形状向量s_i的线性组合p＝(p₁,...,p_m)^T是形状矩阵的特征值向量，s₀为人脸图像的标准姿态，s_i是特征值p_i对应的特征向量；③将s₀，RGBD四通道图像I_i和其对应的手工标记s_i^*用分块仿射变换转换到标准姿态下的RGBD四通道人脸图像，即s_0与s_i'的三角网格一一对应，分块仿射变换表达式为x'＝a₁x+a₂y+a₃和y'＝b₁x+b₂y+b₃，(x,y)为s₀上一个坐标，(x′,y′)为s_i′上与(x,y)对应的坐标，a₁与b₂为X方向和Y方向的缩放尺度，a₂和b₁为旋转尺度，a₃和b₃为X方向和Y方向的平移大小，采用待定系数法求出对应的参数(a₁,a₂,a₃,b₁,b₂,b₃)；④将所有训练人脸图像经过第③步变换，得到其在标准姿态下的人脸图像I_i′，并采用主成份分析方法这里λ_i是第i个表观向量的参数，表观参数向量λ＝{λ₁,λ₂,...,λ_n}是输入图像对应于该AAM模型表观参数的特征值，以表示输入图像的全部信息，第i个表观向量A_i(x)对应于表观参数向量中第i大的特征值；通过①②③④步训练得到各表观特征的特征值即完成Depth-AAM算法的表观模型的训练；2）基于训练完成的Depth-AAM算法的表观模型进行人脸特征提取：⑤Kinect相机根据人体深度图像，采用Kinect winsdk的API分割出人体图像，并得到头部节点位置坐标、头部节点转动方向θ及其置信度Conf_θ，根据人体深度图像，将人体区域置白，人体之外的区域置黑，从头部节点位置不断向上下左右同时扩大搜索范围，当上左右都达到黑色边界时，停止下边界的搜索，并确定人脸的最大区域，其左上角顶点坐标记为(x_headLU,y_headLU)，区域长度和宽度记为(length_head,width_head)；⑥全局形状参数q定义为$N(x;q)=\left[\begin{array}{cc}1+a& -b\\ b& 1+a\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right],$参数(a,b)表示为a＝kcosθ-和b＝ksinθ，(t_x,t_y)为X方向和Y方向的平移，为了书写方便，(a,b,t_x,t_y)记为(q₁,q₂,q₃,q₄)即为全局形状参数q；⑦Depth-AAM算法拟合的目标函数为输入图像与表观合成图像差的绝对值第一次的Depth-AAM拟合使用转动方向θ初始化q₁、q₂，使用⑤中得到的人脸位置信息初始化q₃、q₄，求解p和q使图像能量差最小时获得的所述轮廓点的坐标值以及表观参数向量即完成人脸特征提取，具体为，对参数p和q求导，求得参数p和q的变化量Δp和Δq，迭代求取最小的图像能量差，$\mathrm{\Delta q}=H^{-1}\underset{i=0}{\overset{n}{\Sigma }}S{D}_i[I\left(N(W(x;p);q)\right)-A_0\left(x\right)],$i的范围为i＝1,...,4，$\mathrm{\Delta p}=H^{-1}\underset{i=0}{\overset{n}{\Sigma }}{\mathrm{SD}}_{j+4}[I\left(N(W(x;p);q)\right)-A_0\left(x\right)],$j的范围为j＝1.,..,，其中k的范围为k＝1,...,4，l的范围为l＝1,...,68，H为Hessian矩阵，$H=\underset{x\in S_0}{\Sigma }{\left[{\mathrm{SD}}_k\left(x\right)\right]}^T\left[{\mathrm{SD}}_k\left(x\right)\right].$