基于视频流的三维动态人脸表情建模方法

摘要

本发明公开了一种基于视频流的三维动态人脸表情建模方法，能根据输入视频恢复出具有真实感的三维人脸表情，属于计算机视觉与图形学的交叉领域。算法步骤为：1)在输入视频首帧手工标注人脸特征点；2)采用仿射矫正的光流法对特征点进行跟踪；3)基于因子分解将二维跟踪数据重建为三维数据；4)使用重建的三维数据对一般人脸模型进行适配，生成个性化人脸以及动态表情运动；5)采用特征脸技术对原始视频进行压缩；6)利用特征脸重建输入视频，并进行动态纹理映射，合成具有真实感的视觉外观。本发明提供的三维人脸表情建模方法具有较高的时间/空间效率，在人机交互、动画制作以及游戏娱乐等方面具有较高实用价值。

主权项

1. 一种基于视频流的三维动态人脸表情建模方法，其特征在于方法的步骤为：1)在输入的单目未标定视频首帧手工标注人脸特征点的位置；2)采用仿射矫正的光流法对首帧标注的特征点进行跟踪，确定这些特征点在视频序列中每帧的位置变化情况；3)采用基于因子分解的方法将二维跟踪数据恢复为三维运动数据；4)将三维运动数据的前3帧取平均值，以这个平均值适配一个一般三维人脸模型从而产生个性化三维人脸模型；5)使用其他三维运动数据驱动此个性化三维人脸模型，生成动态三维人脸表情；6)采用基于特征脸的视频压缩方法对输入视频进行压缩，以较少存储空间；7)使用特征脸重建输入视频，并结合二维跟踪数据对动态三维人脸自动进行动态纹理映射，生成具有真实感的三维人脸表情序列；所述的基于因子分解的方法：用弱透视投影模型模拟视频成像过程；根据此方法，非刚性物体形状看作一组形状基的加权线性组合，形状基是一组基本的三维形状，任意三维形状都可以由这组三维形状基组合而成；给定跟踪数据，每帧中的特征点可用弱透视投影模型描述如下：$P_{\mathrm{fn}}={(x,y)}_{\mathrm{fn}}^T=[e_f{c}_{f1}{R}_f...e_f{c}_{\mathrm{fK}}{R}_f]·{[S_{1n}...S_{\mathrm{Kn}}]}^T+t_f,f=1,...,F,n=1,...,N$其中F和N分别是帧数和特征点的数目，e_f是非零的弱透视投影缩放因子，S_1n...S_Kn是K个形状基，C_f1...c_fK是形状基的组合权重，t_f是平移，R_f表示第f个相机投影矩阵的前两行，P_fn表示第f帧中的第n个特征点，则若将每帧中每个特征点的x、y坐标看作一个2×1矩阵，所有跟踪数据形成一个2F×K的矩阵P，并且P＝M·S+T，其中M是广义相机投影矩阵，S是K个形状基，T是平移矩阵：$M=\left[\begin{array}{ccc}{e}_1{c}_{11}{R}_1& ...& e_1{c}_{1K}{R}_1\\ ...& ...& ...\\ e_F{c}_{F1}{R}_F& ...& e_F{c}_{\mathrm{FK}}{R}_F\end{array}\right],$$S=\left[\begin{array}{ccc}{S}_{11}& ...& S_{1N}\\ ...& ...& ...\\ S_{K1}& ...& S_{\mathrm{KN}}\end{array}\right]$减去平移矩阵得到规范形式P＝M·S，对R进行奇异值分解，得到P的阶数为3K的近似值$\tilde{P}=\tilde{M}·\tilde{S},$K由rank(P)/3确定，这种分解不是唯一的，给定任意可逆3K×3K矩阵A，$\tilde{P}=\tilde{M}A·A^{-1}\tilde{S}$均成立；因此当A为已知时，广义相机投影矩阵和形状基即可表示为$M=\tilde{M}·A,$$S=A^{-1}·\tilde{S},$为计算A，首先利用投影矩阵的正交特性作为约束条件，令Q＝A·A^T，则${\mathrm{MM}}^T=\tilde{M}Q{\tilde{M}}^T,$再令表示的第i个2行子矩阵，根据投影矩阵的正交特性可得如下两个正交性约束条件：${\tilde{M}}_{2·i-1}Q{{\tilde{M}}_{2·i-1}}^T={\tilde{M}}_{2·i}Q{{\tilde{M}}_{2·i}}^T,$${\tilde{M}}_{2·i-1}Q{{\tilde{M}}_{2·i}}^T=0;$接下来使用形状基约束条件消除正交约束条件的二义性，将A的第k个三列子矩阵表示为a_k，对于每个Q_k＝a_ka_k^Tk＝1，...，K，根据形状基间的独立关系设定另外一组形状基约束：${\tilde{M}}_{2·i-1}{Q}_k{{\tilde{M}}_{2·j-1}}^T=1,(i,j)\in {\omega }_1$${\tilde{M}}_{2·i-1}{Q}_k{{\tilde{M}}_{2·j-1}}^T=0,(i,j)\in {\omega }_2$${\tilde{M}}_{2·i}{Q}_k{{\tilde{M}}_{2·j}}^T=1,(i,j)\in {\omega }_1$${\tilde{M}}_{2·i}{Q}_k{{\tilde{M}}_{2·j}}^T=0,(i,j)\in {\omega }_2$${\tilde{M}}_{2·i-1}{Q}_k{{\tilde{M}}_{2·j}}^T=0,(i,j)\in {\omega }_1\cup {\omega }_2$${\tilde{M}}_{2·i}{Q}_k{{\tilde{M}}_{2·j-1}}^T=0,(i,j)\in {\omega }_1\cup {\omega }_2$ω₁＝{(i，j)|i＝j＝k}       ω₂＝{(i，j)|i＝1，...，K，j＝1，...，F，i≠k}结合这两类约束条件正确求解Q，再经过奇异值分解得到A，M由得到，缩放因子e₁，...，e_F可看作是常数，因此广义相机投影矩阵可表示为$M=\left[\begin{array}{ccc}{c_{11}}^1{R}_1& ...& {c_{1K}}^1{R}_1\\ ...& ...& ...\\ {c_{F1}}^1{R}_F& ...& {c_{\mathrm{FK}}}^1{R}_F\end{array}\right];$由于$R_f=\left[\begin{array}{ccc}{r}_{f1}& r_{f2}& r_{f3}\\ r_{f4}& r_{f5}& r_{f6}\end{array}\right]$f＝1，...，F是相机旋转矩阵的前两行，将M中表示第f帧的两行展开得到$m_f=\left[\begin{array}{ccccccc}{c_{f1}}^1{r}_{f1}& {c_{f1}}^1{f}_2& {c_{f1}}^1{r}_{f3}& ...& {c_{\mathrm{fK}}}^1{r}_{f1}& {c_{\mathrm{fK}}}^1{r}_{f2}& {c_{\mathrm{fK}}}^1{r}_{f3}\\ {c_{f1}}^1{r}_{f4}& {c_{f1}}^1{r}_{f5}& {c_{f1}}^1{r}_{f6}& ...& {c_{\mathrm{fK}}}^1{r}_{f4}& {c_{\mathrm{fK}}}^1{r}_{f5}& {c_{\mathrm{fK}}}^1{r}_{f6}\end{array}\right],$调整元素位置得到新矩阵${m_f}^1=\left[\begin{array}{cccccc}{c_{f1}}^1{r}_{f1}& {c_{f1}}^1{r}_{f2}& {c_{f1}}^1{r}_{f3}& {c_{f1}}^1{r}_{f4}& {c_{f1}}^1{r}_{f5}& {c_{f1}}^1{r}_{f6}\\ ...& & & & & \\ {c_{\mathrm{fK}}}^1{r}_{f1}& {c_{\mathrm{fK}}}^1{r}_{f2}& {c_{\mathrm{fK}}}^1{r}_{f3}& {c_{\mathrm{fK}}}^1{r}_{f4}& {c_{\mathrm{fK}}}^1{r}_{f5}& {c_{\mathrm{fK}}}^1{r}_{f6}\end{array}\right],$此矩阵是列向量(c_f1¹…c_fK¹)^T与行向量(r_f1 r_f2 r_f3 r_f4 r_f5 r_f6)的乘积；由此，每帧的相机投影矩阵和形状基组合权重可由m_f¹经奇异值分解得到，欧氏空间中的三维形状也由此得出，此形状就是特征点三维坐标，计算出每帧特征点在欧氏空间中的三维坐标，就得到了一组三维运动数据。