融合多视角、多线索二维信息的人脸三维模型的建立方法

摘要

融合多视角、多线索二维信息的人脸三维模型的建立方法属于计算机人脸图像重建技术领域，其特征在于：首先用标定好的上下两台立体摄像机拍摄建模对象的人脸，得到人脸在无表情变化时从正面逐步转到侧面的视频序列；再用全自动的姿态估计算法得到序列中各时刻的精确的姿态参数；接着在模型和姿态二者的初始化之后，根据两类二维线索分别抽取三维信息：一类是基于图象间对应点进行立体重建，另一类是模型投影轮廓与图象轮廓的匹配、修正；最后，根据融合在多视角中提取出的、对应于不同二维线索的三维信息建立人脸模型。它得到的人脸模型有更细致、更精确的形状，并能做MPEG4(运动图像压缩编码组织标准4)兼容的人脸动画。

主权项

1.融合多视角、多线索二维信息的人脸三维模型的建立方法，含有二维对应创建人脸模型的方法，其特征在于：它首先用与人脸上、下位置相对应的两台相同且外极线方向基本沿垂直方向的摄像机在人脸无表情变化的情况下拍摄建模对象的人脸从正面逐步转约90度到侧面的视频序列，再用两块相同的采集卡来采集上下两路同步视频并输入计算机中；然后，从人脸的通用模型Face_g开始，根据获得的建模对象的二维信息逐步进行修改，最终得到特定人的人脸模型Face_s，其中修改的只是人脸上的三维结点列表P中的三维点坐标，而人脸上的三角形面片列表F保持不变，即只改变模型形状P而模型的拓扑结构F不变；具体而言，它依次含有如下步骤：(1).输入立体视频序列I_L，t和I_R，t：L，R对应于两台摄像机，t＝1，…，N，表示N帧不同时刻的图像：I则是由像素组成的二维数组，每个像素包括R、G、B三个分量；t＝1的时刻对应于人脸正面姿态，通过人的判断手工选择；(2).姿态估计，即求解人头旋转过程中的姿态参数(即刚体变换系数)：用下述刚体变换公式表示上述图象序列中人脸的帧间运动：M_t+1＝R_tM_t+T_t，t＝1，…，N-1，M_t、M_t+1分别表示第t帧、第t+1帧时人脸上任一点在L摄像机坐标系中的坐标；M_t、M_t+1是人脸上的同一位置在不同时刻的三维坐标，即是帧间三维对应点；用可靠三维点的运动就可估计姿态参数；{R_t，T_t，t＝1，…，N-1}是第t帧到第t+1帧姿态参数的旋转和平移分量；姿态估计依次含有如下步骤：(2.1)，起始时刻：先进行二维特征的检测和匹配，再通过立体重建得到起始时刻的三维点：首先，设置特征检测帧t0＝t，并在I_L，t图上作二维特征检测，即选择那些局部灰度变化丰富的点即为在跟踪和匹配时可靠程度较高的点作为特征点，其步骤如下：用已有的KLT算法计算I_L，t图上特征点p(x＝i，y＝j)处的图像变化程度G(i，j)： $G(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\Sigma }}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\Sigma }}\overrightarrow{g}(i+\mathrm{ii},j+\mathrm{jj}){\overrightarrow{g}}^T(i+\mathrm{ii},j+\mathrm{jj}),$为待测点p处图像的梯度向量： $\overrightarrow{g}(i,j)={\left[\begin{array}{cc}\mathrm{gx}& \mathrm{gy}\end{array}\right]}^T={\left[\frac{I(i+1,j)-I(i-1,j)}{2}\frac{I(i,j+1)-I(i,j-1)}{2}\right]}^T,$I(i+1，j)为该点处图像的灰度，余类推；以待测点p为中心的窗口W的尺寸为(2*blockx+1)*(2*blocky+1)；然后再用已有的matlab工具包求出G的最小奇异值sing_min，再选择sing_min很大的点p为检测出的特征点；把在t时刻检测出的特征点记为{pL，t(k)}，L，t表示图象序号，K(t)是特征点总数，k为其标号，1≤k≤K(t)；其次，对同一时刻两个摄像机L，R拍摄同一场景得到的两幅图像即立体图对作二维特征匹配；同一个三维点在不同图像中的投影都为二维点，它们之间互称为二维对应，立体图对间的二维对应称为匹配：对于I_L，t图中某一点p_L，t(k)＝(x_L，t(k)y_L，t(k)^T，它的匹配点p_R，t(k)＝(x_R，t(k)y_R，t(k))^T应位于一条由p_L，t(k)决定的直线上，在这个一维空间中，选择使一个局部窗口W内总灰度差异最小的点作为p_L，t(k)的匹配点p_R，t(k)，总灰度差异的表达式： $\mathrm{Diff}(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\Sigma }}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\Sigma }}\left(I_{L,t}\right(x_{L,t}\left(k\right)+\mathrm{ii},y_{L,t}\left(k\right)+\mathrm{jj})-I_{R,t}(i+\mathrm{ii},j+\mathrm{jj}){)}^2$(i，j)是直线F上的任一点；记时刻t的匹配结果为{p_R，t(k)}，总数目为K(t)个，每点都与p_L，t(k)相对应，在下述公式表示的直线上搜索，使Diff(i，j)最小的位置： ${\left[\begin{array}{c}{p}_{L,t}\left(k\right)\\ 1\end{array}\right]}^{T}F\left[\begin{array}{c}{p}_{R,t}\left(k\right)\\ 1\end{array}\right]=0$，其中： $F={\left[\begin{array}{ccc}{f}_L& 0& u_{\mathrm{OL}}\\ 0& f_L& v_{\mathrm{OL}}\\ 0& 0& 1\end{array}\right]}^{-T}\left[\begin{array}{ccc}0& -T_{c,z}& T_{c,y}\\ T_{c,z}& 0& -T_{c,x}\\ -T_{c,y}& T_{c,x}& 0\end{array}\right]R_c{\left[\begin{array}{ccc}{f}_R& 0& u_{\mathrm{OR}}\\ 0& f_R& v_{\mathrm{OR}}\\ 0& 0& 1\end{array}\right]}^{-1}$，f_L，f_R，u_OL，v_OL，u_OR，v_OR为摄像机内参数，已知量；R_c，T_c＝[T_c，xT_c，yT_c，z]^T分别为旋转和平移分量，属摄像机外参数，已知量；再次，在获得同一时刻立体图对间的匹配结果p_L，t和p_R，t后，通过立体重建得到用摄像机坐标系表示的三维点M_m，t，m为摄像机L或R，M_m，t为t时刻三维点在m摄像机坐标系中的坐标；根据两摄像机的配置关系式：M_L＝R_cM_R+T_c，M_L、M_R分别是同一点在这两个摄像机坐标系中的坐标；以及摄像机透视投影公式： $s_m{A}_m^{-1}\left[\begin{array}{c}{p}_{m,t}\\ 1\end{array}\right]=M_{m,t}$，s_m(即s_L或s_R)是待定的比例因子(由稍后的公式求出)，得到三维点在摄像机L、R中的坐标M_L，t和M_R，t： $M_{L,t}=\frac{1}{2}(s_L{A}_L^{-1}\left[\begin{array}{c}{p}_{L,t}\\ 1\end{array}\right]+s_R{R}_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t}\\ 1\end{array}\right]+T_c);$ $A_L=\left[\begin{array}{ccc}{f}_L& 0& u_{\mathrm{OL}}\\ 0& f_L& v_{\mathrm{OL}}\\ 0& 0& 1\end{array}\right],$ $A_R=\left[\begin{array}{ccc}{f}_R& 0& u_{\mathrm{OR}}\\ 0& f_R& v_{\mathrm{OR}}\\ 0& 0& 1\end{array}\right];$ $\left[\begin{array}{c}{S}_L\\ S_R\end{array}\right]={\left(B^{T}B\right)}^{-1}{B}^T{T}_c,$而 $B_{}=[A_L^{-1}\left[\begin{array}{c}{p}_{L,t}\\ 1\end{array}\right]-R_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t}\\ 1\end{array}\right]:$ $M_{R,t}=R_c^{-1}(M_{L,t}-T_c);$在姿态估计的余下部分，三维点都用L摄像机坐标系中的坐标来表示，因此省略下标L，即将M_L，t简记为M_t；(2.2)，后继时刻：对t+1时刻的立体图对用KLT算法进行二维特征跟踪，再同样通过立体重建得到各后继时刻的三维点；跟踪是指同一摄像机拍摄的不同时刻图像间的二维对应：在二维特征跟踪时，设检测的特征点在图像I_m，t(p)(m为L或R)上，p(x＝i，y＝j)是任一特征点，则其在图像I_m，t+1上的跟踪结果为，其中 $\bar{d}=G^{-1}\bar{e}$，G已如上述，而 $\overrightarrow{e}(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\Sigma }}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\Sigma }}\overrightarrow{g}(i+\mathrm{ii},j+\mathrm{jj})-{(I}_{m,t+1}(i+\mathrm{ii},j+\mathrm{jj})-I_{m,t}(i+\mathrm{ii},j+\mathrm{jj}))$记跟踪得到的特征点为{p_m，t+1(k)}，m表示L或R，t+1为时刻：对于摄像机L为： $p_{L,t+1}\left(k\right)=p_{L,t}\left(k\right)-{\bar{d}}_{L,t}\left(p_{L,t}\left(k\right)\right),1\le k\le K\left(t\right);$对于摄像机R为： $p_{R,t+1}\left(k\right)=p_{R,t}\left(k\right)-{\bar{d}}_{R,t}\left(p_{R,t}\left(k\right)\right),1\le k\le K\left(t\right);$根据任一对匹配的跟踪点计算三维点{M_t+1(k)|k＝1，…，K(t))}(如前所述，这里省略了下标L)； $M_{t+1}\left(k\right)=\frac{1}{2}(s_L{A}_L^{-1}\left[\begin{array}{c}{p}_{L,t+1}\left(k\right)\\ 1\end{array}\right]+s_R{R}_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t+1}\left(k\right)\\ 1\end{array}\right]+T_c);$其中 $\left[\begin{array}{c}{S}_L\\ S_R\end{array}\right]={\left(B^{T}B\right)}^{-1}{B}^T{T}_c,$ $B=\left[A_L^{-1}\left[\begin{array}{c}{p}_{L,t+1}\left(k\right)\\ 1\end{array}\right]{-}_{}{R}_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t+1}\left(k\right)\\ 1\end{array}\right]\right]:$(2.3)，姿态参数初始化：根据两个时刻t和t+1之间的一组三维对应点{M_t(k))|k＝1，…，K(t)}和{M_t+1(k)|k＝1，…，K(t)}，和表示可靠性的序列{bReliablek}，k＝1，…，K(t)从式M_t+1(k)＝R_tM_t(k)+T_t，t＝1，…，N-1中用基于最小中值的鲁棒估计算法求解R_t，T_t：设：定义并不断更新布尔数组{bReliablek}为可靠度量序列，Yes表示可靠，No表示不可靠，其中取值为Yes的项的标号为{k_s}，s＝1，…，Kr(t)，Kr(t)是取值为Yes的项的总数，从其中挑出Num_subset个子集，每个子集含有三对三维对应点，即{Set_n＝{N_1，n，N_2，n，N_3，n}}，n＝1，…，Num_subset，1≤N_1，n，N_2，n，N_3，n≤Kr(t)，每个三元子集中三维对应点为： $\{M_t\left(k_{N_{1,n}}\right),M_t\left(k_{N_{2,n}}\right),M_t\left(k_{N_{3,n}}\right)\}$和 $\{M_{t+1}\left(k_{N_{1,n}}\right),M_{t+1}\left(k_{N_{2,n}}\right),M_{t+1}\left(k_{N_{3,n}}\right)\}$，可简记为{(M_im，M_im’)|im＝0，1，2}，它表示三对不共线的三维对应点，R_t，T_t满足M_im′＝R_tM_im+T_t|im＝0，1，2；然后从下列公式中求出R和T(略去下标t)： $R=I+\frac{\sin \left|\right|r\left|\right|}{\left|\right|r\left|\right|}[r{]}_x+\frac{1-\cos \left|\right|r\left|\right|}{{\left|\right|r\left|\right|}^2}{\left[r\right]}_x^2,$其中 $r=\theta *\hat{r}$ $,\theta =\arccos \frac{(\hat{r}\times {\mathrm{dir}}_1)·(\hat{r}\times {{\mathrm{dir}}_1}^{\prime })}{\left|\right|(\hat{r}\times {\mathrm{dir}}_1)·(\hat{r}\times {{\mathrm{dir}}_1}^{\prime })\left|\right|},$ $\hat{r}=\frac{({{\mathrm{dir}}_1}^{\prime }-{\mathrm{dir}}_1)\times ({{\mathrm{dir}}_2}^{\prime }-{\mathrm{dir}}_2)}{\left|\right|({{\mathrm{dir}}_1}^{\prime }-{\mathrm{dir}}_1)\times ({{\mathrm{dir}}_2}^{\prime }-{\mathrm{dir}}_2)\left|\right|},$是旋转的中心轴，称旋转轴，3*1的向量；θ是绕的旋转角； ${\mathrm{dir}}_{\mathrm{im}}=\frac{M_{\mathrm{im}}-M_0}{\left|\right|M_{\mathrm{im}}-M_0\left|\right|},\mathrm{im}=\mathrm{1,2};$ ${{\mathrm{dir}}_{\mathrm{im}}}^{\prime }=\frac{{M_{\mathrm{im}}}^{\prime }-{M_0}^{\prime }}{\left|\right|{M_{\mathrm{im}}}^{\prime }-{M_0}^{\prime }\left|\right|},\mathrm{im}=\mathrm{1,2};$[r]_x是根据3*1向量r＝[r_xr_yr_z]^T定义的反对称矩阵： ${\left[r\right]}_x={\left[\begin{array}{c}{r}_x\\ r_y\\ r_z\end{array}\right]}_x=\left[\begin{array}{ccc}0& -r_z& r_y\\ r_z& 0& -r_x\\ -r_y& r_x& 0\end{array}\right],$而 $I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$是单位矩阵；平移分量T由下式估计出： $T=\frac{1}{3}\underset{\mathrm{im}=0}{\overset{2}{\Sigma }}({M_{\mathrm{im}}}^{\prime }-{\mathrm{RM}}_{\mathrm{im}});$对每个子集Set_n按上述公式估计出姿态参数，记为R_t，n，T_t，n；再对所有的可靠三维对应{M_t(k_s)，M_t+1(k_s)}，s＝1，…，Kr(t)按下式计算对应点M_t(k_s)，M_t+1(k_s)与姿态参数R_t，n，T_t，n的符合程度ε_n，s，该值越小，则两者越符合：ε_n，s＝‖M_t+1(k_s)-R_t，nM_t(k_s)-T_t，n‖²；再从集合{R_t，n，T_t，n}，n＝1，…，Num_subset中选取R_t，T_t：{R_t，T_t}＝{R_{n_m}，T_{n_m}}， $n\_m=\underset{n}{\arg \min }{\underset{s}{\mathrm{med}}}^n\left\{{ϵ}_{n,s}\right|s=1,\dots ,\mathrm{Kr}\left(t\right)\},$表示针对下标s取集合{ε_n，s|s＝1，…，Kr(t))}的中值，它对不同的n构成一个新的数组 $\left\{{\underset{s}{\mathrm{med}}}^n\right|n=1,\dots ,\mathrm{Num}\_\mathrm{subset}\};$而则是在这个中值数组中选择取最小值的那个n；(2.4)，在t＝t+1时刻，设置：是否需要重新调用特征检测和匹配模块的布尔标志量bReDetect；是否需要进行姿态求精的布尔标志量bRefine；(2.5)，当t＝N时，姿态估计结束；(3).模型初始化和姿态初始化：模型初始化是通用模型特定化方法的初始步骤，它从通用模型Face_g得到一个初始化模型Face_init，即对通用模型进行尺度变换，可用下式进行： $M_{\mathrm{init}}=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ O& O& s_z\end{array}\right]M_g$，M_g和M_init分别是Face_g和Face_init上的任一组对应点；s_x是建模对象和Face_g的两内眼角距离Seg_E长度的比值，s_y是两眼中心到嘴中心距离Seg_EM长度的比值；s_z＝s_y；再根据此对Face_g中所有点按上式变换；姿态初始化是为了获得模型和图象间的对应，即计算从人脸generic坐标系到L摄像机坐标系的刚体变换；即从下式求解R_g，l，T_g，l：M_l＝R_g，lM_init+T_g，l，M_l和M_init分别是时刻t＝1时人脸和Face_init间的任一组对应点；本发明取上述两个模型在LE(左眼)、RE(右眼)和Mid M(嘴中心)这三个位置处的对应点，按上述、θ、R、[r]_x、T各式依次求得R_g，l和T_g，l；再按下式从R_t，T_t，t＝1，…，N-1求出R_g，t，T_g，t，t＝2，…，N：R_g，t＝R_t-1R_g，t-1T_g，t＝R_t-1*T_g，t-1+T_t-1，t＝2，…，N；(4).利用三维信息修正人脸模型：(4.1)，手工拾取侧面特征点：设：手工标出的侧面特征点为 $m_{L,\mathrm{side}}^{\mathrm{kk}}={\left[\begin{array}{cc}{x}_{L,\mathrm{side}}^{\mathrm{kk}}& y_{L,\mathrm{side}}^{\mathrm{kk}}\end{array}\right]}^T\},$kk＝1，…，NumSF，NumSF＝24为侧面特征点的数目，side表示对应于侧面视图的时刻；(4.2)，形状修正A：把Face_init变形为Face₁；我们先确定人脸三维结点列表P中一个子集Subset的新位置，再通过一个已知的径向基函数算法来确定P中所有结点的坐标；径向基函数算法如下所述：设要将Face_start变形为Face_new，已知一个Subset中的结点在Face_new中的坐标为{New₁，…，New_S}，记其在Face_start中的对应点为{Sta₁，…，Sta_S}，S为Subset中点的数目；现在对于模型中的任一位置pt，其在Face_new中的坐标可由下面的已知公式求出： $M_{\mathrm{pt}}^{\mathrm{new}}=\underset{\mathrm{jRBF}=1}{\overset{S}{\Sigma }}{C}_{\mathrm{jRBF}}\phi \left(\right||M_{\mathrm{pt}}^{\mathrm{start}}-\mathrm{St}{a}_{\mathrm{jRBF}}|\left|\right);$是pt点在Face_start中的坐标，而{C₁，…，C_S}可按下面的公式求出 $\left[\begin{array}{c}{C}_1^T\\ \underset{.}{\overset{.}{.}}\\ C_S^T\end{array}\right]={\left[\begin{array}{ccc}\phi \left(\right||{\mathrm{Sta}}_1-\mathrm{St}{a}_1|\left|\right)& ...& \phi \left(\right||{\mathrm{Sta}}_1-\mathrm{St}{a}_S|\left|\right)\\ ...& ...& ...\\ \phi \left(\right||\mathrm{St}{a}_S-\mathrm{St}{a}_1|\left|\right)& ...& \phi \left(\right||{\mathrm{Sta}}_S-{\mathrm{Sta}}_S|\left|\right)\end{array}\right]}^{-1}\left[\begin{array}{c}{\mathrm{New}}_1^T\\ \underset{.}{\overset{.}{.}}\\ {\mathrm{New}}_S^T\end{array}\right]$；φ是已知的径向基函数；“形状修正A”在利用上面的径向基函数算法时，设置Face_start＝Face_init，Face_new＝Face₁，而Subset中的点包括两类：一类是人脸上的左眼内角LE、右眼内角RE、左外嘴唇LM、右外嘴唇RM四个三维显著特征点，由二维显著特征点通过上述立体重建方法得出；另一类是上述24个侧面特征点，它们的三维位置按下面的步骤从手工标出的二维点中获得：设：侧面特征点在人脸generic坐标系中的三维坐标为 $\{{\mathrm{Ms}}_g^{\mathrm{kk}}={\left[\begin{array}{ccc}0& Y_g^{\mathrm{kk}}& Z_g^{\mathrm{kk}}\end{array}\right]}^T\},$kk＝1，…，NumSF；则对于任一kk，有其中 $R_{g,\mathrm{side}}=\left[\begin{array}{c}{R}_{g,\mathrm{side},1}^T\\ R_{g,\mathrm{side},2}^T\\ R_{g,\mathrm{side},3}^T\end{array}\right],$ $T_{g,\mathrm{side}}=\left[\begin{array}{c}{T}_{g,\mathrm{side},1}\\ T_{g,\mathrm{side},2}\\ T_{g,\mathrm{side},3}\end{array}\right]$是姿态参数的分量表示，为已知量；可直接用线性方程组的求解方法得到中的两个未知数和(4.3)，形状修正B：按前述的径向基函数算法把Face₁变形为Face₂；设Face_start＝Face₁，Face_new＝Face₂，Subset中除了包括“形状修正A”里已经确定了的点之外，还有一些新添加的点，即从正面姿态下手工标出的人脸轮廓恢复出来的三维点，得到这些三维点的基本方法是把当前人脸模型Face₁向正面姿态下的图象平面作透视投影并计算三维模型投影结果的二维轮廓点，最后依赖于这些轮廓点和上述图象上的人脸轮廓即闭合多边形的匹配来计算其三维坐标：首先，计算出Face₁在t＝1时刻向手工选择的正面视图的图象平面上的投影轮廓 ${\mathrm{Cont}}_1=\left\{{\mathrm{pt}}_1^{\mathrm{iC}1}\right|\mathrm{iC}1=1,\dots ,\mathrm{nNum}1\},$是模型三维结点列表P中点的标号， $1\le {\mathrm{pt}}_1^{\mathrm{iC}1}\le \mathrm{nVertex};$而nNum1是Cont₁中顶点的数目，它们即形状修正B中向Subset新添加的点；它们是通过判断投影线与模型的交点来选择的，即在某一轮廓点上，投影线与模型不能有其他交点，其算法如下：Face₁为三维模型，透视投影中心为 $\mathrm{Center}=-R_{g,1}^{-1}{T}_{g,1}$已知量，则对模型中所有顶点计算过Center点的投影线和模型的交点，据此判断该顶点是否在投影轮廓上，若M_now为Face₁中任一点，Plane_jp为Face₁中任一面片构成的平面，计算过Center点和M_now的直线，即投影线，与Plane_jp的交点为C_now；如果对某一面片1≤jp≤nMesh而言，点C_now在线段CM_now的内部，则M_now不在投影轮廓上；否则即为投影轮廓点；再计算Cont₁中的任一点在Face₂的三维坐标：设上述图象上的人脸轮廓是 $\mathrm{Cont}\_{\mathrm{img}}_1=\left\{\left[\begin{array}{cc}{\mathrm{xCI}}_1^{\mathrm{iCimg}}& {\mathrm{yCI}}_1^{\mathrm{iCimg}}\end{array}\right]\right|\mathrm{iCimg}=1,...,\mathrm{nNumCI}1\}$，它是由二维点列表构成的多边形，nNumCI1是点的数目；则 $\mathrm{pti}={\mathrm{pt}}_1^{\mathrm{iC}1}$在Face₂的三维坐标 $M_2^{\mathrm{pti}}=M_1^{\mathrm{pti}}+t_{\mathrm{line}}v;$v＝(v_xv_yv_z)^T＝v_pn×(v_n×v_pn)；其中， $M_1^{\mathrm{pti}}={\left[\begin{array}{ccc}{X}_1^{\mathrm{pti}}& Y_1^{\mathrm{pti}}& Z_1^{\mathrm{pti}}\end{array}\right]}^T$是pti点在Face₁中的坐标；经点的投影方向为v_pn为已知量；v_n为pti点在Face_g中的法向；参数t_line可根据二维直线 ${\left[\begin{array}{cc}\frac{X_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_x}{Z_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_z}& \frac{Y_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_y}{Z_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_z}\end{array}\right]}^T$与闭合多边形Cont_img₁的交点求出：设Cont_img₁中的任一线段为seg＝(x₀+sd_xy₀+sd_y)^T，0≤s≤1，s为线段参数，其他都是已知量；先按下面的公式计算 $\left[\begin{array}{c}\mathrm{si}\\ t_{\mathrm{line}}\end{array}\right]={\left[\begin{array}{cc}{d}_x& -(X_1^{\mathrm{pti}}-v_x*Z_1^{\mathrm{pti}}/v_z)\\ d_y& -(Y_1^{\mathrm{pti}}-v_y*Z_1^{\mathrm{pti}}/v_z)\end{array}\right]}^{-1}\left[\begin{array}{c}{x}_0-v_x/v_z\\ y_0-v_y/v_z\end{array}\right]$对所有的seg求出这两个数值si和t_line；对于很多seg上面的公式无解，即公式里的矩阵不可逆；有解且得到的si满足0≤si≤1的seg有一个或两个，取与点 ${\left[\begin{array}{cc}\frac{X_1^{\mathrm{pti}}}{Z_1^{\mathrm{pti}}}& \frac{Y_1^{\mathrm{pti}}}{Z_1^{\mathrm{pti}}}\end{array}\right]}^T$距离近的那一个seg，它得到的t_line即为所求；(4.4)，形状修正C：按前述的径向基函数算法把Face₂变形为Face₃；设Face_start＝Face₂，Face_new＝Face₃，Subset中除了包括“形状修正A、B”里已经确定了的点之外，还有一些新添加的点，即从手工标出的正面人脸特征轮廓点：眼睛、鼻孔和嘴的轮廓点恢复出来的三维点：设某特征轮廓点的二维坐标是 $\left[\begin{array}{cc}{\mathrm{xCF}}_1^{\mathrm{iCF}}& {\mathrm{yCF}}_1^{\mathrm{iCF}}\end{array}\right]$，该点在Face₂中的坐标为 $M_2^{\mathrm{iCF}}={\left[\begin{array}{ccc}{X}_2^{\mathrm{iCF}}& Y_2^{\mathrm{iCF}}& Z_2^{\mathrm{iCF}}\end{array}\right]}^T$，设该点的Z坐标已经计算正确，即它在Face₃中的Z坐标等于，则它在Face₃中的坐标为 $M_3^{\mathrm{iCF}}={\left[\begin{array}{ccc}{\mathrm{xCF}}_1^{\mathrm{iCF}}*Z_2^{\mathrm{iCF}}& {\mathrm{yCF}}_1^{\mathrm{iCF}}*Z_2^{\mathrm{iCF}}& Z_2^{\mathrm{iCF}}\end{array}\right]}^T$，即这些特征轮廓点在正面姿态下的投影等于实际图象上的特征点；(4.5)，形状修正D：按前述的径向基函数算法把Face₃变形为Face₄；设Face_start＝Face₃，Face_new＝Face₄，Subset中除了包括“形状修正A、B、C”里已经确定了的点之外，还有一些新添加的点，即从手工标出的中间视图1即使R_g，t的旋转角最接近25度的时刻t的人脸轮廓中恢复出来的三维点，具体步骤如下：设该视图对应于时刻int1，与形状修正B所述的相同，先算出Face₃在int1时的投影轮廓 $\mathrm{Con}{t}_{\mathrm{int}1}=\left\{{\mathrm{pt}}_{\mathrm{int}1}^{\mathrm{iC}2}\right|\mathrm{iC}2=1,\dots ,\mathrm{nNum}\_\mathrm{int}1\},$是P中点的标号，nNum_int1是投影轮廓中的顶点数目；对于任一点 $\mathrm{ptli}={\mathrm{pt}}_{\mathrm{int}1}^{\mathrm{iC}2}$，它在Face₃中的三维坐标 $M_3^{\mathrm{ptli}}={\left[\begin{array}{ccc}{X}_3^{\mathrm{pt}1i}& Y_3^{\mathrm{pt}1i}& Z_3^{\mathrm{pt}1i}\end{array}\right]}^T$，而 $\mathrm{Center}=-R_{g,1}^{-1}{T}_{g,1}$如前所述是L摄像机光心在generic坐标系中的坐标，则该点在Face₄中的坐标应满足 $M_4^{\mathrm{ptli}}=M_3^{\mathrm{ptli}}+t_{\mathrm{line}2}v2,$ $v2={\left[\begin{array}{ccc}{v2}_x& {v2}_y& {v2}_z\end{array}\right]}^T=M_3^{\mathrm{ptli}}-\mathrm{Center}$，参数t_line2同样根据直线 ${\left[\begin{array}{cc}\frac{X_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_x}{Z_3^{\mathrm{pt}1i}+t_{\mathrm{lin}2}{v2}_z}& \frac{Y_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_y}{Z_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_z}\end{array}\right]}^T$与闭合多边形Cont_img_int1的交点求出；(4.6)，形状修正E：按前述的径向基函数算法把Face₄变形为Face₅(即最终的形状模型Face_s)；设Face_start＝Face₄，Face_new＝Face₅，Subset中除了包括“形状修正A、B、C、D”里已经确定了的点之外，还有一些新添加的点，即从手工标出的中间视图2即使R_g，t的旋转角最接近40度的时刻t的人脸轮廓中恢复出来的三维点，具体的恢复步骤与形状修正D相同；(5).纹理映射：目前的纹理是通过L摄像机拍摄的正面和侧面视图(I_L，1和I_L，side)生成，纹理映射是要为创建的模型Face_s生成看起来有相片一样真实感的柱面纹理图Texture_s，即要把采集的图象转换到一个统一的柱面坐标系中并进行融合，它依次含有如下步骤：(5.1)，生成柱面展开图：首先对形状修正E的最终结果Face_s中的任一三维点 $M_s^{\mathrm{pt}}={\left[\begin{array}{ccc}{X}_s^{\mathrm{pt}}& Y_s^{\mathrm{pt}}& Z_s^{\mathrm{pt}}\end{array}\right]}^T$按下式作柱面映射：，映射的结果是一个二维平面，其上的点为{Cyn_pt}＝{(lg_ptlt_pt)}；这里lg_pt是柱面上的经度位置，用弧度值表示；lt_pt则是柱面旋转轴向的坐标位置；(5.2)，生成正面纹理图：把所有点在已知的正面姿态参数R_g，l，T_g，l下按下式在正面视图I_L，1上投影， ${\overrightarrow{p}}_1^{\mathrm{pt}}={\left[\begin{array}{cc}{x}_1^{\mathrm{pt}}& y_1^{\mathrm{pt}}\end{array}\right]}^T$是Face_s中三维点M_s^pt在I_L，1上的二维投影：其中 $R_{g,1}=\left[\begin{array}{c}{R}_{1g,1}^T\\ R_{2g,1}^T\\ R_{3g,1}^T\end{array}\right],$ $T_{g,1}=\left[\begin{array}{c}{T}_{1g,1}\\ T_{2g,1}\\ T_{3g,1}\end{array}\right],$是旋转矩阵和平移向量的分量表示；接着，把I_L，1中的各像素映射到Cyn平面上，即对Face_s中的任一面片facet＝(pt₁pt₂pt₃)^T，m_proj＝Δ(p₁，p₂，p₃)表示这三点在I_L，1平面上构成的三角形，m_cyn＝Δ(p₁′，p₂′，p₃′)是Cyn平面上的对应三角形，即 $p_{\mathrm{iT}1}={\left[\begin{array}{cc}{x}_1^{{\mathrm{pt}}_{\mathrm{iT}1}}& y_1^{{\mathrm{pt}}_{\mathrm{iT}1}}\end{array}\right]}^T,$ ${p_{\mathrm{iT}1}}^{\prime }={\left[\begin{array}{cc}{\lg }_{{\mathrm{pt}}_{\mathrm{iT}1}}& {\mathrm{lt}}_{{\mathrm{pt}}_{\mathrm{iT}1}}\end{array}\right]}^T,$iT1＝1，2，3；再对三角形m_cyn内的点[lglt]按下式计算[xy]： $\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]={\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}\lg \\ \mathrm{lt}\\ 1\end{array}\right];$a₁～a₆由下式求出：再令正面纹理图 $I_{\mathrm{Textur}{e}_1}(\lg ,\mathrm{lt})=I_{L,1}(x,y);$(5.3)，生成侧面纹理图：把所有点在已知的侧面姿态参数R_g，side，T_g，side，下按下式在侧面视图I_L，side上投影， ${\overrightarrow{p}}_{\mathrm{side}}^{\mathrm{pt}}={\left[\begin{array}{cc}{x}_{\mathrm{side}}^{\mathrm{pt}}& y_{\mathrm{side}}^{\mathrm{pt}}\end{array}\right]}^T$是Face_s中三维点在I_L，side上的二维投影： $R_{g,\mathrm{side}}=\left[\begin{array}{c}{R}_{1g,\mathrm{side}}^T\\ R_{2g,\mathrm{side}}^T\\ R_{3g,\mathrm{side}}^T\end{array}\right],$ $R_{g,\mathrm{side}}=\left[\begin{array}{c}{R}_{1g,\mathrm{side}}\\ R_{2g,\mathrm{side}}\\ R_{3g,\mathrm{side}}\end{array}\right];$再对Face_s中的任一面片facet＝(pt₁pt₂pt₃)^T，设ms_proj＝Δ(ps₁，ps₂，ps₃)， ${\mathrm{ps}}_{\mathrm{iT}2}={\left[\begin{array}{cc}{x}_{\mathrm{side}}^{{\mathrm{pt}}_{\mathrm{iT}2}}& y_{\mathrm{side}}^{{\mathrm{pt}}_{\mathrm{iT}2}}\end{array}\right]}^T$，iT2＝1，2，3；再对三角形m_cyn内的点[lglt]按下式计算[xsys]： $\left[\begin{array}{c}\mathrm{xs}\\ \mathrm{ys}\\ 1\end{array}\right]={\left[\begin{array}{ccc}{\mathrm{as}}_1& {\mathrm{as}}_2& {\mathrm{as}}_3\\ {\mathrm{as}}_4& {\mathrm{as}}_5& {\mathrm{as}}_6\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}\lg \\ \mathrm{lt}\\ 1\end{array}\right];$as₁～as₆由下式求出：再令侧面纹理图 $I_{\mathrm{Textur}{e}_{\mathrm{side}}}(1g,\mathrm{lt})=I_{L,\mathrm{side}}(\mathrm{xs},\mathrm{ys});$(5.4)，反射侧面纹理图以得到另一侧的纹理图，这是因为Face_s的拓扑结构是完全对称的；设：直接获得纹理的那一侧脸上的任一三角面片m_cyn＝Δ(p₁，p₂，p₃)，它在另一侧脸上的对称面片是m_cyn′＝Δ(p₁′，p₂′，p₃′)，其中 $p_{\mathrm{iT}3}={\left[\begin{array}{cc}{\lg }_{{\mathrm{pt}}_{\mathrm{iT}3}}& {\mathrm{lt}}_{{\mathrm{pt}}_{\mathrm{iT}3}}\end{array}\right]}^T$ $,{p_{\mathrm{iT}3}}^{\prime }={\left[\begin{array}{cc}{\lg }_{{\mathrm{pt}}_{\mathrm{iT}3}}^{\prime }& {\mathrm{lt}}_{{\mathrm{pt}}_{\mathrm{iT}3}}^{\prime }\end{array}\right]}^T,$iT3＝1，2，3；对m_cyn中的任一点p＝(lglt)^T按下式计算[lg′lt′]， $\left[\begin{array}{c}{\lg }^{\prime }\\ {\mathrm{lt}}^{\prime }\\ 1\end{array}\right]={\left[\begin{array}{ccc}{\mathrm{rs}}_1& {\mathrm{rs}}_2& {\mathrm{rs}}_3\\ {\mathrm{rs}}_4& {\mathrm{rs}}_5& {\mathrm{rs}}_6\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}\lg \\ \mathrm{lt}\\ 1\end{array}\right];$rs₁～rs₆按下式求出：再从直接有纹理的一侧反射生成另一侧： $I_{\mathrm{Textur}{e}_{\mathrm{side}}}(l{g}^{\prime },l{t}^{\prime })=I_{{\mathrm{Texture}}_{\mathrm{side}}}(\lg ,\mathrm{lt});$(5.5)，正面的和侧面的纹理图的融合，得到最终纹理图Texture_s；设定阈值lg_min和lg_max，Texture_s在任一位置Cyn＝(lglt)^T处的取值按下式给出：