基于测地距的径向基函数人脸表情重定向与动画方法

摘要

本发明公开了一种基于运动捕捉数据的人脸表情重定向和动画算法。通过建立一个基于测地距的径向基函数人脸表情的重定向模型，实现了从运动捕捉数据空间到目标人脸模型运动空间的转换，在转换的过程中考虑了人脸网格的结构，着重解决了使用径向基函数进行空间转换过程中全局性问题。在人脸表情动画阶段，利用了空间转换的结果，使用基于测地距径向基函数的人脸变形模型，对运动数据进行插值，获取整个模型的变形结果。本发明可将同一个捕捉序列应用到不同的人脸模型，模型转换比较容易，同时针对不同的捕捉序列也可用于同一个目标模型，实现了运动捕捉数据的重用，同时也具有较强的动画真实感。

主权项

基于测地距的径向基函数人脸表情重定向与动画方法，其特征在于：第一步：首帧运动捕捉数据的预处理，其包括以下3个步骤：步骤1：导入一个表情运动捕捉序列，提取首帧运动捕捉序列，对首帧序列中的标记点位置进行三角剖分，形成一个首帧序列的三角网格；步骤2：根据人脸的语义特征，在首帧序列的三角网格中，去除眼睛及嘴部区域的伪关联；步骤3：依据去除伪关联后的首帧序列的三角网格中标记点之间的关联，求解标记点之间的测地距；第二步：构建表情运动重定向模型；建立首帧运动捕捉数据与目标人脸模型标记点之间的映射关系，其可以表示如下所述是首帧运动捕捉序列中的标记点的空间坐标(x_i,y_i,z_i)；所述x_i，y_i和z_i的单位均为毫米；是首帧序列中两个标记点之间的测地距，所述测地距单位是毫米；w_j是待求的权值系数；n是标记点的个数，所述n是一个整数，根据初始设置的标记点个数其值为60；是目标人脸模型上第i个标记点的空间坐标(x_i,y_i,z_i)；所述x_i，y_i和z_i的单位均为毫米，1≤i,j≤n；是一个多项式，其是一个仿射变换，在求解公式组成的线性系统时，同时计算该多项式项：若将上述线性系统写成如下矩阵形式：M＝Φ·W,所述M∈R^n+3,3是目标人脸模型上标记点的空间位置矩阵，Φ是基于首帧序列的标记点间测地距的径向基函数组成的矩阵，所述权值矩阵W通过公式下式求出,W＝Φ^‑1M,通过上述权值矩阵的求解公式，得到了首帧序列标记点与目标人脸模型上标记点之间的映射关系,对于第k帧捕捉序列,将公式M＝Φ·W中的Φ换成关于当前帧标记点位置的所述k是表情运动序列的长度，即帧长度；从而可以求得当前帧目标人脸模型上标记点的位置矩阵M；第三步：建立并优化基于测地距的径向基函数目标人脸表情的动画模型，其有以下几个步骤：步骤1：在目标人脸模型上搜索与每个标记点空间上最匹配的顶点，由于目标模型上的标记点是依据原始人脸模型上标记点的位置手动设定的，它与目标人脸模型上的顶点没有直接的关联，在求解目标人脸模型上标记点与顶点之间的测地距之前，要保证所有标记点与顶点在同一个网格上,并且顶点与面片之间的关系已经建立；步骤2：预计算目标人脸模型上顶点和标记点之间的测地距是目标人脸模型上第i个顶点的空间坐标(x_i,y_i,z_i)，所述x_i，y_i和z_i的单位均为毫米；m'_j是目标人脸模型上与第j个标记点最匹配的顶点的空间坐标(x_j,y_j,z_j),所述x_j,y_j和z_j的单位均为毫米；为了保证动画的效率,可以进一步预计算目标人脸模型上标记点和顶点之间的径向函数信息并且所述r为经验值,r＝0.375；所述目标人脸模型上标记点之间的径向基函数信息$r_i={\min }_{i\ne j}\left(\right||m_i^0-m_j^0|\left|\right),$可先行计算，以便于实时求解每一帧的径向基权值矩阵,这里标记点之间的距离是欧式距离；步骤3：针对每一帧的运动数据,在目标人脸模型标记点和当前帧标记点的位移之间构建一个径向基函数训练模型,求解出每一帧的径向基权值矩阵W＝Φ^‑1M₁,Φ使用步骤2中预计算标记点之间的径向基函数以减少实时运算的消耗,M₁为每一帧目标人脸模型上标记点的位移矩阵，这里的位移是将第二步求得的当前帧目标人脸模型上标记点的位置矩阵减去目标人脸模型上标记点的空间位置即得到位移矩阵M₁；步骤4：利用下面的公式建立一个变形模型所述是第k帧运动序列中第i个顶点的位移,该位移用一个三维坐标表示,其中和的单位都是毫米，是步骤2中预计算的目标人脸模型标记点和顶点之间的径向函数信息,是根据步骤3求得的第k帧运动序列的径向基权值矩阵W中提取的权值系数；步骤5：利用下面的公式求出每一帧目标人脸模型上每个顶点的位置$v_i=v_i^k+v_i^0,$所述是目标人脸模型上第i个顶点在初始状态,即静止时的空间位置；是步骤4求得的第k帧运动序列中第i个顶点的位移,v_i就是第k帧运动序列中第i个顶点的空间位置；对于一个运动捕捉序列,重复步骤3到步骤5,即可求出目标人脸模型上每一帧每个顶点的位置,实时更新每个顶点的空间坐标位置就可产生人脸表情动画。