一种人脸表情克隆方法

摘要

本发明一种人脸表情克隆方法，涉及三维(3D)图像的加工，是一种基于运动捕捉数据的人脸表情克隆方法，一、预先捕捉一系列人脸面部运动序列；二、人脸面部生气、厌恶、恐惧、高兴、悲伤和吃惊六个基本表情信息的运动捕捉；三、对运动捕捉到的人脸面部六个基本表情信息进行处理；四、构建源面部和目标面部关键模型；五、选取四十一个人脸面部特征点；六、人脸表情的转移；七、生成人脸克隆表情。本发明克服了现有技术中均一权值保真度低和余切权值计算不稳定的问题以及运动捕捉设备有较高的要求和处理速度较慢的缺陷。

主权项

一种人脸表情克隆方法，其特征在于：是一种基于运动捕捉数据的人脸表情克隆方法，步骤如下：第一步，预先捕捉一系列人脸面部运动序列：先利用运动捕捉设备捕捉表演者的面部肌肉活动，收集人脸面部特征点的原始数据，即特征点的位置关系；第二步，人脸面部六个基本表情信息的运动捕捉：利用运动捕捉设备记录表演者的人脸面部六个基本表情的信息，即生气、厌恶、恐惧、高兴、悲伤和吃惊的信息；第三步，对运动捕捉到的人脸面部六个基本表情信息进行处理：(1)原始数据标记标号：对人脸面部特征点的原始数据进行标记标号，生成统一的人脸面部特征点模板，进而在每个人脸面部特征点附近生成局部坐标的相关信息；(2)数据清理：上述(1)中的统一的人脸面部特征点模板提供了相邻人脸面部特征点的位置、坐标以及单个人脸面部特征点的活动范围信息，利用上述(1)中的局部坐标关系对丢失的人脸面部特征点进行数据清理；(3)间隙填充：上述(1)中生成的局部坐标相对人脸的前额、鼻尖或者下巴的位置关系不变，将局部坐标看作静止参考点，根据三点确定一个平面的定理，通过静止参考点以及局部三个人脸面部特征点，四个标记作为一组坐标来估计和确定丢失人脸面部特征点的间隙位置信息；(4)数据归一化：在捕捉过程中，对于丢失的人脸面部特征点，通过上面的数据清理和间隙填充达到数据归一化；第四步，构建源面部和目标面部关键模型：首先确定一组源模型的生气、厌恶、恐惧、高兴、悲伤和吃惊这六种强烈表情为关键表情，然后通过变形源人脸模型和目标模型各自带有的中性表情的基本模型来产生它们的各自带有的关键表情的关键模型；第五步，选取四十一个人脸面部特征点：按照MPEG‑4标准，在人脸关键表情区域标记四十一个人脸面部特征点，其中四十一个人脸面部特征点需要在人脸表情突出部位周围选取，就是在前额、左眉、左上眼睑、右眉、右上眼睑、左下眼睑、左脸、鼻子、右下眼睑、右脸、上嘴唇、下巴和下嘴唇这些表现人脸表情的关键特征区域进行选点；第六步，人脸表情的转移(1)对第四步中确定的每一种关键表情通过计算源模型人脸面部特征点的位移来参数化目标模型人脸面部特征点的位移向量：在源基本模型上交互地选择四十一个人脸面部特征点，然后提取它们到生气、厌恶、恐惧、高兴、悲伤和吃惊这六个源关键模型的位移，连接这些位移，形成每个源关键模型的位移向量来参数化对应的目标关键模型，标记人脸面部特征点时，只在源基本模型上标记，其它关键模型的这些人脸面部特征点可以根据它们与源基本模型的顶点对应关系来自动确定，当参数空间的维数远远高于目标关键模型的维数时，要采用主成分分析方法，即PCA方法，进行降维；(2)将全局坐标变成拉普拉斯坐标：全局坐标是位于全局坐标系中的坐标，拉普拉斯坐标为顶点与其邻接顶点坐标加权和的差，对每个i＝1,2,...,n，定义N(i)为顶点v_i所有邻接点的集合，d_i为集合N(i)中元素的个数，拉普拉斯坐标可以表示为：${\delta }_i=({\delta }_i^x,{\delta }_i^y,{\delta }_i^z)=v_i-\frac{1}{d_i}\underset{j\in N\left(i\right)}{\Sigma }{v}_j;$第七步，生成人脸克隆表情：目标模型的坐标表示为：$\tilde{V}=\underset{V}{\arg \min }({\left|\right|\mathrm{LV}-\delta \left|\right|}^2+\underset{j=1}{\overset{m}{\Sigma }}{w}_j^2{|v_j-c_j|}^2),$其中，为目标模型表情克隆后的所有顶点坐标，V为初始坐标，δ为V对应的拉普拉斯坐标，w_j为顶点v_j的权重，c_j为目标模型上第j个人脸面部特征点，采用最小二乘法，求解这个能量方程，当误差函数最小时，求得目标模型的坐标，生成人脸克隆表情。