一种通用三维人脸模型的调整方法

摘要

一种通用三维人脸模型的调整方法，属于计算机图像处理技术领域，主要涉及到生物特征识别中个的三维人脸识别技术中的三维人脸重建技术。本发明基于通用三维人脸模型，利用两张正交的二维人脸图像，通过估算两张正交人脸图像中人脸特征点的三维坐标来调整三维人脸模型，最终得到三维特定人脸模型。本发明将主动形状模型、Procrustes分析和人脸的对称性结构特征应用到通用三维人脸模型的调整过程中。用主动形状模型估计脸部特征点，然后通过Procrustes分析和人脸的对称性结构特征来调整三维人脸模型。与一般的基于图像的方法相比较而言，本发明中的方法不仅提高了模型调整的准确性，并且速度也在一定程度上有所提高，在基于图像的三维人脸重建中具有很强的通用性。

主权项

1、一种通用三维人脸模型的人脸模型调整方法，包括下述步骤：步骤1：对采集的两张正交人脸图像分别进行基于肤色模型的人脸检测；首先利用肤色像素的连通性分割区域，然后使用椭圆拟合各个区域，根据椭圆长短轴的比例判断其是否为人脸区域；。步骤2：人脸关键特征点定位；对步骤1中检测到的两张正交人脸图像的人脸区域，采用主动形状模型进行人脸关键特征点的定位，具体包括以下分步骤：步骤2-1：对人脸图像库中的每张人脸图像进行特征点手工标定，得到每张人脸图像的特征点向量，即一个形状样本；所有人脸图像的特征点向量组成一个特征点矩阵，即形状样本集；步骤2-2：形状样本集的对齐；用Procrustes方法来对齐形状样本集中的所有形状样本；步骤2-3：形状模型的建立；对所有对齐后的形状样本做主成分分析，得到形状的变化从而建立形状模型；步骤2-4：局部灰度模型的建立；为形状模型上的每个点建立局部灰度导数模型；步骤2-5：基于步骤2-3所得的形状模型和步骤2-4所得的局部灰度模型组成的主动形状模型，对步骤1所得的人脸区域进行人脸特征点定位；步骤3：人脸特征点三维坐标的获取；由步骤2-5所得的正面人脸图像的人脸特征点坐标为Xf＝[xf，yf]T，侧面人脸图像的相应人脸特征点坐标为Xp＝[yp，zp]T；因为正面输入图像和侧面输入图像是正交图像，有yf＝yp，所以得到该人脸特征点的三维坐标为Pi＝[xf，yf，zp]T；步骤4：对通用三维人脸模型进行全局调整；首先针对正面人脸图像进行全局调整；通过旋转、平移、缩放三种变换，使通用三维人脸模型上与人脸特征点相对应的顶点在x-y平面上的投影与输入人脸图像中估计到的人脸特征点相吻合；N个人脸特征点的三维坐标数据组成一个N×3的矩阵PI，通用三维人脸模型上与人脸特征点相对应的N个顶点的三维坐标数据组成一个N×3的矩阵PM；具体包括以下分步骤：步骤4-1：中心化PI和PM；对PI和PM矩阵的每一列求平均值，然后将PI和PM中的每一个元素减去该元素所在列的平均值，得到中心化矩阵P′I和P′M；步骤4-2：归一化P′I和P′M，得到归一化矩阵P″I和P″M；步骤4-3：令A＝P″ITP″M，对矩阵A进行奇异值分解，得到A＝USVT的形式，其中U为n阶正交阵，V为n阶正交阵，S是由A的奇异值所组成的对角阵；步骤4-4：计算旋转矩阵R＝VUT；步骤4-5：计算缩放因子S＝∑S×||P″I||/||P″M||，其中||·||表示矩阵求模运算；步骤4-6：计算平移向量T＝E(P″I)-S·E(P″M)·R；步骤4-7：采用缩放因子S、旋转矩阵R和平移向量T来调整通用三维人脸模型上的所有顶点，得到全局调整后的通用三维人脸模型顶点矩阵P，具体全局调整公式为P＝S·PM·R+T；然后针对侧面人脸图像进行全局调整。通过旋转、平移、缩放三种变换，使通用三维人脸模型上与人脸特征点相对应的顶点在y-z平面上的投影与输入人脸图像中估计到的人脸特征点相吻合，具体方法如步骤4-1至步骤4-7；步骤5：对通用三维人脸模型进行局部调整；为了使通用三维人脸模型更加接近三维特定人脸模型，需要对全局调整过后的模型进行局部调整；模型的局部调整是对人脸中关键器官的调整，包括正面人脸图像中关键器官的调整和侧面人脸图像中关键器官的调整；首先对正面人脸图像中关键器官进行调整，具体包括以下分步骤：步骤5-1：眼睛的局部调整；将全局调整过的通用三维人脸模型旋转到标准正面，然后将模型投影到x-y平面上；设通用三维人脸模型上左眼睛的左眼角顶点p1在x-y平面上的投影坐标为(x1，y1)，模型上右眼睛的右眼角的顶点p2在x-y平面上的投影坐标为(x2，y2)；由人脸眼睛的构造特征，左眼睛的左眼角的y坐标应该和右眼睛的右眼角的顶点的y坐标相等，因此可以将p1，p2点的坐标调整为(x1，(y1+y2)/2)和(x2，(y1+y2)/2)；按照上述方法，调整模型上其它眼睛顶点的坐标；步骤5-2：嘴巴和鼻子的调整；由人脸的对称性可知，在通用三维人脸模型中，与嘴巴和鼻子特征点相对应的模型顶点在x-y平面上的投影以x＝(x1+x2)/2为对称轴，其中x1，x2分别为三维人脸模型上左眼睛的左眼角的顶点的横坐标，模型上右眼睛的右眼角的顶点的横坐标；设模型上任意一个嘴巴顶点m1在x-y平面上的投影坐标为(x3，y3)，在模型上与之相对称的顶点m2在x-y平面上的投影坐标为(x4，y4)，因为m1和m2以x＝(x1+x2)/2为对称，所以顶点m1和m2的坐标应调整为(x1+x2-x4，(y3+y4)/2)和(x4，(y3+y4)/2)；根据投影顶点和投影点之间的几何关系，我们可以调整与m1和m2相对应的模型顶点的坐标；按照上述方法，调整模型上其他嘴巴和鼻子顶点的坐标。