多模态信息结合的多姿态三维人脸面部五官标志点定位方法

摘要

本发明公开了一种多模态信息结合的多姿态三维人脸面部五官标志点定位方法，用于解决现有的多姿态三维人脸面部五官标志点定位方法对姿态鲁棒性差的技术问题。技术方案是采用多模态信息结合进行三维人脸面部五官标志点定位，借助二维图像中五官结构轮廓清晰和三维人脸模型中五官标志区域凹凸分明的优势，能够不用预先对人脸模型的姿态进行估计和补偿，从而对姿态有着较强的鲁棒性，对正面三维人脸模型的五官标志点平均定位准确率达到98.5％，对姿态变化较小人脸模型，定位准确率由背景技术的88.3％提高到91.6％；对于姿态变化较大的人脸模型，本发明具有显著的优越性，定位准确率由背景技术的57.5％提高到73.5％。

主权项

1.一种多模态信息结合的多姿态三维人脸面部五官标志点定位方法，其特征在于包括下述步骤：(a)对人脸二维纹理图像进行特征点检测，将每幅人脸二维纹理图像对由前视位置绕相机光轴方向变化产生的图像形变失真进行精确仿真，倾斜转换度由定向的t子采样，仿真图像依照进行φ旋转，在x方向采用标准偏差的高斯函数对图像进行卷积操作，c＝0.8；式中，φ是相机经度角，θ是相机纬度角；对形变变量通过相机经度角φ和相机纬度角θ调节；对所有仿真图像进行比较，提取出的特征点中抽取最具有代表性的五官特征描述点；(b)将人脸二维纹理图像中检测出的五官特征描述点U＝{u_i∈R²：i＝1，2，…，N}，R²表示二维数据空间，根据相应关系映射到三维人脸模型中；二维图像中非人脸区域内检测出的五官特征描述点在三维人脸数据中对应点的特征值为0，即非人脸区域，将非人脸区域点从三维人脸数据中剔除；对三维人脸模型数据集P{p_i，i＝1，2，...，N}中的每一个顶点p_i，其最大和最小曲率分别表示为和能够描述曲面结构的重要信息，而由最大最小曲率计算出的三维曲面上的脊线和谷线能够较好地描述人脸五官区域的凹凸变化，分别以l_ridge和l_valley表示，其计算原则为：$l_{\mathrm{ridge}}=\{p_i,\mathrm{if}(k_{1_{\mathrm{pi}}}>k_{\mathrm{thresh}1})|p_i\in P\}---\left(1\right)$$l_{\mathrm{valley}}=\{p_i,\mathrm{if}(k_{2_{\mathrm{pi}}}<k_{\mathrm{thresh}2})|p_i\in P\}---\left(2\right)$其中k_thresh1、k_thresh2分别为局部区域的门限曲率，其值由遗传算法计算得出；由以上谷线和脊线的计算原则，能分别得到人脸五官区域位置的谷线和脊线；假设映射到三维空间的面部区域特征点集由表示，在该集合中按照式(1)和(2)计算满足脊线和谷线的点，并保留相应的脊线和谷线；令特征点集P_F内的脊线和谷线分别标记为P_F|ridge，P_F|valley，并将两集合合并为P_F|mark，表示人脸五官的局部突变点集；(c)Step1：分别对不同姿态三维人脸数据集M_f和M_nf的突变点集合P_F|mark^f和P_F|mark^nf中的每一个标志点p_i，F|mark^f，p_j，F|mark^nf，建立形状编码，并比较M_f和M_nf特征点对间的约束关系$R=\{{p_{i,F|\mathrm{mark}}}^f\leftrightarrow {p_{j,F|\mathrm{mark}}}^{\mathrm{nf}}|i,j\in N\};$Step2：对R建立的点对约束，计算P_F|mark^f和P_F|mark^nf各点的匹配误差D(p_i，F|mark^f，p_j，F|mark^nf)，统计出偏差阈值τ；Step3：去除P_F|mark^f和P_F|mark^nf中误差值大于偏差阈值τ的点，建立新的集合P_F|mark^f′和P_F|mark^nf′，转Step2，若相邻两次阈值差小于给定误差值，迭代结束；Step4：P_F|mark^f′和P_F|mark^nf′即是相应人脸数据模型中的五官标志点。