一种基于三维模型重建的人脸身份认证方法

摘要

本发明公开了一种基于三维模型重建的人脸身份认证方法，本方法分别从身份证照片和实时视频中重建三维人脸模型并进行三维几何特征匹配的策略来实现实时人脸身份认证。包括(1)采用基于三维形变基的非线性优化算法从身份证照片中重建三维人脸模型。(2)采用从运动中恢复非刚体三维形状方法从实时视频中重建三维人脸模型。(3)采用几何特征的三维人脸匹配认证。本发明可以支持用户用第二代身份证和人脸的一段视频来进行身份认证，大大提高了比对的精确性和效率，使得使用计算机进行人像比对成为一种可行的技术。

主权项

1.一种基于三维模型重建的人脸身份认证方法，其特征在于，包括以下步骤：步骤一，基于三维形变基的非线性优化法由身份证照片重建三维人脸模型；步骤二，采用从运动恢复非刚性物体三维形状NSfM方法由视频重建三维人脸模型；步骤三，采用几何特征匹配进行三维人脸身份认证；步骤一包括以下步骤：步骤（11），从身份证照片中定位人脸区域，并在定位人脸区域的基础上定位人脸特征点，得到身份证照片中人脸的二维形状特征点集s_ID；步骤（12），采用非刚体形状和运动估计方法构建三维形变基B；步骤（13），使用非线性优化算法求解三维形变基B的参数；步骤（12）中所述的非刚体形状和运动估计方法构建三维形变基具体包括以下步骤：步骤（121），对人脸图像库中选取的F幅人脸图像定位人脸特征点，得到每一幅人脸图像对应的二维形状特征点集s_train；步骤（122），将人脸图像库中的F幅人脸图像上所有的二维形状特征点集s_train进行拼接，得到人脸图像库的二维跟踪矩阵W；步骤（123），对二维跟踪矩阵W利用奇异值分解的方法得到一个姿态矩阵M及三维形状基矩阵步骤（124），根据正交旋转约束利用最小二乘法求出矫正矩阵G；步骤（125），根据矫正矩阵G利用求出三维形变基B；步骤（13）中非线性优化算法求解三维形变基参数过程具体包括以下步骤：步骤（131），通过摄像机定标获得摄像机内部矩阵A；步骤（132），非线性优化求解旋转矩阵R、平移矩阵T和形变基系数p；所述步骤（132）包括以下步骤：步骤（1321），对旋转矩阵R，平移矩阵T和形变基系数p进行初始赋值；步骤（1322），根据内部矩阵A、旋转矩阵R，平移矩阵T和形变基系数p计算身份证照片中人脸三维模型，并将其投影到二维平面，得到身份证照片人脸二维形状特征点集s′；步骤（1323），计算二维平面投影点与步骤（11）从身份证照片中获取的特征点集s_ID之间的欧氏距离，如果距离小于阈值σ，则非线性优化迭代算法终止输出三维形变基参数，否则转步骤（1324）；步骤（1324），计算雅克比矩阵$J=\left[\begin{array}{c}\frac{{\mathrm{\delta s}}^{\prime }}{\mathrm{\delta R}},\frac{{\mathrm{\delta s}}^{\prime }}{\mathrm{\delta T}},\frac{{\mathrm{\delta s}}^{\prime }}{\mathrm{\delta p}}\end{array}\right],$更新模型参数$[R,T,p]=[R,T,p]-\frac{J^T{s}^{\prime }}{J^{T}J},$转步骤（1322）；步骤二包括以下步骤：步骤（21），跟踪定位视频中的人脸特征点：对视频中的每一帧进行人脸区域定位，并在定位的基础上对视频中的每一帧图像跟踪定位人脸特征点，得到每一帧人脸图像对应的二维形状特征点集s_video；步骤（22），人脸模型向量化：将多帧人脸视频中得到的人脸特征点用向量的方式表示，对视频中人脸进行三维人脸模型建模；步骤（23），求解三维人脸模型参数：循环迭代计算所述三维人脸模型参数；步骤（21）采用结合卢卡斯光流跟踪算法的主动形状模型跟踪定位视频中人脸特征点，具体包括以下步骤：步骤（211），如果是视频的第一帧，利用主动形状模型特征点定位方法定位该帧人脸图像的二维形状特征点集，转下一帧；步骤（212），根据上一帧定位的二维形状特征点集s_before，利用帧差法在视频中的人脸区域内寻找适合光流跟踪的特征点，得到点集s_op；步骤（213），在当前帧中，用特征点跟踪算法，计算跟踪成功的特征点s_op；步骤（214），除去光流跟踪失败的点，由点集s_op和特征点s_op拟合出仿射变换参数aff和变换参数b；其中仿射变换参数aff为3*3的旋转矩阵，变换参数b为2*1的平移矩阵；步骤（215），由上一帧的定位的二维形状特征点集s_before，得到当前帧在仿射变换(aff，b)作用下的对应二维形状特征点集s₁；步骤（216），将s₁作为当前帧的初始形状，根据ASM特征点定位算法得到当前帧的最后二维形状特征s_video；步骤（217），判断当前帧是否为视频的最后一帧，如果是最后一帧则算法结束，否则令二维形状特征点集s_video作为下一帧输入即s_before＝s_video，转步骤（212）；步骤三包括以下步骤：步骤（31），基于特征点的人脸几何特征提取：对步骤一和步骤二中重建的三维人脸模型根据三维人脸模型上的特征点分别计算两个三维人脸的几何特征；步骤（32），计算两个三维人脸几何特征的相似度Sim；步骤（33），比较相似度Sim与预设定阈值α的大小关系，如果相似度Sim大于阈值α则认为两者是不同人脸，否则认为两者是相同的人脸。