一种减小表情影响的快速三维人脸识别方法

摘要

一种以侧面轮廓线匹配作为排除算法并利用人脸刚性区域进行精确匹配的减小表情影响的快速三维人脸识别方法：首先提取三维人脸模型的鼻尖和内眼角特征点，根据特征点确定人脸对称面，人脸对称面与三维人脸点云的交构成了侧面轮廓线。在测试人脸模型侧面轮廓线上截取有价值侧面轮廓线，将测试人脸模型有价值侧面轮廓线与库集人脸模型用于匹配的侧面轮廓线采用迭代最近点算法匹配，根据匹配结果排除库集中部分不相似模型。然后提取测试人脸第一刚性区域和第二刚性区域，并分别与剩余库集模型匹配区域匹配，匹配采用基于投影和邻域搜索的改进迭代最近点算法，匹配结果采用加法规则融合，最后通过最近邻分类器得出识别结果。

主权项

1、一种减小表情影响的快速三维人脸识别方法，其特征在于该方法的主要步骤如下：步骤1以鼻尖至鼻根之间的测试人脸模型侧面轮廓线线段作为测试人脸模型中的有价值侧面轮廓线，从测试人脸模型中提取测试人脸模型中的有价值侧面轮廓线，从库集模型的各个三维人脸模型中提取用于匹配的侧面轮廓线且该用于匹配的侧面轮廓线覆盖鼻尖至鼻根之间的三维人脸模型侧面轮廓线线段；步骤2使用迭代最近点算法，从库集模型中选择出能与测试人脸模型中的有价值侧面轮廓线相匹配的库集模型中的三维人脸模型，组成剩余库集模型；步骤3从库集模型的各个三维人脸模型中提取出匹配区域，该匹配区域为以鼻尖为球心的球所包含的人脸区域，再利用剩余库集模型中的三维人脸模型的索引，从所提取出的匹配区域中，选取出属于剩余库集模型中的三维人脸模型的匹配区域，组成剩余库集模型匹配区域；步骤4从测试人脸模型中切割第一刚性区域和第二刚性区域，所述的第一刚性区域为包含鼻子的区域，所述的第二刚性区域由两眼之间的区域以及与两眼之间区域相连的部分额头区域、部分鼻子区域组成；步骤5将第一刚性区域与剩余库集模型匹配区域中第一个模型匹配区域相匹配，得到第11匹配结果d₁₁，将第二刚性区域与剩余库集模型匹配区域中第一个模型匹配区域相匹配，得到第21匹配结果d₂₁，将第一刚性区域的匹配结果d₁₁与第二刚性区域的匹配结果d₂₁采用加法规则融和，得到测试模型与剩余库集模型中的第一个模型的匹配结果d₁；将第一刚性区域与剩余库集模型匹配区域中第二个模型匹配区域相匹配，得到第12匹配结果d₁₂，将第二刚性区域与剩余库集模型匹配区域中第二个模型匹配区域相匹配，得到第22匹配结果d₂₂，将第一刚性区域的匹配结果d₁₂与第二刚性区域的匹配结果d₂₂采用加法规则融和，得到测试模型与剩余库集模型中的第二个模型的匹配结果d₂；依此类推，将第一刚性区域与剩余库集模型匹配区域中第n′个模型匹配区域相匹配，得到第1n′匹配结果d_1n′,将第二刚性区域与剩余库集模型匹配区域中第n′个模型匹配区域相匹配，得到第2n′匹配结果d_2n′’，将第一刚性区域的匹配结果d_1n′与第二刚性区域的匹配结果d_2n′采用加法规则融和，得到测试模型与剩余库集模型中的第n′个模型的匹配结果d_n′，其中，n′为剩余库集模型中的模型个数，第一刚性区域与剩余库集模型匹配区域中的各个模型匹配区域相匹配的匹配方法，与第二刚性区域与剩余库集模型匹配区域中的各个模型匹配区域相匹配的匹配方法采用相同的匹配方法并得到相应的匹配结果，该相同的匹配方法为：(1)在测试人脸模型中取点集$P_i^k\in P,$$P_i^k=\left[p_i^k\right]={[x_{p_i^k},y_{p_i^k},z_{p_i^k}]}^T,$i＝1，2，...，n_p，分别表示点集p_i^k中的点p_i^k的坐标值，上标k表示第k次迭代，k≥1，n_p表示点集p_i^k中点的个数，P为主轴坐标系下的测试人脸模型的点集，所述的主轴坐标系以鼻尖为原点O，以人脸的朝向轴为z轴，以位于人脸对称平面内且与朝向轴垂直的轴为y轴，以垂直于对称平面的轴为x轴，(2)采用基于映射和邻域搜索相结合的搜索算法查找库集模型点云中的对应点$G_j^k\in G,$使得||G_j^k-P_i^k||最小，并组成对应点对{(p_i^k，g_j^k)}，共n_p对，其中，$G_j^k=\left[g_j^k\right]={[x_{g_j^k},y_{g_j^k},z_{g_j^k}]}^T,$j＝1，2，...，n_g，分别表示点集G_j^k中的点g_j^k的坐标值，n_g表示点集G_j^k中点的个数，G为主轴坐标系下的库集人脸模型的点集，||·||为欧氏范数，(3)利用(2)中得到的对应点对集合，计算最优的旋转矩阵R^k和平移向量T^k，使得目标函数：$f(R^k,T^k)=\underset{i=1}{\overset{n_p}{\Sigma }}\left|\right|R^k{P}_i^k+T^k-G_j^k\left|\right|$最小，(4)利用(3)得到的最优的旋转矩阵R^k和平移向量T^k更新测试模型点集P_i^k为P_i^k+1：$P_i^{k+1}=R^k{P}_i^k+T^k,$(5)计算P_i^k+1和G_j^k之间的对应点对的平均距离d^k+1：$d^{k+1}=\left(\underset{i=1}{\overset{n_p}{\Sigma }}\right||p_i^{k+1}-g_j^k|\left|\right)/n_p,$(6)如果d^k-d^k+1不小于给定的阈值τ，该阈值τ为0.01，令d^k＝d^k+1，$P_i^k=P_i^{k+1},$返回(2)，直至d^k-d^k+1＜τ为止，以此距离d^k+1为最近点平均距离，并以此最近点平均距离d^k+1为匹配结果，为使第一次迭代顺利进行，应为初始对应点对的平均距离d¹设定初值，设为d¹＝100mm，所述的用于查找库集模型点云中的对应点$G_j^k\in G$的基于映射和邻域搜索相结合的搜索算法为：(1)主轴坐标系下的测试人脸模型的点集为$P_i^k=\left[p_i^k\right]={[x_{p_i^k},y_{p_i^k},z_{p_i^k}]}^T,$i＝1，2，...n_p，n_p表示点集P_i^k中的点P_i^k的个数，主轴坐标系下的库集人脸模型的点集为$G_j^k=\left[g_j^k\right]={[x_{g_j^k},y_{g_j^k},z_{g_j^k}]}^T,$j＝1，2，...n_g，n_g表示点集G_j^k中的点g_j^k的个数，(2)点集P_i^k和G_j^k在主轴坐标系下的xoy平面上的投影分别为${P_i^k}^{\prime }=\left[{p_i^k}^{\prime }\right]={[x_{p_i^k},y_{p_i^k}]}^T,$${G_j^k}^{\prime }=\left[{g_j^k}^{\prime }\right]={[x_{g_j^k},y_{g_j^k}]}^T,$i＝1，2，...n_p，j＝1，2，...n_g，p_i^k′表示点p_i^k在xoy平面上的投影点，g_j^k′表示点g_j^k在xoy平面上的投影点，对投影P_i^k′、G_j^k′栅格化，定义围绕在p_i^k′周围的3*3的方格为p_i^k′的邻域V(p_i^k′)，G_j^k′中的搜索邻域V′(g_j^k ′)定义为围绕在g_j^k′周围的5*5的方格，(3)采用全局搜索法搜索出点集P_i^k中的第一个点在点集G_j^k中的距离最近的点，组成第一组对应点对，所述的全局搜索法为：对点集P_i^k中的一个点p_m^k，m＝1，2，....，n_p，计算其与点集G_j^k中每个点的距离，以距离最小的点g_j′^k作为最近点，组成一组对应点对(p_m^k，g_j′^k)，1≤j′≤n_g，(4)点集P_i^k中此后的每个点p_i^k在G_j^k中的最近点g_j^k的搜索方法为：判断投影点p_i^k′是否位于投影点p_i-1^k′的邻域V(p_i-1^k′)之中，当投影点p_i^k′位于投影点p_i-1^k′的邻域V(p_i-1^k′)中时，在p_i-1^k的对应点g_j-1^k的投影点g_j-1^k′的邻域V(g_j-1^k′)所对应的三维空间的点集中寻找与p_i^k距离最小的点g_j^k，并与p_i^k组成对应点对(p_i^k，g_j^k)；当投影点p_i^k′位于投影点p_i-1^k′的邻域V(p_i-1^k′)之外时，采用全局搜索法搜索邻域搜索法未能搜索到的p_i^k的G_j^k中最近点；步骤6采用最近邻分类器，从步骤5得到的匹配结果中选出相似度最高的一个作为三维人脸识别的结果，其中，以最近点平均距离作为相似性度量，认为最近点平均距离小的相似性高，最近点平均距离大的相似性低。