人脸图像匹配方法

摘要

本发明人脸图像匹配方法，涉及图像数据处理，是基于两次SURF和形状上下文的人脸图像匹配方法，利用SURF算法粗匹配得到尺度差和方向差信息，再利用这些信息进行SURF算法精确匹配，对得到的匹配结果用形状上下文算法去除误匹配，步骤是：确定人脸区域；生成重构的积分图像；两次SURF特征匹配；生成形状上下文描述子，去除误匹配，完成人脸图像匹配。本发明方法克服了现有的人脸图像匹配方法中存在特征点少、匹配点少且正确率不高的缺陷。

主权项

人脸图像匹配方法，其特征在于：是基于两次SURF和形状上下文的人脸图像匹配方法，具体步骤如下：第一步，确定人脸区域：输入两幅同一个人的相同大小的人脸图像，将其中一幅有表情、姿态和光照变化的图像作为待匹配图像，另一幅标准正面人脸图像作为模板图像，将待匹配图像和模板图像均进行缩放至模板图像的1/8，然后用一个20×20像素大小的人脸检测搜索框自左向右从上到下对上述两幅图像分别进行扫描，对每一个扫描到的子图像，用OpenCV自带的正面人脸检测器判定其是否为人脸图像，若是，则标记为人脸区域，每次对上述两幅图像分别扫描完一遍，将人脸检测搜索框放大10％，再重新扫描一遍，如此重复，直到人脸检测搜索框扩大到上述图像的一半大小时停止扫描，接着对所有被标记的人脸子图像从RGB转换到YCrCb颜色空间，对其中的每一个像素点的Cr、Cb分量进行肤色验证，验证所用肤色条件如公式(1)所示，133≤Cr≤173∩77≤Cb≤127   (1)，式中Cr、Cb分别代表YCrCb颜色空间中图像的色调和饱和度，将上述扫描的图像中具有40％以上的像素点满足公式(1)的区域确定为人脸区域，即感兴趣区域，再将待匹配图像和模板图像中确定的人脸区域放大8倍，恢复到原始尺寸大小；第二步，生成重构的积分图像：对上述第一步中确定的人脸区域再转换到RGB空间，然后利用公式(2)转换为灰度图像，X＝0.299R+0.587G+0.114B   (2)，上式中，R、G和B分别是RGB空间的红色、绿色和蓝色通道，X表示灰度图像中的灰度值；然后计算灰度图像中每个像素点的显著因子，得到显著因子图，如公式(3)所示，σ(X_c)＝magn×arctan(V/X_c)   (3)，上式中，magn为放大系数，σ(X_c)为人脸图像中的像素点的显著因子，V为人脸图像中像素点X_c与以像素点X_c为中心的八邻域X_i(i＝0,…,7)的灰度差分，计算方法如公式(4)所示，$V={\Sigma }_{i=0}^7(X_i-X_c)---\left(4\right),$将显著因子图左上角原点与该点所构成的矩形区域内所有点的像素值之和作为积分图上该点的像素值，生成重构的积分图像，如公式(5)所示，$IN\left(X_c\right)={\Sigma }_{i=0}^{i\le x}{\Sigma }_{j=0}^{j\le y}\sigma \left(X_c\right)(i,j)---\left(5\right),$上式中IN(X_c)为重构的积分图像中X_c处的像素值，X_c的坐标为(x,y)，IN(X_c)的值等于显著因子图中(0,0)点、(x,0)点、(0,y)点与(x,y)点构成的矩形区域内所有像素值的和；第三步，两次SURF特征匹配：匹配过程首先检测SURF特征并生成描述子，然后进行一次粗匹配得到尺度差和方向差信息，最后再利用这些信息进行一次精确匹配，具体步骤如下：(1)生成SURF描述子：用不同尺寸的盒子滤波模板与上述第二步得到的重构的积分图像求取显著因子图的不同尺度的Hessian矩阵行列式响应图像，之后在这些响应图像上采用3D非极大值抑制进行检测，将具有响应极大值的点确定为特征点，该特征点的尺度为相应响应图像的尺度，设盒子滤波模板大小为L×L像素，初始尺寸L＝9像素，其对应的响应图像尺度s＝1.2，然后依次使用L＝15像素、21像素、27像素的尺寸，分别对应的响应图像尺度s可由公式(6)算出，s＝1.2×L/9   (6)，得到特征点的位置和尺度s后，对每个特征点，在以特征点为中心，6s为半径的圆形区域内对显著因子图用大小为4s×4s像素的Haar小波模板进行响应运算，这里s需四舍五入为整数，然后用一个以特征点为中心，张角为π/3的扇形滑动窗口，围绕特征点以步长0.2弧度进行旋转，每转到一处，统计滑动窗口内图像Haar小波水平方向和垂直方向响应值dx、dy的累加值∑dx+∑dy，具有最大响应累加值的方向作为特征点的主方向，得到主方向后，以特征点为中心沿主方向将20s×20s像素大小的图像划分成4×4个子块，每个子块利用大小为2s×2s像素的Haar模板进行响应值的计算，并对水平方向x和垂直方向y的响应值分别统计其累加和及绝对值累加和∑dx、∑|dx|、∑dy、∑|dy|，形成特征矢量，即SURF描述子，每个特征点共生成4×4×4＝64维的SURF描述子；(2)SURF算法粗匹配：对待匹配图像中的每一个特征点，计算它与模板图像中所有特征点SURF描述子之间的欧氏距离，记录最近邻距离d1和次近邻距离d2，当d1/d2<th1且d1<th2时，将该点与其最近邻记录为一对匹配点，存入初始匹配集，由此完成SURF算法粗匹配，上述th1和th2为预先设定的阈值；(3)SURF算法精确匹配：计算并统计上述(2)步得到的初始匹配集中匹配点对之间的尺度差和角度差，这里所说的尺度为特征点的尺度，角度为特征点主方向，然后计算所有匹配点对尺度差的均值ds和标准差dc，计算角度差的均值dO，将初始匹配集清空，对待匹配图像中每一个特征点计算它与模板图像中所有特征点间的尺度差tds、角度差tdO，待匹配图像与模板图像各部分之间的尺度差和角度差应保持一致，匹配对之间的尺度差和角度差应该落在一定范围内，若tds和tdO满足公式(7)条件，(ds‑1.5dc)<tds<(ds+1.5dc)∩(dO‑π/6)<tdO<(dO+π/6)   (7)，则计算两匹配点之间的欧氏距离，重做上述(2)步SURF算法粗匹配步骤，将得到的匹配点存入匹配集中，如果不满足公式(7)，则跳过该对匹配点，不再计算它们的欧氏距离；第四步，去除误匹配：利用形状上下文算法对上述第三步得到的匹配结果进行误匹配的剔除，具体方法如下：(1)生成形状上下文描述子：将上述第三步中得到的匹配集中属于待匹配图像和模板图像的特征点分别作为两幅图像的采样点，对每个采样点计算并记录所有本图中其它采样点到它的距离、与它所成的角度，然后将距离归一化后分为6个区间，且将角度[0,2π]分为12个区间，这6个距离区间和12个角度区间组成了72个区块，统计落在各个区块中的采样点数目，就生成了72维的形状上下文描述子；(2)剔除误匹配，完成人脸图像匹配：计算第三步中得到的匹配集中每对匹配点间形状上下文描述子的欧氏距离d_sc，求出欧氏距离均值w和标准差f，然后将sc不满足公式(8)的匹配对当作误匹配剔除掉，剩余的匹配集则为最终的匹配集，d_sc≤w+f   (8)，至此完成人脸图像匹配。