一种小样本人脸识别方法

摘要

本发明一种小样本人脸识别方法，涉及应用电子设备进行人脸识别的方法，是一种利用单层多尺度卷积神经网络结构进行多特征融合和分类的人脸识别方法，步骤是：人脸图像预处理；人脸图像多特征图的提取：包括提取一层DWT低频子带图、提取Sobel边缘特征图和提取LBP纹理特征图；利用单层多尺度卷积神经网络结构进行多特征融合；用Softmax分类器预测分类结果，实现人脸识别。本发明克服了现有技术在解决小样本人脸识别问题中，受分类方法的限制，分类识别率不高的缺陷。

主权项

一种小样本人脸识别方法，其特征在于：是一种利用单层多尺度卷积神经网络结构进行多特征融合和分类的人脸识别方法，具体步骤如下：第一步，人脸图像预处理：对从计算机USB接口采集的人脸图像首先由RGB空间转化到灰度空间，得到灰度图像I_gray，采用的公式(1)如下：I_gray＝0.299R+0.587G+0.114B    (1)，其中R、G、B分别是RGB图像的红色、绿色和蓝色通道，然后对得到的灰度图像I_gray进行尺寸归一化到N×N个像素并为该人脸图像设置类别标签f，得到尺寸归一化灰度图像I和类别标签f；第二步，人脸图像多特征图的提取：(2.1)提取一层DWT低频子带图：将上述第一步得到的尺寸归一化灰度图像I经过一层DWT算法变换，分解为4个大小为原来尺寸1/4的子带图，即大小为N/2×N/2像素，分别为DWT低频子带图LL、水平高频子带图LH、垂直高频子带图HL和对角高频子带图HH，提取其中的一层DWT低频子带图I_LL；(2.2)提取Sobel边缘特征图：对上述第一步得到的尺寸归一化灰度图像I中每一个像素点I(x,y)通过Sobel边缘算法的Sobel梯度算子来提取梯度信息S(x,y)，即以该图像像素点(x,y)为中心计算其3×3邻域的x方向偏导数S_x和y方向的偏导数S_y，如以下公式(2)、(3)：$\begin{array}{c}{S}_x=\{I(x+1,y-1)+2I(x+1,y)+I(x+1,y+1)\}-\\ \{I(x-1,y-1)+2I(x-1,y)+I(x-1,y+1)\}\end{array}---\left(2\right),$$\begin{array}{c}{S}_y=\{I(x-1,y-1)+2I(x,y-1)+I(x+1,y-1)\}-\\ \{I(x+1,y+1)+2I(x,y+1)+I(x-1,y+1)\}\end{array}---\left(3\right),$得到梯度S(x,y)为：$S(x,y)=\sqrt{S_x^2+S_y^2}---\left(4\right),$根据上述公式(4)求出尺寸归一化灰度图像I的每个像素的梯度值，得到梯度特征图，将得到的特征图进行2×2的平均采样，提取得Sobel边缘特征图I_Sobel，其大小为N/2×N/2像素；(2.3)提取LBP纹理特征图：对上述第一步得到的尺寸归一化灰度图像I利用LBP算法提取纹理特征图，将尺寸归一化灰度图像I中每一个像素点(x,y)置于3×3窗口W的中心w_c，并以该中心像素为阈值，将相邻的8个像素w_i(i＝1,…,8)的灰度值与其进行比较，若邻域像素值大于中心像素值，则该邻域像素点的位置被标记为1，否则为0，3×3邻域内的8个点经比较可产生8位二进制数码，采用公式(5)转换为十进制数得到该窗口W的中心w_c像素点的LBP值：$LBP\left(w_c\right)=\underset{i=0}{\overset{P-1}{\Sigma }}{2}^i\mathrm{sgn}(w_i-w_c)---\left(5\right),$其中，窗口P＝8，sgn为符号函数，定义如下：$\mathrm{sgn}\left(x\right)=\left\{\begin{array}{cc}1,& ifx>0\\ 0,& else\end{array}\right.---\left(6\right),$遍历尺寸归一化灰度图像I的各个像素点，得到LBP特征图，为了保证在维度上与上述(2.1)步DWT低频子带图LL相同，将得到的LBP特征图进行2×2的平均采样，提取得LBP纹理特征图I_LBP，其大小为N/2×N/2像素；第三步，利用单层多尺度卷积神经网络结构进行多特征融合：将上述第二步中提取的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图输入到单层多尺度卷积神经网络结构中进行训练，该结构包含一个输入层、采样层I和采样层II两个采样层、一个多尺度卷积层以及全连接层I和全连接层II两个全连接层；(3.1)向输入层输入第二步中提取的大小为N/2×N/2像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图与人脸图像的类别标签f；(3.2)采样层I连接输入层，采样层I采用2×2的Max采样方式，用采样层I采样上述(3.1)步中的大小为N/2×N/2像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图后得到大小为N/4×N/4像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图；(3.3)在采样层I后为多尺度卷积层，该层采用四种不同尺度卷积核，分别为2×2、3×3、4×4和5×5，每种尺度包含30种不同参数的卷积核，经卷积后，每种尺度卷积核则对应得到30个不同特征图，共得到120个特征图，将上述(3.2)步得到的大小为N/4×N/4像素的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图的采样结果作为多尺度卷积层的输入，令l^j与uⁱ分别表示第j幅输出特征图与第i幅输入特征图，k^ij为第i个输入特征图与第j个输出特征图的卷积核，b^j为第j个输出特征图的偏置，则卷积操作可表示为l^j＝max(0,b^j+∑_ik^ij*uⁱ)    (7)，(3.4)在多尺度卷积层后为采样层II，经(3.3)步卷积后的特征图通过采样层II进行降维，采样层II采用3×3的Max采样方式，上述(3.3)步得到的120个特征图经过采样层II后被串联成一个特征向量；(3.5)在采样层II后为全连接层，将上述(3.3)步采样层II所串联成的一个特征向量输入全连接层I和全连接层II两个相邻的全连接层，假设分类问题有C个类别，全连接层I的神经元个数设置为4×C，全连接层II的神经元个数设置为2×C，由此全连接层同时实现对特征图的有效降维，经过全连接层得到的的特征向量标记为e；至此完成利用单层多尺度卷积神经网络结构进行的多特征融合；第四步，用Softmax分类器预测分类结果，实现人脸识别：(4.1)将经过上述(3.5)步得到的全连接层的特征向量e输入至C维的Softmax分类器，根据输入的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP三个特征图所对应的类别标签f对Softmax分类器进行有监督的反向传播算法训练，得到Softmax分类器映射关系R＝g(e)，其中R为类别输出，g(﹒)为Softmax分类器建立的从输入到输出的映射；(4.2)特征图依次经过上述第三步的各层后，计算误差函数，然后利用梯度下降法计算最小化误差，从而获得最优的网络权值与偏置，得到最终训练好的单层多尺度卷积神经网络模型；(4.3)在人脸识别过程中，按照上述第一步和第二步方法处理待识别的人脸图像，然后将第二步中提取的DWT低频子带图I_LL、Sobel边缘特征图I_Sobel和LBP纹理特征图I_LBP输入上述训练好的单层多尺度卷积神经网络模型中，进行多特征融合，再利用Softmax分类器预测分类结果，实现人脸识别。