一种人脸表情的识别方法

摘要

本发明一种人脸表情的识别方法，涉及用于识别图形的方法，是一种使用中心对称三值模式(Center Symmetrical Ternary Patterns，以下简称CSTP)算法提取表情纹理特征的人脸表情的识别方法，步骤是：人脸表情图像预处理；提取每一人脸表情图像的子块上的人脸表情纹理特征；确定人脸表情图像最终的人脸表情纹理特征；完成人脸表情的识别。本发明方法克服了现有技术识别背景复杂导致的纹理描述不精细，识别率不高的缺陷。

主权项

一种人脸表情的识别方法，其特征在于：是一种使用CSTP算法提取人脸表情纹理特征的人脸表情的识别方法，具体步骤如下：第一步，人脸表情图像预处理：采用已经进行了人脸检测和几何归一化的人脸表情库中的人脸表情图像，并在原数据库上应用如下的公式(1)进行高斯滤波处理，由此完成人脸表情图像预处理，$G(x,y)=\frac{1}{2{\mathrm{\pi \sigma }}^2}{e}^{-\frac{x^2+y^2}{2{\sigma }^2}}---\left(1\right),$其中(x,y)是像素点坐标，σ是方差；第二步，提取每一人脸表情图像的子块上的人脸表情纹理特征：对第一步预处理完成的人脸表情图像进行分块，将其分成5×5个非重叠的子块，利用CSTP算法提取每一人脸表情图像子块上的人脸表情纹理特征，步骤如下；(1)计算在(P，R)邻域内关于中心像素对称的像素对差Δg_i：Δg_i＝g_i‑g_i+P/2,i＝0,1,…,P/2‑1   (2)，其中，g是像素，P是周围邻域个数，R是半径，R＝2；(2)统计该(P，R)邻域的像素对差的均值$\overline{{\mathrm{\Delta g}}_i}=\left(\underset{i=0}{\overset{P/2-1}{\Sigma }}{\mathrm{\Delta g}}_i\right)/(P/2)---\left(3\right);$(3)设定上限值U和下限值L：$U=\overline{{\mathrm{\Delta g}}_i}*(1+t)---\left(4\right),$$L=\overline{{\mathrm{\Delta g}}_i}*(1-t)---\left(5\right),$其中，t为阈值参数，是经验值，t∈(0,1)，t随光照的变化而调整；(4)提取每一像素的CSTP人脸表情纹理特征：${\mathrm{CSTP}}_{P,R}=\underset{i=0}{\overset{P/2-1}{\Sigma }}{2}^i·S({\mathrm{\Delta g}}_i,U,L)---\left(6\right),$其中，$S({\mathrm{\Delta g}}_i,U,L)=\left\{\begin{array}{c}1,{\mathrm{\Delta g}}_i>U\\ 0,L\le {\mathrm{\Delta g}}_i\le U\\ -1,{\mathrm{\Delta g}}_i<L\end{array}\right.---\left(7\right);$CSTP的编码过程是，从左上角顺时针起，当周围像素点的灰度值g_i与以中心像素为对称的g_i+P/2的差值Δg_i大于U，则该位编码为1，当Δg_i小于L，则该位编码为‑1；把编码中的所有“‑1”清为“0”，称为正模式，把编码中的“1”清为“0”，然后把“‑1”置为“1”，称为负模式，在完成正、负两个模式的编码后对正负模式进行相应的“或”运算，每个子块内的每一像素都进行CSTP的特征提取，即提取每一像素的CSTP人脸表情纹理特征，统计每个子块的CSTP直方图H就是提取的每一人脸表情图像子块上的人脸表情纹理特征；第三步，确定人脸表情图像最终的人脸表情纹理特征：(1)计算第二步中的每一人脸表情图像子块的信息熵E_j：$E_j=-\underset{i=0}{\overset{m-1}{\Sigma }}{P}_j^i{\mathrm{logP}}_j^i---\left(8\right),$其中，表示第j个子块第i级像素出现的概率，m代表级数，取256；(2)计算每一人脸表情图像子块的权值W_j：$W_j=E_j/\underset{j=0}{\overset{n-1}{\Sigma }}{E}_j---\left(9\right),$其中，n为每一人脸表情图像子块个数；(3)计算每一人脸表情图像各个子块加权后的直方图向量其中H_j是利用第二步提取的每一人脸表情图像第j个子块的直方图；串联每一人脸表情图像各个子块加权后的直方图向量作为最终的人脸表情纹理特征；第四步，完成人脸表情的识别：采用SVM Kernel Methods工具箱训练SVM分类器，具体流程如下：(1)输入训练样本和测试样本提取到的人脸表情纹理特征，该人脸表情纹理特征是经过上面的第二步和第三步后所得，根据这些人脸表情纹理特征样本构造出训练样本人脸表情纹理特征矩阵和测试样本人脸表情纹理特征矩阵分别对应的训练和测试类别样本矩阵，类别样本矩阵中的值为样本的分类类别；(2)针对局部人脸表情纹理特征采用高斯核函数，核数设为8，拉格朗日因子c＝100，二次最优方法的调节参数λ＝10^‑7，首先将训练样本人脸表情纹理特征矩阵和训练类别样本矩阵送入svmmulticlassoneagainstall函数得到支持向量、权重和偏置，再将训练样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行训练，最后将测试样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行预测，由此完成人脸表情的识别，在JAFFE库中实验得到生气、厌恶、害怕、高兴、中性、伤心和惊讶7种表情，而CMU‑AMP库中实验得到生气、高兴和惊讶3种表情，由此完成人脸表情的识别。