基于部分遮挡图像的人脸表情识别方法

摘要

本发明公开了一种基于部分遮挡图像的人脸表情识别方法，包括如下步骤：1、对已知类别的人脸表情库中包含N类表情的人脸图像进行预处理；2、计算测试集中的待测样本和训练集中的训练样本之间的相似度，得到与待测样本同类别且最近邻图像；3、对待测样本的遮挡部分进行重构；4、提取重构后的待测样本和训练集中的训练样本的PWLD特征；5、使用SVM分类器对测试集中所有待测样本进行分类识别。本发明采用图像匹配的方法，能够有效地重构图像的遮挡部位，避免了只提取非遮挡部分时特征表征不完整的问题，此外本发明采用的三层金字塔结构提取了图像的全局和局部特征，增强了特征表征的精确性。

主权项

一种基于部分遮挡图像的人脸表情识别方法，其特征是按如下步骤进行：步骤1、对已知类别的人脸表情库中包含N类表情的人脸图像进行预处理：用AdaBoost检测人脸算法对所有人脸图像中的人脸区域进行检测，得到人脸图像；再利用双向灰度积分投影法对所检测出的人脸图像进行眼睛定位，并对定位后的人脸图像进行尺度归一化处理，从而获得纯人脸图像集；以所述纯人脸图像集作为样本集，选取一部分样本作为训练集，剩余样本作为测试集；步骤2、计算测试集中的待测样本和训练集中的训练样本之间的相似度，得到与待测样本同类别且最近邻图像；步骤2.1、提取训练集中所有训练样本的LBP特征；步骤2.2、将训练集中属于第k类表情的所有训练样本所提取到的LBP特征用矩阵表示，从而获得N类表情中所有训练样本的LBP特征矩阵$X_{LBP}^k=\left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& ....& x_{0,n-1}\\ x_{1,0}& x_{1,1}& ....& x_{1,n-1}\\ ....& ....& ....& ....\\ x_{m_k-1,0}& x_{m_k-1,1}& ....& x_{m_k-1,n-1}\end{array}\right]$其中，m_k是第k类表情中包含的训练样本个数，n是所有训练样本所提取到的LBP特征维数；表示第k类表情中第m_k‑1个训练样本的第n‑1个LBP特征值；1≤k≤N；步骤2.3、利用式(1)计算第k类表情中所有训练样本的LBP特征均值矩阵从而获得N类表情中所有训练样本的LBP特征均值矩阵${\bar{X}}_{LBP}^k=\{\frac{\underset{i=0}{\overset{m_k-1}{\Sigma }}{x}_{i,0}}{m_k},\frac{\underset{i=0}{\overset{m_k-1}{\Sigma }}{x}_{i,1}}{m_k},...,\frac{\underset{i=0}{\overset{m_k-1}{\Sigma }}{x}_{i,n-1}}{m_k}\}---\left(1\right)$步骤2.4、提取训练集中所有训练样本的LDTP特征；步骤2.5、将训练集中属于第k类表情的所有训练样本所提取到的LDTP特征用矩阵表示，从而获得N类表情中所有训练样本的LDTP特征矩阵$X_{LDTP}^k=\left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& ....& x_{0,q-1}\\ x_{1,0}& x_{1,1}& ....& x_{1,q-1}\\ ....& ....& ....& ....\\ x_{m_k-1,0}& x_{m_k-1,1}& ....& x_{m_k-1,q-1}\end{array}\right]$其中，q是所有训练样本所提取到的LDTP特征维数；表示第k类表情中第m_k‑1个训练样本的第q‑1个LDTP特征值；步骤2.6、利用式(2)计算第k类表情中所有训练样本的LDTP特征均值矩阵从而获得N类表情中所有训练样本的LDTP特征均值矩阵${\bar{X}}_{LDTP}^k=\{\frac{\underset{i=0}{\overset{m_k-1}{\Sigma }}{x}_{i,0}}{m_k},\frac{\underset{i=0}{\overset{m_k-1}{\Sigma }}{x}_{i,1}}{m_k},...,\frac{\underset{i=0}{\overset{m_k-1}{\Sigma }}{x}_{i,q-1}}{m_k}\}---\left(2\right)$步骤2.7、提取训练集中所有训练样本的WLD特征；步骤2.7.1、利用式(3)、式(4)和式(5)获得任意一个训练样本的差分激励ξ(x_c)和方向θ′(x_c)：$\xi \left(x_c\right)=arctan\left[\underset{i=0}{\overset{p-1}{\Sigma }}\left(\frac{x_i-x_c}{x_c}\right)\right]---\left(3\right)$${\theta }^{\prime }\left(x_c\right)=arctan2(v_s^{11},v_s^{10})+\pi ---\left(4\right)$$arctan2(v_s^{11},v_s^{10})=\left\{\begin{array}{cc}\theta ,& v_s^{11}>0and{v}_x^{10}>0,\\ \pi +\theta ,& v_s^{11}>0and{v}_x^{10}<0,\\ \theta -\pi ,& v_s^{11}<0and{v}_x^{10}>0,\\ \theta ,& v_s^{11}<0and{v}_x^{10}>0,\end{array}\right.---\left(5\right)$式(3)、式(4)和式(5)中，x_c表示任意一个训练样本中3×3邻域的中心像素值，x_i表示中心像素值x_c的第i个邻域的像素值，p表示邻域像素的个数；并有：步骤2.7.2、利用式(6)将所述方向θ′(x_c)进行量化，获得T个方向Φ_t：${\Phi }_t=\frac{2t}{T}\pi ---\left(6\right)$式(6)中，步骤2.7.3、将所述任意一个训练样本的差分激励ξ(x_c)和方向θ′(x_c)联合起来构造相应训练样本的二维WLD直方图，且令横坐标表示方向，纵坐标表示差分激励；步骤2.7.4、将所述二维WLD直方图转化为一维WLD直方图，以所述一维WLD直方图作为相应训练样本的WLD特征；从而获得所有训练样本的WLD特征；步骤2.8、将训练集中属于第k类表情的所有训练样本所提取到的WLD特征用矩阵表示，从而获得N类表情中所有训练样本的WLD特征矩阵$X_{WLD}^k=\left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& ....& x_{0,p-1}\\ x_{1,0}& x_{1,1}& ....& x_{1,p-1}\\ ....& ....& ....& ....\\ x_{m_k-1,0}& x_{m_k-1,1}& ....& x_{m_k-1,p-1}\end{array}\right]$其中，p是所有训练样本所提取到的WLD特征维数；表示第k类表情中第m_k‑1个训练样本的第p‑1个WLD特征值；步骤2.9、利用式(7)计算第k类表情中所有训练样本的WLD特征均值矩阵从而获得N类表情中所有训练样本的WLD特征均值矩阵${\bar{X}}_{WLD}^k=\{\frac{\underset{i=0}{\overset{m_k-1}{\Sigma }}{x}_{i,0}}{m_k},\frac{\underset{i=0}{\overset{m_k-1}{\Sigma }}{x}_{i,1}}{m_k},...,\frac{\underset{i=0}{\overset{m_k-1}{\Sigma }}{x}_{i,p-1}}{m_k}\}---\left(1\right)$步骤2.10、对测试集中的任意一个待测样本提取LBP特征，记为Y_LBP＝[y₀,y₁......,y_n‑1]；步骤2.11、根据欧式距离利用式(8)计算出所述待测样本的LBP特征与训练集中属于第k类表情的所有训练样本的LBP特征均值间的相似度从而获得所述待测样本的LBP特征与N类表情中所有训练样本的LBP特征均值间的相似度集合$\left|z_{LBP}^k\right|=\sqrt{\underset{i=0}{\overset{n-1}{\Sigma }}{({\bar{x}}_i^k-y_i)}^2}---\left(8\right)$式(8)中，表示第k类表情中所有训练样本LBP特征均值的第i个值，y_i表示待测样本的LBP特征中第i个值；步骤2.12、从所述相似度集合中选取最小值，并记为min_LBP；步骤2.13、对测试集中的任意一个待测样本提取LDTP特征，记为Y_LDTP＝[y′₀,y′₁......,y′_q‑1]；步骤2.14、根据欧式距离利用式(9)计算出所述待测样本的LDTP特征与训练集中属于第k类表情的所有训练样本的LDTP特征均值间的相似度从而获得所述待测样本的LDTP特征与N类表情中所有训练样本的LDTP特征均值间的相似度集合$\left|z_{LDTP}^k\right|=\sqrt{\underset{i=0}{\overset{q-1}{\Sigma }}{({\bar{x}}_i^{\prime k}-y_i^{\prime })}^2}---\left(9\right)$式(9)中，表示第k类表情中所有训练样本的LDTP特征均值的第i个值，y′_i表示待测样本的LDTP特征中第i个值；步骤2.15、从所述相似度集合中选取最小值，并记为min_LDTP；步骤2.16、对测试集中的任意一个待测样本提取WLD特征，记为Y_WLD＝[y″₀,y″₁......,y″_p‑1]；步骤2.17、根据欧式距离利用式(10)计算出所述待测样本的WLD特征与训练集中属于第k类表情的所有训练样本的WLD特征均值间的相似度从而获得所述待测样本的WLD特征与N类表情中所有训练样本的WLD特征均值间的相似度集合$\left\{\right|z_{WLD}^1|,|z_{WLD}^2|,...,|z_{WLD}^k|,...,|z_{WLD}^N\left|\right\}:$$\left|z_{WLD}^k\right|=\sqrt{\underset{i=0}{\overset{p-1}{\Sigma }}{({\bar{x}}_i^{\prime \prime k}-y_i^{\prime \prime })}^2}---\left(10\right)$式(10)中，表示第k类表情中所有训练样本WLD特征均值的第i个值，y″_i表示待测样本的WLD特征的第i个值；步骤2.18、从所述相似度集合中选取最小值，并记为min_WLD；步骤2.19、若min_LBP所对应的表情类别，min_LDTP所对应的表情类别和min_WLD所对应的表情类别中有任意两个相同或三个值均相同时，即可得出待测样本的表情类别；如若min_LBP所对应的表情类别，min_LDTP所对应的表情类别和min_WLD所对应的表情类别均不相同时，则采用式(11)、式(12)和式(13)对最小值进行归一化处理：$R_{LBP}=\frac{{\min }_{LBP}}{\underset{k=1}{\overset{N}{\Sigma }}\left|z_{LBP}^k\right|}---\left(11\right)$$R_{WLD}=\frac{{\min }_{WLD}}{\underset{k=1}{\overset{N}{\Sigma }}\left|z_{WLD}^k\right|}---\left(12\right)$$R_{LDTP}=\frac{{\min }_{LDTP}}{\underset{k=1}{\overset{N}{\Sigma }}\left|z_{LDTP}^k\right|}---\left(13\right)$步骤2.20、从R_LBP，R_WLD和R_LDTP中选取出最小值，并将最小值对应的表情类别作为待测样本的表情类别；步骤2.21、根据欧式距离计算出所述待测样本的表情类别与其相同的表情类别中所有训练样本之间的距离，并将最小距离所对应的训练样本作为所述待测样本的最近邻图像；步骤3、对待测样本的遮挡部分进行重构：步骤3.1、利用式(14)所示的信息熵和最大类间差法检测待测样本中的遮挡部位：H(X)＝‑∫_xp(x)logp(x)dx  (14)式(14)中，X是一个随机变量，x是变量X的取值范围中的一个值，H()为信息熵；p(x)是当变量X取值为x时的概率；当X是离散型随机变量时：$H\left(X\right)=-\underset{x\in D\left(x\right)}{\Sigma }p\left(x\right)\log p\left(x\right)---\left(15\right)$式(15)中，D(x)是随机变量X的定义域；步骤3.2、利用所述待测样本的最近邻图像的相应部分替换所述遮挡部位，从而得到重构后的待测样本；步骤4、提取重构后的待测样本和训练集中的训练样本的PWLD特征：步骤4.1、把所述待测样本分为l层图像，每一层图像均由方形，大小均等且互不重叠的图像块组成，每层图像块的个数为4^l‑1，l代表图像块所在的层数；步骤4.2、选取第l层中任意一个图像块作为一个子图像，并按照步骤2.7、提取子图像的WLD特征；从而获得第l层中所有图像块的WLD特征；将第l层中所有图像块的WLD特征级联起来，即可得到第l层图像的一维WLD特征；继而获得l层图像的一维WLD特征；步骤4.3、将l层图像的一维WLD特征进行逐层级联，即可得到待测样本的PWLD特征；步骤4.4、重复步骤4.1‑步骤4.3，从而获得所有训练样本的PWLD特征；步骤5、使用SVM分类器对测试集中所有待测样本进行分类识别：步骤5.1、对训练集和测试集中的所有已知类别的样本按照表情的类别设置相应的标签；步骤5.2、将所述训练样本所提取的PWLD特征和类别标签作为参数输入SVM，通过机器学习，训练得到SVM分类器模型；步骤5.3、将所述测试集中任意一个待测样本所提取的PWLD特征和类别标签作为参数，输入到所述SVM分类器模型中，进行分类预测，获得预测的类别。