监控视频序列中人脸微表情图像序列的识别方法

摘要

本发明监控视频序列中人脸微表情图像序列的识别方法，涉及应用电子设备进行识别图形的方法，步骤是：监控视频人脸微表情图像序列欧拉放大；监控视频人脸微表情图像预处理；利用SMTCTP‑WTOP算子提取人脸微表情图像序列的动态时空纹理特征；使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别。本发明克服了现有技术中人脸微表情图像的识别受到光照、遮挡物和噪声的影响，导致识别率较低的缺陷。

主权项

监控视频序列中人脸微表情图像序列的识别方法，其特征在于：是一种利用SMTCTP‑WTOP算子提取监控视频微表情序列的动态时空纹理特征的人脸微表情的识别方法，具体步骤如下：第一步，监控视频人脸微表情图像序列欧拉放大：利用计算机USB口输入监控视频中包含人脸微表情的图像序列为L帧，采用欧拉影像放大算法对人脸图像序列进行放大；第二步，监控视频人脸微表情图像序列预处理：利用中值滤波算法对上述第一步中得到的放大的监控视频人脸微表情图像序列去噪，然后用Adaboost算法检测该去噪后的图像序列中的人脸，并进行裁剪，采用双线性插值算法实现图像的尺寸归一化，完成监控视频人脸微表情图像预处理，得到预处理后的监控视频人脸微表情图像的大小为N×N个像素；第三步，利用SMTCTP‑WTOP算子提取人脸微表情图像序列的动态时空纹理特征：(3.1)计算XY、XT、YT平面上每个像素点的CTP和SMTP特征：对上述第二步预处理后得到人脸微表情图像序列，分别在XY、XT、YT平面上遍历人脸微表情图像序列中的每一个像素点g_c，在以g_c为中心，R为半径的环形近邻点上提取g_c的CTP特征和SMTP特征，其中像素点g_c的CTP特征由公式(1)提取，$CTP(n,R,g_c)=\underset{i=0}{\overset{n/2-1}{\Sigma }}s(g_i-g_{i+n/2})3^i+s(g_c-\frac{1}{n+1}(\underset{i=0}{\overset{n-1}{\Sigma }}{g}_i+g_c\left)\right)3^{n/2}---\left(1\right),$这里，s(x)为三值函数，公式如下：$s\left(x\right)=\left\{\begin{array}{cc}2,& x>t\\ 1,& \left|x\right|\le t\\ 0,& x<-t\end{array}\right.---\left(2\right),$上述式(1)中，g_c是中心像素点的灰度值，R是以g_c为中心的环的半径，n是分布在环上的像素点个数即近邻像素点个数，g_i，i＝0,1,…,n‑1，是近邻像素点的灰度值，t是阈值；像素点g_c的SMTP特征定义如下：$SMTP(n,R,g_c)=\underset{i=0}{\overset{n-1}{\Sigma }}k\left(\right|g_i-g_{i+n/2}\left|\right)3^{n/2+i}+k\left(\right|g_c-M\left|\right)3^n---\left(3\right),$这里k(x)是二值函数，公式如下：上述式(3)中，上述式(4)中取t＝M；由此计算出XY、XT、YT平面上每个像素点的CTP和SMTP特征；(3.2)提取SMTCTP‑TOP特征统计直方图：对于第二步得到的图像的尺寸归一化的人脸微表情图像序列，大小为N×N×L,需要分别在XY、XT、YT平面上统计上述式(3)和式(4)得到的每个像素点的CTP特征和SMTP特征，并采用下式(5)分别计算三个平面的CTP和SMTP统计直方图，每个平面的CTP统计直方图定义如下：$H_{CTP,j}=[\underset{x,y,t}{\Sigma }I\left({\mathrm{CTP}}_j\right(n,R,g_c\left(x,y,t\right))=i),i=0,...,n_j]---\left(5\right),$上述式(5)中，j的值为0、1、2，分别表示XY、XT、YT平面，i表示CTP特征值，CTP_j(n,R,g_c(x,y,t))表示中心像素点g_c(x,y,t)在第j个平面CTP特征值，(x,y,t)为g_c的坐标，n_j为CTP特征在第j个平面产生的最大的十进制数，二值函数I(x)如下所示：同理，每个平面j＝0、1、2的SMTP特征统计直方图定义如式(7)：$H_{SMTP,j}=[\underset{x,y,t}{\Sigma }I\left({\mathrm{SMTP}}_j\right(n,R,g_c\left(x,y,t\right))=i),i=0,...,n_j,]---\left(7\right),$XY、XT、YT三个平面的SMTCTP特征统计直方图是由两个CTP特征统计直方图和一个SMTP特征统计直方图组成，即：H_j＝[H_CTP,j H_CTP,j H_SMTP,j] j＝0,1,2     (8),将每个平面得到的统计直方图标准化如下：${\bar{H}}_j=H_j/\underset{j=0}{\overset{2}{\Sigma }}{H}_j---\left(9\right),$式(9)中，把XY、XT、YT三个平面的统计直方图总和加起来作为分母，分子为各个平面的统计直方图，最后得出标准化后的统计直方图，再进行统计直方图的串联，得到SMTCTP‑TOP特征统计直方图H，如公式(10)所示，$H=\left[\begin{array}{ccc}\overline{H_0}& \overline{H_1}& \overline{H_2}\end{array}\right]---\left(10\right),$由此提取出SMTCTP‑TOP特征统计直方图；(3.3)确定XY、XT和YT平面直方图的权值，得到SMTCTP‑WTOP特征统计直方图：对XY、XT和YT每个平面赋予不同平面统计直方图的权值，且三个平面统计直方图的权重之和为1，从而构成SMTCTP‑WTOP算子，具体方法如下：设XY平面所占权重为a，XT所占权重为b，则YT平面权重为(1‑a‑b)，权重向量W为：W＝(a b 1‑a‑b)    (11)，则构成加权的SMTCTP‑TOP即SMTCTP‑WTOP算子如下：SMTCTP‑WTOP＝W·H^T＝[aH₀ bH₁ (1‑a‑b)H₂]   (12)，由此得到SMTCTP‑WTOP特征统计直方图，并利用SMTCTP‑WTOP算子提取人脸微表情图像序列的动态时空纹理特征，即SMTCTP‑WTOP特征；第四步，使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别：在上述第三步利用SMTCTP‑WTOP算子提取人脸微表情图像序列的动态时空纹理特征之后，利用SVM分类器进行多类分类，具体的操作过程如下：(4.1)将第二步人脸微表情图像预处理完成后的人脸微表情序列进行分类：将人脸微表情分成五类：厌恶、压抑、高兴、惊讶和紧张；(4.2)分类训练集和测试集：将上述(4.1)步中五类人脸微表情各自随机选取一部分序列作为训练集，另一部分作为测试集，训练集和测试集的比例为3∶1；(4.3)使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别：对上述(4.2)步中的训练集中的人脸微表情依据上述第三步中提取的SMTCTP‑WTOP特征，得到上述五类人脸微表情中的每一类人脸微表情的SVM训练模型，将五类人脸微表情的SVM训练模型组合成一个整体的SVM人脸微表情分类器，对上述(4.2)步中的测试集的人脸微表情依据上述第三步中提取的SMTCTP‑WTOP特征，利用训练好的SVM分类器进行预测，区分属于哪类人脸微表情，最终完成监控视频序列中人脸微表情图像序列的识别。