一种复合时空特征的双模态视频情感识别方法

摘要

本发明公开了一种复合时空特征的双模态视频情感识别方法，包括如下步骤：1对现有体积局部二值模式算法扩展成时空三值模式，获取人脸表情和上身姿态的时空局部三值模式矩纹理特征；2为弥补纹理特征缺乏图像边缘和方向信息的表达，本发明进一步融合三维梯度方向直方图特征来增强对情感视频的描述，将两种特征组合成复合时空特征；3使用D‑S证据联合规则将两种模态的信息进行融合，获得情感识别结果。本发明利用复合时空特征对情感视频进行充分描述，降低时间复杂度，提高情感识别的准确率。

主权项

一种复合时空特征的双模态视频情感识别方法，其特征是按如下步骤进行：步骤1、对人脸表情与上身姿态数据库中已知情感类别的Q个情感视频进行预处理步骤1.1、获得任意第q个情感视频的每一帧图像，并进行归一化处理和直方图均衡化处理，从而得到像素为L₁×W₁的第i个上身姿态图像集，从而获得包含Q个上身姿态图像集的集合；1≤q≤Q；步骤1.2、利用Haar‑like小波特征和积分图方法对所述第q个上身姿态图像集中的每一幅图像进行人脸区域检测，并对检测到的人脸区域采用双向灰度积分投影法进行眼睛定位，再对定位后的人脸区域进行归一化处理和直方图均衡化处理，从而获得像素为L₂×W₂的第q个人脸表情图像集；从而获得包含Q个人脸表情图像集的集合；步骤1.3、利用k‑means聚类算法将所述第q个上身姿态图像集中的所有图像聚为k类，分别选取k类的k幅中心图像组成第q个上身姿态图像序列，从而获得包含Q个上身姿态图像序列的集合；k≥3；利用k‑means聚类算法将所述第q个人脸表情图像集中的所有图像聚为k类，分别选取k类的k幅中心图像组成第q个人脸表情图像序列，从而获得包含Q个人脸表情图像序列的集合；步骤1.4、以所述第q个上身姿态图像序列作为第q个上身姿态样本，以包含Q个上身姿态图像序列的集合作为上身姿态样本集；以所述第q个人脸表情图像序列作为第q个人脸表情样本，以包含Q个人脸表情图像序列的集合作为人脸表情样本集；从所述上身姿态样本集中选取N个上身姿态样本作为上身姿态训练集；剩余Q‑N作为上身姿态测试集；1＜N＜Q；从所述人脸表情样本集中选取N个上身姿态样本作为人脸表情训练集；剩余Q‑N作为人脸表情测试集；步骤2、时空局部三值模式矩的特征提取步骤2.1、以所述上身姿态测试集和所述人脸表情测试集中的任意一个包含k幅中心图像的样本作为一个时空体；将所述时空体中的每一幅中心图像进行相同大小的均匀分块，得到W个分块；并将每一幅中心图像的相同位置上的分块组成包含k个分块的子时空体，从而W个子时空体；步骤2.2、计算任意一个子时空体中第t个分块的中心像素值g_t(i,j)的能量值E_ASM，从而获得任意一个子时空体的第t个分块的所有中心像素值的能量值；进而获得所有子时空体的所有分块的所有中心像素值的能量值，i＝1,2,…,L₁或i＝1,2,…,L₂；j＝1,2,…,W₁或j＝1,2,…,W₂；t＝2,3,…,k‑1；步骤2.2.1、以中心像素值g_t(i,j)为中心的p邻域窗口及第t‑1个和第t+1个分块的像素窗口构成p邻域像素值向量0≤p≤7；步骤2.2.2、利用式(1)计算第m个分块上的p邻域窗口中第n个邻域的像素值与中心像素值g_t(i,j)之间的对比度值${\mathrm{\Delta g}}_m^n=g_m^n-g_t(i,j)---\left(1\right)$式(1)中，表示第m个分块上的p邻域窗口的第n个邻域的像素值；n＝0,1,…,p‑1；m＝t‑1,t,t+1；步骤2.2.3、统计中心像素值g_t(i,j)的对比度值，并利用式(2)求取均值$\overline{\Delta g}=\left({\Sigma }_{n=0}^{p-1}{\Sigma }_{m=t-1}^{t+1}{\mathrm{\Delta g}}_m^n\right)/3p---\left(2\right)$步骤2.2.4、利用式(3)计算方差S：$S=\left({\Sigma }_{n=0}^{p-1}{\Sigma }_{m=t-1}^{t+1}{\left({\mathrm{\Delta g}}_m^n-\overline{\Delta g})\right)}^2\right)/3p---\left(3\right)$步骤2.2.5、利用式(4)近似估计阈值ε：$ϵ=\sqrt{S}---\left(4\right)$步骤2.2.6、利用式(5)将所述p邻域像素值向量T进行二值化处理，获得像素二值向量：$V=\left(\begin{array}{c}s\left(g_{t-1}^0-g_t\left(i,j\right)\right),s\left(g_{t-1}^1-g_t\left(i,j\right)\right),\mathrm{...}s\left(g_{t-1}^{p-1}-g_t\left(i,j\right)\right),s\left(g_t^0-g_t\left(i,j\right)\right),\\ \mathrm{...},s(g_t^{p-1}-g_t(i,j),s\left(g_{t+1}^0-g_t\left(i,j\right)\right),s\left(g_{t+1}^1-g_t\left(i,j\right)\right),\mathrm{...}s\left(g_{t+1}^{p-1}-g_t\left(i,j\right)\right)\end{array}\right)---\left(5\right)$式(5)中，s(x)表示自变量为x的三值化函数，并有：$s\left(x\right)=\left\{\begin{array}{cc}1& x\ge ϵ\\ 0& \left|x\right|<ϵ\\ -1& x\le -ϵ\end{array}\right.---\left(6\right)$步骤2.2.7、利用式(7)将所述像素二值向量V表示成一个3×p矩阵M：$M=\left[\begin{array}{cccc}s\left(g_{t-1}^0-g_t\left(i,j\right)\right)& s\left(g_{t-1}^1-g_t\left(i,j\right)\right)& ...& s\left(g_{t-1}^{p-1}-g_t\left(i,j\right)\right)\\ s\left(g_t^0-g_t\left(i,j\right)\right)& s\left(g_t^1-g_t\left(i,j\right)\right)& ...& s\left(g_t^{p-1}-g_t\left(i,j\right)\right)\\ s\left(g_{t+1}^0-g_t\left(i,j\right)\right)& s\left(g_{t+1}^1-g_t\left(i,j\right)\right)& ...& s\left(g_{t+1}^{p-1}-g_t\left(i,j\right)\right)\end{array}\right]---\left(7\right)$步骤2.2.8、对所述矩阵M纵向统计字符的跳变次数，得到矩阵M的灰度共生矩阵其中，a_u,v表示从u跳变到v的次数；u,v＝{‑1,0,1}；步骤2.2.9、利用式(8)计算能量表达式E_ASM：$E_{ASM}={\Sigma }_{u=-1}^1{\Sigma }_{v=-1}^1{\left(a_{u,v}\right)}^2---\left(8\right)$步骤2.3、获得所述时空体的TSLTPM直方图特征；步骤2.3.1、定义内循环变量w，初始化t＝2；步骤2.3.2、初始化w＝1；步骤2.3.3、对第w个子时空体的第t分块的中心像素值的能量值按升序进行排序，并对排序后的每一种能量值的个数进行统计，从而获得第w个子时空体中第t个分块的TSLTPM直方图特征；步骤2.3.4、判断w＝1是否成立，若成立，则将w+1赋值给w后，返回步骤2.3.3执行，否则，将第w个子时空体的第t个分块的TSLTPM直方图特征与第w‑1个子时空体的第t个分块的TSLTPM直方图特征进行级联后，再执行步骤2.3.5；步骤2.3.5、将w+1赋值给w后，判断w＞W是否成立，若成立，执行步骤2.3.6；否则，返回步骤2.3.3；步骤2.3.6、将t+1赋值给t后，判断t＞k‑1是否成立，若成立，则执行步骤2.3.7；否则，返回步骤2.3.2；步骤2.3.7、判断t＝2是否成立，若成立，则将t+1赋值给t后，返回步骤2.3.2执行，否则，将W个子时空体的第t个分块的TSLTPM直方图特征与W个子时空体的第t‑1个分块的TSLTPM直方图特征进行级联后，再执行步骤2.3.8；步骤2.3.8、将t+1赋值给t后，判断t＞k‑1是否成立，若成立，执行步骤2.4；否则，返回步骤2.3.2；步骤2.4、重复步骤2.1～步骤2.3，从而获得所述上身姿态样本集和所述人脸表情样本集中所有样本的TSLTPM直方图特征；步骤3、三维梯度方向直方图的特征提取；步骤3.1、计算任意一个子时空体中第t个分块的中心像素点的灰度值g(i,j,t)的HOG特征值，从而获得任意一个子时空体的第t个分块的所有中心像素点的灰度值的HOG特征值；进而获得所有子时空体的所有分块的所有中心像素点的灰度值的HOG特征值；步骤3.1.1、计算任意一个子时空体中第t个分块的中心像素点的灰度值g(i,j,t)g(i,j,t)的梯度值；步骤3.1.2、计算中心像素点的灰度值g(i,j,t)的梯度幅值；步骤3.1.3、计算中心像素点的灰度值g(i,j,t)的梯度方向；步骤3.2、获得所述时空体的3DHOG直方图特征；步骤3.2.1、将[0,360°]平均划分为N个方向，并初始化t＝2；步骤3.2.2、初始化w＝1；步骤3.2.3、按照N×3个方向量化区间对第w个子时空体的第t分块的中心像素点的灰度值g(i,j,t)的梯度幅值进行投票统计，从而得到第w个子时空体中第t个分块的3DHOG直方图特征；步骤3.2.4、判断w＝1是否成立，若成立，则将w+1赋值给w后，返回步骤3.2.3执行，否则，将第w个子时空体的第t个分块的3DHOG直方图特征与第w‑1个子时空体的第t个分块的3DHOG直方图特征进行级联后，再执行步骤3.2.5；步骤3.2.5；将w+1赋值给w后，判断w＞W是否成立，若成立，执行步骤3.2.6；否则，返回步骤3.2.3；步骤3.2.6、将t+1赋值给t后，判断t＞k‑1是否成立，若成立，则执行步骤3.2.7；否则，返回步骤3.2.2；步骤3.2.7、判断t＝2是否成立，若成立，则将t+1赋值给t后，返回步骤3.2.2执行，否则，将W个子时空体的第t个分块的3DHOG直方图特征与W个子时空体的第t‑1个分块的3DHOG直方图特征进行级联后，再执行步骤3.2.8；步骤3.2.8、将t+1赋值给t后，判断t＞k‑1是否成立，若成立，执行步骤3.3；否则，返回步骤3.2.2；步骤3.3、重复步骤3.1和步骤3.2，从而获得所述上身姿态样本集和所述人脸表情样本集中所有样本的3DHOG直方图特征；步骤4、上身姿态复合时空特征集和人脸表情复合时空特征集的构造；步骤4.1、将所述上身姿态样本集中的任一样本的TSLTPM直方图特征和3DHOG直方图特征进行级联，从而构成相应样本的上身姿态复合时空特征；进而获得上身姿态复合时空特征集；步骤4.2、将所述人脸表情样本集中的任一样本的TSLTPM直方图特征和3DHOG直方图特征进行级联，从而构成相应样本的人脸表情复合时空特征；进而获得人脸表情复合时空特征集；步骤5、使用D‑S证据理论判决规则对复合时空特征测试集进行分类；步骤5.1、计算所述上身姿态复合时空特征测试集中任意一个测试样本的上身姿态复合时空特征与所述上身姿态复合时空特征训练集中每一个训练样本的上身姿态复合时空特征的欧式距离；从而获得每一类情感类别的上身姿态最小欧式距离；步骤5.2、对每一类情感类别的上身姿态最小欧式距离进行归一化处理，得到归一化后的上身姿态最小欧式距离；步骤5.3、将每一类情感类别的归一化后的上身姿态最小欧式距离作为每一类情感类别的上身姿态基本概率分配值；步骤5.4、重复步骤5.1～步骤5.3，同样获得每一类情感类别的人脸表情基本概率分配值；步骤5.5、将所有情感类别的上身姿态基本概率分配值和人脸表情基本概率分配值用D‑S证据理论进行融合，得到融合后的每一类情感类别的基本概率分配函数值；步骤5.6、选取最大基本概率分配函数值所对应的情感类别作为测试样本的情感类别。