一种基于3D卷积神经网络的微表情识别方法

摘要

本发明涉及一种基于3D卷积神经网络的微表情识别方法，基于所构造出的3D卷积神经网络(3D‑CNN)模型，能够有效识别出高兴、厌恶、压抑、惊讶以及其他5类微表情，并且所设计微表情识别方法简单、高效，不需要对样本数据进行特征提取、特征降维、分类等一系列过程，大大减少了预处理的难度，而且通过感受野和权值共享，减少了神经网络需要训练的参数的个数，大大降低了算法的复杂度，不仅如此，所设计微表情识别方法中，通过下采样层的下采样操作，增强了网络的鲁棒性，能容忍图像一定程度的畸变。

主权项

一种基于3D卷积神经网络的微表情识别方法，其特征在于，包括如下步骤：步骤001.针对待识别微表情图像序列中的各帧图像进行像素尺寸归一化处理；步骤002.分别针对待识别微表情图像序列中的各帧图像，提取灰度通道特征图、水平方向梯度通道特征图、竖直方向梯度通道特征图、水平方向光流通道特征图、竖直方向光流通道特征图，即获得待识别微表情图像序列所对应的一个特征图组；步骤003.采用预设N₁个不同种类、彼此大小相同的3D卷积核，针对特征图组分别进行卷积操作，获得N₁个特征图组，其中，3D卷积核对应于空间维和时间维；步骤004.针对N₁个特征图组中的各张特征图，分别采用第一预设水平方向与竖直方向等比例的采样窗口进行降维处理，更新N₁个特征图组中各张特征图的像素尺寸；步骤005.分别针对N₁个特征图组，分别采用预设N₂个不同种类、彼此大小相同的3D卷积核进行卷积操作，获得N₁*N₂个特征图组，其中，3D卷积核对应于空间维和时间维；步骤006.针对N₁*N₂个特征图组中的各张特征图，分别采用第二预设水平方向与竖直方向等比例的采样窗口进行降维处理，更新N₁*N₂个特征图组中各张特征图的像素尺寸；步骤007.分别针对N₁*N₂个特征图组，分别采用1个预设种类、大小与特征图像素尺寸相同的2D卷积核进行空间维的卷积操作，更新N₁*N₂个特征图组；步骤008.获得N₁*N₂个特征图组所对应的各个特征向量；步骤009.采用神经网络技术针对各个特征向量进行分类处理，其中，选取最大输出值所对应神经元，获得该神经元所对应的微表情分类，即为待识别微表情图像序列所对应的微表情识别结果。