一种基于多尺度时序建模的维度情感识别方法

摘要

本发明公开了一种基于多尺度时序建模的维度情感识别方法，该方法包括以下步骤：对于视频序列中的每帧图像进行人脸检测及跟踪，并提取人脸关键点作为第一类组人脸特征；提取人脸区域图像、人脸嘴部区域图像和人脸眼睛区域图像中像素的灰度值作为第二、三、四类组人脸特征；根据单位时间段t内多帧图像的四类组人脸特征进行维度情感初步预测；根据连续N个单位时间段t的情感初步预测结果用线性回归器进行时序及模态融合，输出视频序列的情感预测值。本发明方法对视频序列信号进行不同尺度的时序建模，实现了序列中每一时序单元的精确预测。本发明适用于视频中人脸信号的情感识别，具有实时性好、并能够大幅度提高识别精度等优点。

主权项

一种基于多尺度时序建模的维度情感识别方法，其特征在于，该方法包括以下步骤：步骤1，对于视频序列中的每帧图像进行人脸检测及跟踪，并根据检测或跟踪得到的人脸区域图像提取对应的人脸关键点作为第一类组人脸特征；步骤2，根据所述步骤1得到的人脸关键点，对于相应的人脸区域图像进行人脸校正，分别提取人脸区域图像、人脸嘴部区域图像和人脸眼睛区域图像中所有像素的灰度值作为第二、三、四类组人脸特征；步骤3，分别提取单位时间段t内多帧图像的四类组人脸特征，并将提取得到的四类组人脸特征分别输入到具有时序池化层的深度置信网络中进行维度情感初步预测，得到单位时间段t内视频序列的情感初步预测结果；步骤4，根据所述步骤3提取连续N个单位时间段t内的四类组人脸特征并分别进行情感初步预测，根据连续N个单位时间段t的情感初步预测结果训练得到情感预测线性回归器，所述情感预测线性回归器用于同时融合上述四类组人脸特征在同一时间段内的情感预测值；步骤5，对于连续N个单位时间段t内的测试视频序列，根据所述步骤1‑3，得到连续N个单位时间段t内测试视频序列的情感初步预测结果，将得到的连续N个单位时间段t内测试视频序列的情感初步预测结果输入至线性回归器进行时序及模态融合，得到每单位时间段t内测试视频序列的情感预测值。