基于面部表情和眼球动作的双模态情感识别方法及系统

摘要

本发明涉及基于面部表情和眼球动作的双模态情感识别方法及系统，所述方法包括采集步骤、面部表情特征向量提取步骤、眼动特征向量提取步骤、情感状态定性分析步骤、按时间匹配并存储步骤、融合分类步骤和情感信息比对步骤。本发明能动态、准确地提取分析受测对象的面部表情信息，建立面部表情和情感之间的联系；通过眼动仪跟踪能够准确、高效的获取丰富的眼动信息，从眼动角度分析受测对象的情感状态；利用SVR对面部表情特征向量和眼动特征向量进行处理，能更准确的得出受测对象的情感状态，从而提高情感识别的准确性和可靠性。

主权项

基于面部表情和眼球动作的双模态情感识别方法，其特征在于，包括以下步骤：S1、在满足人脸表情图像识别的光线范围内，获取不同时间下人脸的正面图像和眼动信息；S2、从面部表情图像中提取面部表情特征向量，从眼动信息中提取眼动特征向量；S3、对提取的面部表情特征向量进行定性分析，获取初步情感状态Z₁，并根据初步情感状态对Z₁直接赋值；S4、将面部表情特征向量和眼动特征向量按时间进行匹配并存储；S5、提取已匹配的面部表情特征向量和眼动特征向量，并通过SVR对其进行融合、分类等处理；S6、将分好类别的情感特征向量与预先建立的情感信息数据库中的情感信息相比对，所述情感信息数据库存放有多组积极、中性和消极三种情感状态的标准的左眼/右眼、左眉毛/右眉毛和嘴部参考面部表情特征向量，将最相近的情感信息与分好类别的情感特征向量相匹配，从而得到情感状态Z₂，并将Z₂与初步情感状态Z₁按照融合比例进行融合，得出受测者的最终情感状态Z。