基于情感上下文的视觉语音多模态协同分析方法及系统

摘要

本发明公开了一种基于情感上下文的视觉语音多模态协同情感分析方法及系统，所述方法包括：S1、动态提取与分析视觉语音场景中基于情景和分析对象的情感上下文信息；S2、实时提取视觉场景中分析对象的视觉情感特征和语音场景中分析对象的语音情感特征；S3、对情感上下文信息、姿态特征、表情特征和语音情感特征分别进行结构化稀疏表示；S4、采用情感分类代理对多模态的情感信息进行协同分析和识别。本发明利用情感上下文信息、姿态特征、语音情感特征以及表情特征中包含大量情感信息且这些信息互为补充的特性，结合结构化稀疏表示和多情感代理协同分析，解决在部分通道信息丢失的情况下准确分析待分析者情感的问题，可提高自然交互环境下情感分析的准确性和鲁棒性。

主权项

一种基于情感上下文的视觉语音多模态协同情感分析方法，其特征在于，所述方法包括：S1、动态提取与分析视觉语音场景中基于情景和分析对象的情感上下文信息，所述情感上下文信息包括视觉语音场景所包含的先验情感上下文信息和时空上下文信息；S2、实时提取视觉场景中分析对象的视觉情感特征和语音场景中分析对象的语音情感特征，所述视觉情感特征包括姿态特征和表情特征；S3、对情感上下文信息、姿态特征、表情特征和语音情感特征分别进行结构化稀疏表示；S4、采用情感分类代理对多模态的情感信息进行协同分析和识别。