面向语音与面部表情信号的情感可视化方法

摘要

本发明涉及一种面向语音与面部表情信号的多模式情感可视化方法，其主要包括：情感信号获取、情感信号预处理、情感特征参数提取、神经网络设计及图像生成。本发明首先对获取的情感信号进行特征提取，然后将获取的情感特征作为神经网络的输入，神经网络的输出即为相应的图案信息，然后通过图像生成模块生成可视化图像，实现对中性、高兴、愤怒、惊奇、悲伤和恐惧六种人类基本情感的可视化。该方法通过组合不同模式的情感特征进入一幅图像中，为人们创造了情感的可读模式，显示直观且具有高鲁棒性。

主权项

一种面向语音与面部表情信号的情感可视化方法，其特征是包括以下步骤：步骤1、情感信号获取；首先诱发情感，再同步获取相应情感状态下的语音信号和面部表情信号，并将二者绑定存储；步骤2、情感信号预处理；步骤2‑1、语音信号预处理；对获取的语音信号进行预处理，包括预加重、分帧加窗和端点检测；步骤2‑2、面部表情信号预处理；对获取的面部表情信号，首先进行脸部定位，然后进行图像几何特性归一化处理和图像光学特性归一化处理；步骤3、情感特征参数提取；步骤3‑1、语音情感特征参数提取；包括韵律特征和音质特征；步骤3‑2、面部表情特征参数提取；对预处理后的面部表情信号，采用Gabor小波变换来提取面部表情特征参数，具体过程如下：1)将预处理后的面部表情图像网格化；2)用Gabor小波和网格化后的图像进行卷积；3)取卷积结果的模的均值和方差作为面部表情特征参数；4)用主成分分析法PCA对上述面部表情特征参数进行降维处理，获得最终的面部表情特征参数；步骤4、神经网络设计；所述的神经网络为三层BP神经网络，其中输入层有46个神经元，输出层有3个神经元；步骤5、图像生成；步骤5‑1、图像主颜色编码；通过给屏幕相应位置的RGB赋值，即通过设定图像红色饱和度R、绿色饱和度G和蓝色饱和度B的值，来获得图像的主颜色信息；步骤5‑2、图案信息编码；神经网络的输出即为相应的图案信息，神经网络的输出层有3个神经元，均采用二进制编码，共有8个不同的码，其中利用前6个码，依次对应着中性、高兴、愤怒、惊奇、悲伤和恐惧6种人类基本情感；步骤5‑3、图像合成；图像合成时，把图像主颜色信息与图案信息融合在一幅图像中在显示屏上显示。