一种双通道信息融合的情感识别方法

摘要

本发明提出的一种双通道信息融合的情感识别方法，属于自动情感识别领域。其基本思想是：从情感视频数据中提取脸部表情和语音特征数据；然后使用脸部表情特征数据初始化Boltzmann拉链中慢链的可见节点的状态值；使用语音特征数据初始化Boltzmann拉链中快链的可见节点的状态值，对BOLTZMANN拉链进行训练；使用训练好的BOLTZMANN拉链识别情感视频的情感类别。本发明使用Boltzmann拉链来融合紧密耦合的语音-视觉模态，有效利用了两个通道的内在关联，解决了两个通道数据不同的时间尺度问题，并在训练过程中避免了局部能量极小，实验结果证明了该方法的高准确率和有效性。

主权项

一种双通道信息融合的情感识别方法，其特征在于：该方法包括：训练过程和识别过程；所述训练过程的具体实施步骤如下：步骤一、对训练数据中的情感视频数据进行预处理；训练数据中的每种情感视频数据不少于20个；分别对训练数据中的每个情感视频数据做预处理，得到表情离散观察变量序列和音频离散观察变量序列；所述得到表情离散观察变量序列的具体步骤为：第1步：从每个情感视频中提取脸部表情特征，具体为：第1.1步：从每个情感视频中以等间隔的方式提取m帧图像组成一个表情图像序列，m≥20；第1.2步：依次从每个表情图像序列中的各帧图像中提取θ个脸部表情特征值，分别用T₁至T_θ表示，θ≥5；所述脸部表情特征值包括但不限于：脸部几何特征值；脸部纹理特征值；第1.3步：为了解决因不同人脸型不同造成的对脸部表情特征值T₁至T_θ的影响，对所有图像的脸部表情特征值T₁至T_θ进行归一化处理，具体为：第1.3.1步：从全部表情图像序列中找出包含待处理图像中人脸的所有表情图像序列；所述待处理图像为当前等待做归一化处理的图像；第1.3.2步：分别计算经过第1.3.1步处理后得到的包含待处理图像中人脸的所有表情图像序列的第一帧图像中脸部表情特征值T₁的均值、T₂的均值、……、T_θ的均值，分别用至表示；第1.3.3步：用对待处理图像的脸部表情特征值T₁进行归一化处理，归一化处理后的脸部表情特征值T₁用符号T₁′表示，用对待处理图像的脸部表情特征值T₂进行归一化处理，归一化处理后的脸部表情特征值T₂用符号T₂′表示，……；以此类推，用对待处理图像的脸部表情特征值Tθ进行归一化处理，归一化处理后的脸部表情特征值T_θ用符号T_θ′表示，第1.4步：获得每个表情图像序列中各帧图像的表情特征向量，用V_r表示，1≤r≤m；一个表情图像序列中第r帧图像的表情特征向量V_r由经过第1.3步归一化处理后的θ个特征值组成，V_r＝[f_r1,f_r2,……,f_rθ]^T，f_r1为该表情图像序列的第r帧图像中经过归一化处理的第1个脸部表情特征值T₁′，f_r2为该表情图像序列的第r帧图像中经过归一化处理的第2个脸部表情特征值T₂′，……，以此类推，f_rθ为该表情图像序列的第r帧图像中经过归一化处理的第θ个脸部表情特征值T_θ′；第1.5步：对于一个情感视频，使用矩阵M来表示其脸部表情特征,M＝[V₁,V₂,……,V_m]∈R^θ×m；第2步：将表情特征向量转换成表情离散观察变量；全部表情图像序列中各帧图像的表情特征向量的个数用符号NUM₁表示，NUM₁为表情图像序列的个数与m的乘积；依次为每一个表情特征向量从1到NUM₁编号，用U_g表示第g个表情特征向量，1≤g≤NUM₁；使用聚类算法对全部NUM₁个表情特征向量进行聚类，得到m₁个类别，m₁为人为设定的正整数，m₁≥10；对聚类后得到的m₁个类别分别编号为1、2、……、m₁；使用表情特征向量U_g对应的聚类后的类别编号作为该表情特征向量U_g对应的表情离散观察变量；第3步：对于一个情感视频，使用其脸部表情特征矩阵M中的表情特征向量V_r对应的表情离散观察变量组成的序列作为该情感视频的表情离散观察变量序列；所述得到音频离散观察变量序列的具体步骤为：步骤1：从每个情感视频中提取语音情感特征，具体为：步骤1.1：从每个情感视频中以等间隔的方式提取p个音频帧组成一条音频序列；p＝a×m，a＝2或3；步骤1.2：依次从每条音频序列的各音频帧中提取λ个音频特征值，分别用F₁～F_λ表示，λ≥4；所述音频特征值包括但不限于：信号强度；短时过零率；基音频率；共振峰频率；线性预测倒谱系数；线谱对参数；Mel频率倒谱系数；感知线性预测倒谱系数；步骤1.3：对所有音频帧的音频特征值F₁～F_λ进行归一化处理，具体为：步骤1.3.1：找出与待处理音频帧为同一发声人物的所有中性情感的音频序列；所述待处理音频帧为当前等待做归一化处理的音频帧；步骤1.3.2：分别计算经过步骤1.3.1处理后得到的与待处理音频帧为同一发声人物的所有中性情感的音频序列中各音频帧的音频特征值F₁的均值、F₂的均值、……、F_λ的均值，分别用至表示；步骤1.3.3：用对待处理音频帧的音频特征值F₁进行归一化处理，归一化处理后的音频特征值F₁用符号F₁′表示，用对待处理音频帧的音频特征值F₂进行归一化处理，归一化处理后的音频特征值F₂用符号F₂′表示，……；以此类推，用对待处理音频帧的音频特征值F_λ进行归一化处理，归一化处理后的音频特征值F_λ用符号F_λ′表示，步骤1.4：获得每个音频序列中各音频帧的音频特征向量，用V_t′表示，1≤t≤p；一个音频序列中的第t帧音频帧的音频特征向量V_t′由经过归一化处理后的λ个特征值组成，V_t′＝[f_t1′,f_t2′,……,f_tλ′]^T，f_t1′为该音频序列的第t帧音频帧中经过归一化处理的第1个音频特征值F₁′，f_t2′为该音频序列的第t帧音频帧中经过归一化处理的第2个音频特征值F₂′，……，以此类推，f_tλ′为该音频序列的第t帧音频帧中经过归一化处理的第λ个音频特征值F_λ′；步骤1.5：对于一个情感视频，使用矩阵M′来表示其语音情感特征，M′＝[V₁′,V₂′,……,V_p′]∈R^λ×p；步骤2：将音频特征向量转换成音频离散观察变量；全部音频序列中各音频帧的音频特征向量的个数用符号NUM₂表示，NUM₂为音频序列的个数与p的乘积；依次为每一个音频特征向量从1到NUM₂编号，用U′_g′表示第g′个音频特征向量，1≤g′≤NUM₂；使用聚类算法对全部NUM₂个音频特征向量进行聚类，得到m₂个类别，m₂为人为设定的正整数，m₂≥15；对聚类后得到的m₂个类别分别编号为1、2、……、m₂；使用音频特征向量U′_g′对应的聚类后的类别编码作为该音频特征向量U′_g′对应的音频离散观察变量；步骤3：对于一个情感视频，使用其语音情感特征矩阵M′中的音频特征向量V_t′对应的音频离散观察变量组成的序列作为该情感视频的音频离散观察变量序列；步骤二、建立BOLTZMANN拉链；此步骤可以与步骤一同步操作：Boltzmann拉链由2个分量BOLTZMANN链互联而成，2条分量BOLTZMANN链的采样时间尺度不同，其中1条分量BOLTZMANN链的采样时间间隔是另外一条分量BOLTZMANN链的采样时间间隔的a倍，a＝2或3；采样时间间隔短的分量BOLTZMANN链被称为快链；采样时间间隔长的分量BOLTZMANN链被称为慢链；慢链对应m个采样时间点；对应每个采样时间点，慢链中的可见节点的数量为m₁个，隐节点的数量为m₁′个，5≤m₁′≤30；快链对应p个采样时间点；对应每个采样时间点，快链中的可见节点的数量为m₂个，隐节点的数量为m₂′个，5≤m₂′≤30；所述Boltzmann拉链中的所有可见节点和隐节点的数量用N表示，N＝(m₁+m₁′)×m+(m₂+m₂′)×p；依次为Boltzmann拉链中的所有可见节点和隐节点从1到N编号；用Wi_j表示第i个节点和第j个节点之间的网络权值，1≤i,j≤N，i≠j；步骤三、训练BOLTZMANN拉链；步骤一和步骤二操作的基础上，针对每一种情感训练一个Boltzmann拉链；每一种情感的训练数据称为一个训练样本集，训练样本集中的每一个训练样本经过步骤一的处理后得到一个表情离散观察变量序列和一个音频离散观察变量序列；每个Boltzmann拉链的训练过程为：使用表情离散观察变量序列初始化Boltzmann拉链中慢链的可见节点的状态值，慢链的隐节点状态值随机给定；使用音频离散观察变量序列初始化Boltzmann拉链中快链的可见节点的状态值，快链的隐节点状态值随机给定，然后对所述BOLTZMANN拉链进行训练，确定BOLTZMANN拉链的网络权值W_ij；所述识别过程是使用经过训练过程的操作后得到的多个BOLTZMANN拉链对待识别情感视频中的人的情感进行识别，其具体操作步骤为：步骤四、对待识别情感视频进行预处理，得到待识别情感视频的表情离散观察变量序列和音频离散观察变量序列；所述得到待识别情感视频的表情离散观察变量序列的具体步骤与训练过程的步骤一中所述得到表情离散观察变量序列的具体步骤为一致；所述得到待识别情感视频的音频离散观察变量序列的具体步骤与训练过程的步骤一中所述得到音频离散观察变量序列的具体步骤为一致；步骤五、依次使用待识别情感视频的表情离散观察变量序列和音频离散观察变量序列初始化训练过程得到的每一种情感的Boltzmann拉链的可见节点，隐节点的状态值随机给定，然后将Boltzmann拉链的可见节点箝位，对Boltzmann拉链执行确定性模拟退火算法，得到每一种情感的Boltzmann拉链的最优构型；步骤六、判断待识别情感视频的情感类别；在步骤五的基础上，用公式(8)依次计算待识别情感视频在每一种情感的Boltzmann拉链下的后验概率，后验概率最大的Boltzmann拉链对应的情感即为待识别情感视频所属的情感类别；$P=\frac{e^{-E_{\gamma }/T_{\beta }}}{Z\left(T_{\beta }\right)}---\left(8\right)$其中，P为后验概率；γ表示经过步骤五的操作后得到的可见节点箝位状态下Boltzmann拉链的最优构型；E_γ为经过步骤五的操作后得到的可见节点箝位状态下Boltzmann拉链最优构型的能量，将该Boltzmann拉链的网络权值以及经过步骤五的操作后得到的可见节点箝位状态下该Boltzmann拉链最优构型的各节点的状态值代入能量函数即可得到，能量函数如公式(9)所示；T_β为步骤五中Boltzmann拉链执行确定性模拟退火算法后得到的最低温度；Z(T_β)是分配函数，如公式(10)所示；$E=-\frac{1}{2}\underset{i,j}{\Sigma }{W}_{\mathrm{ij}}{S}_i{S}_j---\left(9\right)$其中，W_ij表示第i个节点和第j个节点之间的网络权值，1≤i,j≤N，i≠j；S_i表示可见节点箝位状态下的Boltzmann拉链的最优构型中，第i个节点的状态值；S_j表示可见节点箝位状态下的Boltzmann拉链的最优构型中，第j个节点的状态值；$Z\left(T_{\beta }\right)=\underset{{\gamma }^{\prime }}{\Sigma }{e}^{-E_{{\gamma }^{\prime }}/T_{\beta }}---\left(10\right)$其中，γ′表示Boltzmann拉链的某一种构型；E_γ′为Boltzmann拉链某一种构型的能量，将该Boltzmann拉链的网络权值及该构型的各节点的状态值代入公式(9)即可得到。