基于增强耦合HMM的语音-视觉融合的情感识别方法

摘要

本发明提出的一种基于增强耦合HMM的语音-视觉融合的情感识别方法，属于自动情感识别领域。本发明方法融合了脸部表情和语音两种特征流，使用改进的EM算法训练连续型二分量耦合HMM，训练时考虑并不断更新各样本的权重，使得训练过程偏重于难于识别的样本。本发明方法与已有识别方法相比明显提高了分类的准确度。

主权项

1.一种增强耦合HMM的语音-视觉融合的情感识别方法，用于识别情感视频中的人的情感，所述情感包括：中性、高兴、生气、惊讶、恐惧、悲伤、厌恶等；所述情感视频是指包含人脸表情和语音的视频数据，并且每段情感视频都开始于中性表情；其特征在于：所述增强耦合HMM的语音-视觉融合的情感识别方法包括2部分：训练过程和识别过程；所述训练过程的具体实施步骤包括步骤一至步骤六，具体为：步骤一、对训练数据中的情感视频数据进行预处理；将每一种情感的训练数据称为一个训练样本集；一个训练样本集中的训练样本数量用R表示，R≥20；该训练样本集中的第r个训练样本用x_r表示，1≤r≤R；分别对每个训练样本集中的每个情感视频数据做预处理，得到表情观察向量序列和音频观察向量序列；一个训练样本集中的全部情感视频数据在预处理后，得到的表情观察向量序列的集合称为表情特征数据流，得到的音频观察向量序列的集合称为音频特征数据流，这2种特征数据流用符号X^v表示，v∈{a,f}，a表示音频，f表示表情；表示v特征数据流的第r个观察向量序列；所述对每个训练样本集中的每个情感视频数据做预处理，得到音频观察向量序列的操作步骤包括步骤a至步骤f，具体为：步骤a：从每个情感视频中以v_b的采样率提取p个音频帧组成一条音频序列，v_b≥5赫兹，p=v_b×t_a，t_a为情感视频的时间长度；步骤b：依次从每条音频序列的各音频帧中提取α个音频特征值，分别用F₁~F_α表示，α≥4；所述音频特征值包括：信号强度；短时过零率；基音频率；共振峰频率；线性预测倒谱系数；线谱对参数；Mel频率倒谱系数；感知线性预测倒谱系数；步骤c：对所有音频帧的音频特征值F₁~F_α进行归一化处理，操作过程为步骤c.1至c.3，具体为：步骤c.1：找出与待处理音频帧为同一发声人物的所有中性情感的音频序列；所述待处理音频帧为当前等待做归一化处理的音频帧；步骤c.2：分别计算经过步骤c.1处理后得到的与待处理音频帧为同一发声人物的所有中性情感的音频序列中各音频帧的音频特征值F₁的均值、F₂的均值、……、F_α的均值，分别用至表示；步骤c.3：用对待处理音频帧的音频特征值F₁进行归一化处理，归一化处理后的音频特征值F₁用符号F′₁表示，用对待处理音频帧的音频特征值F₂进行归一化处理，归一化处理后的音频特征值F₂用符号F′₂表示，以此类推，用对待处理音频帧的音频特征值F_α进行归一化处理，归一化处理后的音频特征值F_α用符号F′_α表示，步骤d：获得每个音频序列中各音频帧的音频观察向量，用V′_t表示，1≤t≤p；一个音频序列中的第t帧音频帧的音频观察向量V′_t由经过归一化处理后的α个特征值组成，V′_t＝[f′_t1,f′_t2,……,f′_tα]^T，f′_t1为该音频序列的第t帧音频帧中经过归一化处理的第1个音频特征值F′₁，f′_t2为该音频序列的第t帧音频帧中经过归一化处理的第2个音频特征值F′₂，……，以此类推，f′_tα为该音频序列的第t帧音频帧中经过归一化处理的第α个音频特征值F′_α；步骤f：对于一个情感视频，使用矩阵M′来表示其音频观察向量序列，M′＝[V′₁，V′₂,……,V′_P]∈R^α×p；所述对每个训练样本集中的每个情感视频数据做预处理，得到表情观察向量序列的操作步骤包括第1步至第6步，具体为：第1步：从每个情感视频中以v_a的采样率提取m帧图像组成一个图像序列，v_a≥5赫兹，m=v_a×t_a，v_a＝v_b/η，η＝1,2,3；由于每段情感视频都开始于中性表情，因此每个图像序列中的第一帧图像为中性表情图像；第2步：依次从每个图像序列中的各帧图像中提取θ个脸部表情特征值，分别用T₁至T_θ表示，θ≥5；所述脸部表情特征值包括：脸部几何特征值；脸部纹理特征值；第3步：为了解决因不同人脸型不同造成的对脸部表情特征值T₁至T_θ的影响，对所有图像的脸部表情特征值T₁至T_θ进行归一化处理，具体为：第3.1步：从全部表情图像序列中找出包含待处理图像中人脸的所有表情图像序列；所述待处理图像为当前等待做归一化处理的图像；第3.2步：分别计算经过第3.1步处理后得到的包含待处理图像中人脸的所有表情图像序列的第一帧图像中脸部表情特征值T₁的均值、T₂的均值、……、T_θ的均值，分别用至表示；第3.3步：用对待处理图像的脸部表情特征值T1进行归一化处理，归一化处理后的脸部表情特征值T₁用符号T′₁表示，用对待处理图像的脸部表情特征值T₂进行归一化处理，归一化处理后的脸部表情特征值T₂用符号T′₂表示，以此类推，用对待处理图像的脸部表情特征值T_θ进行归一化处理，归一化处理后的脸部表情特征值T_θ用符号T′_θ表示，第4步：获得每个表情图像序列中各帧图像的表情观察向量，用V_q表示，1≤q≤m；一个表情图像序列中第q帧图像的表情观察向量V_q由经过第3步归一化处理后的θ个特征值组成，V_q＝[f_q1,f_q2,……,f_qθ]^T，f_q1为该表情图像序列的第q帧图像中经过归一化处理的第1个脸部表情特征值T′₁，f_q2为该表情图像序列的第q帧图像中经过归一化处理的第2个脸部表情特征值T′₂，……，以此类推，f_qθ为该表情图像序列的第q帧图像中经过归一化处理的第θ个脸部表情特征值t′_θ；第5步：对于一个情感视频，其表情图像序列中各帧图像的表情观察向量V₁至V_m组成该情感视频的原始表情观察向量序列，用矩阵M″来表示，M″＝[V₁,V₂,……,V_m]∈R^θ×m；第6步：在每个情感视频的原始表情观察向量序列M″中的表情观察向量V_q′和V_q′+1之间通过线性插值法插入(η-1)个表情观察向量，并在表情观察向量V_m后，增加(η-1)个V_m，得到该情感视频的表情观察向量序列，用M表示，M＝[V₁,V₂,……,V_N]∈R^θ×p，1≤q′＜m；步骤二、建立增强耦合HMM分类器；在步骤一操作的基础上，建立增强耦合HMM分类器；所述增强耦合HMM分类器由从左向右的K′个连续型二分量耦合HMM组合而成，1≤K′≤K，K的值由人为预先设定，4≤K≤10；连续型二分量耦合HMM的两条分量HMM分别称为音频通道分量HMM和表情通道分量HMM；同一采样时间点上，每条分量HMM均有1个可见节点和1个隐节点相对应；用N_v表示连续型二分量耦合HMM的v通道的分量HMM的隐状态个数，v∈{a,f}；用S^v表示连续型二分量耦合HMM的v通道分量HMM的隐状态集合，用N表示连续型二分量耦合HMM的隐状态个数，N＝N_a×N_f；用S表示连续型二分量耦合HMM的隐状态集合，则$S=\left\{(S^a,S^f)\right|S^a\in \{S_1^a,...,S_{N_a}^a\},S^f\in \{S_1^f,...,S_{N_f}^f\}\};$所述连续型二分量耦合HMM的参数由公式（1）至公式（3）表示；$\pi \left(i\right)=\underset{v}{\Pi }{\pi }^v\left(i_v\right)=\underset{v}{\Pi }P(q_1^v=i_v)---\left(1\right)$其中，π(i)表示连续型二分量耦合HMM的初始隐状态概率分布；i表示连续型二分量耦合HMM的隐状态，i∈S；π^v(i_v)表示连续型二分量耦合HMM的v通道分量HMM的初始隐状态概率分布；i_v表示连续型二分量耦合HMM的v通道分量HMM的隐状态，i_v∈S^v；表示连续型二分量耦合HMM的v通道分量HMM在初始时刻的隐状态取值；$a\left(i\right|j)=\underset{v}{\Pi }{a}^v\left(i_v\right|j)=\underset{v}{\Pi }P(q_{t_1}^v=i_v|q_{t_1-1}=j)---\left(2\right)$其中，a(i|j)表示连续型二分量耦合HMM从(t₁-1)时刻的隐状态j到t₁时刻隐状态i的转移概率，i,j∈S，2≤t₁≤p；a^v(i_v|j)表示从(t₁-1)时刻连续型二分量耦合HMM的隐状态j到t₁时刻连续型二分量耦合HMM的v通道分量HMM的隐状态i_v的转移概率；表示t₁时刻连续型二分量耦合HMM的v通道分量HMM的隐状态取值；表示连续型二分量耦合HMM在(t₁-1)时刻的隐状态取值；$b_t\left(i\right)=\underset{v}{\Pi }{\left[b_t^v\left(i_v\right)\right]}^{{\lambda }_v}=\underset{v}{\Pi }{\left[P\left(O_t^v\right|q_t^v=i_v)\right]}^{{\lambda }_v}=\underset{v}{\Pi }{\left[\underset{m=1}{\overset{M_{i_v}^v}{\Sigma }}{w}_{i_v,m}^{v}N(O_t^v,{\mu }_{i_v,m}^v,U_{i_v,m}^v)\right]}^{{\lambda }_v}---\left(3\right)$其中，b_t(i)是连续型二分量耦合HMM中隐状态i的观察概率密度函数，其形式是混合高斯密度函数；是连续型二分量耦合HMM的v通道分量HMM中隐状态i_v的观察概率密度函数，其形式是混合高斯密度函数；λ_v是连续型二分量耦合HMM的v通道分量HMM对应的指数，λ_v∈[0.5,1]；表示连续型二分量耦合HMM的v通道分量HMM在t时刻的观察向量，1≤t≤p；表示连续型二分量耦合HMM的v通道分量HMM在t时刻的隐状态取值；表示在连续型二分量耦合HMM的v通道分量HMM中，隐状态i_v的混合高斯密度函数的混合数；分别表示在连续型二分量耦合HMM的v通道分量HMM中，隐状态i_v的第m个高斯密度函数的混合权重、均值向量和对角协方差矩阵，$1\le m\le M_{i_v}^v.$步骤三、初始化增强耦合HMM分类器；在步骤二操作的基础上，同时初始化C个增强耦合HMM分类器，C表示情感类别的数量；即：对应每一种情感，初始化一个增强耦合HMM分类器；用φ_c表示第c种情感对应的增强耦合HMM分类器，1≤c≤C；使用第c种情感的训练样本集对增强耦合HMM分类器φ_c进行初始化的过程包括步骤3.1至步骤3.7，具体为：步骤3.1：第c种情感的训练样本集经过步骤一的操作后，得到音频特征数据流X^a和表情特征数据流X^f；将特征数据流X^v中的观察向量序列表示为表示第r个训练样本x_r在连续型二分量耦合HMM的v通道分量HMM中的t时刻的观察向量，1≤t≤p；然后根据特征数据流X^v对应的v通道分量HMM的隐状态数N_v，依次将特征数据流X^v中的每个观察向量序列平均分为N_v段，1≤r≤R；对每个观察向量序列中的第i′段对应的隐节点状态赋初值为i′，1≤i′≤N_v，从而可得每个观察向量序列的初始隐节点状态序列，用表示；步骤3.2：使用K-means聚类算法，依次对每个观察向量序列中每个隐状态i′所对应的观察向量聚类为个类别，分别用表示；用表示观察向量序列在t时刻的隐状态对应的混合高斯密度函数的混合分量；根据观察向量序列中隐状态i′所对应的观察向量的聚类结果，得到观察向量序列的混合分量序列$c_{r,t}^v\in \{\mathrm{1,2},···,M_{i_v}^v\},$1≤t≤p；步骤3.3：将特征数据流X^v输入到增强耦合HMM分类器φ_c中的某一连续型二分量耦合HMM中，用符号表示增强耦合HMM分类器φ_c中的第k′个连续型二分量耦合HMM，1≤k′≤K；步骤3.4：利用公式（4）至公式（9）重估连续型二分量耦合HMM的参数；${\mu }_{i_v,m}^v=\frac{{\Sigma }_{r,t}{\gamma }_{r,t}^v(i_v,m)O_{r,t}^v}{{\Sigma }_{r,t}{\gamma }_{r,t}^v(i_v,m)}---\left(4\right)$其中，的值通过公式（5）确定；其中，表示第r个训练样本x_r在连续型二分量耦合HMM的v通道分量HMM中的t时刻的隐状态取值；$U_{i_v,m}^v=\frac{{\Sigma }_{r,t}{\gamma }_{r,t}^v(i_v,m)(O_{r,t}^v-{\mu }_{i_v,m}^v){(O_{r,t}^v-{\mu }_{i_v,m}^v)}^T}{{\Sigma }_{r,t}{\gamma }_{r,t}^v(i_v,m)}---\left(6\right)$$w_{i_v,m}^v=\frac{{\Sigma }_{r,t}{\gamma }_{r,t}^v(i_v,m)}{{\Sigma }_{r,t}{\Sigma }_{m^{\prime }}{\gamma }_{r,t}^v(i_v,m^{\prime })}---\left(7\right)$其中，$1\le m^{\prime }\le M_{i_v}^v.$$a^v\left(i_v\right|j)=\frac{{\Sigma }_{r,t}{ϵ}_{r,t_1}^v(i_v,j)}{{\Sigma }_{r,t}{\Sigma }_j{ϵ}_{r,t_1}^v(i_v,j)}---\left(8\right)$其中，的值通过公式（9）确定；j∈S；步骤3.5：使用基于耦合HMM的Viterbi算法对各观察向量序列的初始隐节点状态序列进行优化，操作步骤包括步骤3.5.1至步骤3.5.4，具体为：步骤3.5.1：将步骤3.4得到的连续型二分量耦合HMM的参数和a^v(i_v|j)代入到公式（1）至公式（3），计算得到π(i)、a(i|j)和b_t(i)；步骤3.5.2：令变量t₁的初始值为2，通过公式（10）和公式（11）迭代计算和2≤t₁≤p；${\delta }_{t_1}\left(i\right)=\underset{j}{\max }\left\{{\delta }_{t_1-1}\left(j\right)a\left(i\right|j)\right\}{b}_{t_1}\left(i\right)---\left(10\right)$其中，表示连续型二分量耦合HMM在t₁时刻为状态i的最大概率与b_t(i)的乘积；δ₁(i)＝π(i)b₁(i)；${\psi }_{t_1}\left(i\right)=\arg \underset{j}{\max }\left\{{\delta }_{t_1-1}\left(j\right)a\left(i\right|j)\right\}---\left(11\right)$其中，表示连续型二分量耦合HMM在t₁时刻为状态i的最大概率的路径的前一状态；表示使得最大时，j的取值；ψ₁(i)＝0；步骤3.5.3：通过公式（12）计算训练样本x_r在当前二分量耦合HMM模型下的概率，用符号P表示；通过公式（13）计算训练样本x_r在当前二分量耦合HMM模型下的概率P对应的p时刻的隐节点状态，用符号q_p表示；$P=\underset{i}{\max }\left\{{\delta }_p\left(i\right)\right\}=\underset{q_1,···,q_p}{\max }P(O_1,···,O_p|q_1,···,q_p)---\left(12\right)$其中，$O_t=(O_t^a,O_t^f);$$q_p=\arg \underset{i}{\max }\left\{{\delta }_p\left(i\right)\right\}---\left(13\right)$其中，表示使得δ_p(i)最大时，i的取值；步骤3.5.4：使用变量t₂，令t₂的初始值为(p-1)，通过公式（14）回溯得到1≤t₂≤p-1；$q_{t_2}={\psi }_{t_2+1}\left(q_{t_2+1}\right)---\left(14\right)$其中，表示训练样本x_r在当前二分量耦合HMM模型下的概率P对应的t₂时刻的隐节点状态；通过步骤3.5.1至步骤3.5.4的操作，得到各训练样本x_r在当前二分量耦合HMM模型下的优化隐节点状态序列(q₁,q₂,...,q_p)；即得到各观察向量序列在当前二分量耦合HMM的v通道分量HMM的优化隐节点状态序列步骤3.6：通过公式（15）对各观察向量序列的混合分量序列进行优化；$c_{r,t}^v=\arg \underset{m}{\max }P\left(O_{r,t}^v\right|q_{r,t}^v=i_v,c_{r,t}^v=m)---\left(15\right)$其中，$\arg \underset{m}{\max }P\left(O_{r,t}^v\right|q_{r,t}^v=i_v,c_{r,t}^v=m)$表示使得$P\left(O_{r,t}^v\right|q_{r,t}^v=i_v,c_{r,t}^v=m)$最大时，m的取值；步骤3.7：判断各训练样本x_r在当前二分量耦合HMM模型下的概率P是否均收敛；如果不均收敛，利用公式（4）至公式（9）重估连续型二分量耦合HMM的参数，然后回到步骤3.5；如果均收敛，则将重估得到的参数和a^v(i_v|j)作为增强耦合HMM分类器φ_c中各连续型二分量耦合HMM的模型初始参数；经过步骤3.1至步骤3.7的操作，即完成对增强耦合HMM分类器φ_c的初始化操作；步骤四、训练增强耦合HMM分类器；在步骤三对增强耦合HMM分类器初始化的基础上，同时训练C个增强耦合HMM分类器φ_c，1≤c≤C；使用第c种情感的训练样本集对增强耦合HMM分类器φ_c进行训练的过程包括步骤4.1至步骤4.8，具体为：步骤4.1：用K_c表示增强耦合HMM分类器φ_c中包含的连续型二分量耦合HMM的个数，并设定K_c的初始值为K；使用变量k，并设定变量k的初始值为1；然后执行步骤4.2至步骤4.8的操作；步骤4.2：用表示增强耦合HMM分类器φ_c中的第k个连续型二分量耦合HMM；用w_k(r)表示输入到连续型二分量耦合HMM的特征数据流X^v中的第r个观察向量序列的权重，1≤r≤R；当k＝1时，w_k(r)＝1/R；将带有权重w_k(r)的音频特征数据流X^a输入到连续型二分量耦合HMM的音频通道分量HMM；将带有权重w_k(r)的表情特征数据流X^f输入到连续型二分量耦合HMM的表情通道分量HMM；步骤4.3：使用改进的EM算法迭代调整步骤4.2中所述连续型二分量耦合HMM的模型参数，得到连续型二分量耦合HMM的最优模型参数，操作步骤包括步骤4.3.1至步骤4.3.6，具体为：步骤4.3.1：将步骤三得到的连续型二分量耦合HMM的模型初始参数和a^v(i_v|j)代入到公式（1）至公式（3），计算得到π(i)、a(i|j)和b_t(i)；步骤4.3.2：通过公式（16）计算所述连续型二分量耦合HMM中各训练样本的观察序列的前向概率，用表示，1≤r≤R；${\alpha }_{r,t_1}\left(i\right)=b_{t_1}\left(i\right){\Sigma }_{j}a\left(i\right|j){\alpha }_{r,t_1-1}\left(j\right)---\left(16\right)$其中，α_r，1(i)＝π(i)b₁(i)；2≤t₁≤p；步骤4.3.3：通过公式（17）计算所述连续型二分量耦合HMM中各训练样本的观察序列的后向概率，用表示；${\beta }_{r,t_2}\left(j\right)={\Sigma }_i{b}_{t_2+1}\left(i\right)a\left(i\right|j){\beta }_{r,t_2+1}\left(i\right)---\left(17\right)$其中，β_r,p(i)＝1；1≤t₂≤p-1；步骤4.3.4：通过公式（18）计算所述连续型二分量耦合HMM中各训练样本的观察序列的概率P_r；P_r＝α_r，p(q_p)＝β_r,1(q₁)                          （18）步骤4.3.5：使用公式（19）至公式（23），利用各训练样本在步骤4.3.2中得到的前向概率步骤4.3.3中得到的后向概率和步骤4.3.4得到的观察序列的概率P_r重估连续型二分量耦合HMM的模型参数和a^v(i_v|j)；${\mu }_{i_v,m}^v=\frac{{\Sigma }_r(w_k\left(r\right)/P_r){\Sigma }_t{\xi }_{r,t}^v(i_v,m)O_{r,t}^v}{{\Sigma }_r(w_k\left(r\right)/P_r){\Sigma }_t{\xi }_{r,t}^v(i_v,m)}---\left(19\right)$其中，可通过公式（20）计算得到；${\xi }_{r,t}^v(i_v,m)=\frac{{\Sigma }_{\mathrm{Is}.t.I_v=i_v}{\alpha }_{r,t}\left(I\right){\beta }_{r,t}\left(I\right)}{{\Sigma }_I{\alpha }_{r,t}\left(I\right){\beta }_{r,t}\left(I\right)}\times \frac{w_{i_v,m}^{v}N(O_{r,t}^v,{\mu }_{i_v,m}^v,U_{i_v,m}^v)}{{\Sigma }_{m^{\prime }}{w}_{i_v,m^{\prime }}^{v}N(O_{r,t}^v,{\mu }_{i_v,m^{\prime }}^v,U_{i_v,m^{\prime }}^v)}---\left(20\right)$其中，I∈S；I_v∈S^v；Is.t.I_v＝i_v表示连续型二分量耦合HMM的隐状态I在v通道分量HMM的隐状态I_v等于i_v；$U_{i_v,m}^v=\frac{{\Sigma }_r(w_k\left(r\right)/P_r){\Sigma }_t{\xi }_{r,t}^v(i_v,m)(O_{r,t}^v-{\mu }_{i_v,m}^v){(O_{r,t}^v-{\mu }_{i_v,m}^v)}^T}{{\Sigma }_r(w_k\left(r\right)/P_r){\Sigma }_t{\xi }_{r,t}^v(i_v,m)}---\left(21\right)$$w_{i_v,m}^v=\frac{{\Sigma }_r(w_k\left(r\right)/P_r){\Sigma }_t{\xi }_{r,t}^v(i_v,m)}{{\Sigma }_r(w_k\left(r\right)/P_r){\Sigma }_t{\Sigma }_{m^{\prime }}{\xi }_{r,t}^v(i_v,m^{\prime })}---\left(22\right)$$a^v\left(i_v\right|j)=\frac{{\Sigma }_r(w_k\left(r\right)/P_r){\Sigma }_{\mathrm{Is}.t.I_v=i_v}{\Sigma }_{t_2}{\alpha }_{r,t_2}\left(j\right)a\left(I\right|j)b_{t_2+1}\left(I\right){\beta }_{r,t_2+1}\left(I\right)}{{\Sigma }_r(w_k\left(r\right)/P_r){\Sigma }_{t_2}{\alpha }_{r,t_2}\left(j\right){\beta }_{r,t_2}\left(j\right)}---\left(23\right)$步骤4.3.6：判断连续型二分量耦合HMM的模型参数和a^v(i_v|j)是否均收敛；如非均收敛，则将步骤4.3.5得到的和a^v(i_v|j)代入到公式（1）至公式（3），计算得到π(i)、a(i|j)和b_t(i)，然后返回到步骤4.3.2；否则，则将步骤4.3.5得到的和a^v(i_v|j)作为连续型二分量耦合HMM的最优模型参数；步骤4.4：使用步骤4.2中所述输入到连续型二分量耦合HMM的特征数据流X^v验证步骤4.3得到的连续型二分量耦合HMM具体验证方法为：用表示训练样本x_r是否被连续型二分量耦合HMM正确分类，如果观察向量序列x_r被正确分类，设定否则，设定步骤4.5：通过公式（24）计算连续型二分量耦合HMM的训练误差，用表示；$E_k^c=\underset{h_k^c\left(x_r\right)=-1}{\Sigma }{w}_k\left(r\right)---\left(24\right)$步骤4.6：使用临时变量k″，并设定k″＝k+1；步骤4.7：通过公式（25）依次计算输入到第k″个连续型二分量耦合HMM的训练样本x_r的权重，用w_k″(r)表示，1≤r≤R；$w_{k^{\prime \prime }}\left(r\right)=\frac{w_k\left(r\right)}{Z_{k^{\prime \prime }}}\times e^{-h_k^c\left(x_r\right)\times {\delta }_k}---\left(25\right)$其中，Z_k″是归一化因子，$Z_{k^{\prime \prime }}=\underset{r}{\Sigma }(w_k\left(r\right)\times e^{-h_k^c\left(x_r\right)\times {\delta }_k}),$${\delta }_k=\frac{\ln [(1-E_k^c)/E_k^c]}{2};$步骤4.8：如果此时k≠K，并且的值不大于某一预先设定值σ，0＜σ≤0.5，则令k＝k″，w_k(r)＝w_k″(r)，然后返回到步骤4.2；否则，得到增强耦合HMM分类器φ_c，令K_c＝k；经过上述步骤的操作，即完成对增强耦合HMM分类器φ_c的训练；所述识别过程的具体实施步骤如下：步骤五、对待识别情感视频x进行预处理，得到待识别情感视频的表情观察向量序列x^f表示和音频观察向量序列x^a；所述得到待识别情感视频的表情观察向量序列的具体步骤与训练过程的步骤一中所述得到表情观察向量序列的具体步骤一致；所述得到待识别情感视频的音频观察向量序列的具体步骤与训练过程的步骤一中所述得到音频观察向量序列的具体步骤为一致；步骤六、判断待识别情感视频的情感类别，操作过程包括步骤6.1至步骤6.3，具体为：步骤6.1：将待识别情感视频的音频观察向量序列x^a作为每一种情感的增强耦合HMM分类器φ_c中的连续型二分量耦合HMM的音频通道分量HMM的观察序列；将待识别情感视频的表情观察向量序列x^f作为每一种情感的增强耦合HMM分类器φ_c中的每一个连续型二分量耦合HMM的表情通道分量HMM的观察序列；步骤6.2：通过公式（26）计算待识别情感视频x，在增强耦合HMM分类器φ_c下的概率P_c；$P_c=P\left(x\right|{\phi }_c)=\frac{\underset{k=1}{\overset{K_c}{\Sigma }}{\delta }_{k}P\left(x\right|{\theta }_k^c)}{K_c}---\left(26\right)$步骤6.3：从步骤6.2得到的概率P_c中找到最大值，得到该最大值的增强耦合HMM分类器对应的情感即为待识别情感视频所属的情感类别。