一种基于心电信号与语音信号的双模态情感识别方法

摘要

本发明公布了一种基于心电信号与语音信号的双模态情感识别方法，所述方法包括如下步骤：(1)情感数据的采集；(2)情感特征的提取；(3)判决层融合算法：(3-1)待识别的情感类别包括烦躁、喜悦和平静三个类别，对语音与心电分类器均采用高斯混合模型(GMM)来进行每种情感类别的概率模型的训练，高斯混合模型是成员密度的加权和；(4)特征层融合算法：(4-1)采用PCA方法进行语音特征与心电特征的融合与降维；(4-2)采用(3-1)中所述的高斯混合模型进行训练与识别。本发明融合心电和语音进行双模态情感识别；提取心电的混沌特征进行情感识别；识别性能高。

主权项

一种基于心电信号与语音信号的双模态情感识别方法，包括如下步骤：(1)情感数据的采集；(2)情感特征的提取；其特征在于还包括如下步骤：(3)判决层融合算法：(3-1)待识别的情感类别包括烦躁、喜悦和平静三个类别，对语音与心电分类器均采用高斯混合模型(GMM)来进行每种情感类别的概率模型的训练，高斯混合模型是成员密度的加权和，表示如下： p ( X t | λ ) = Σ i = 1 M a i b i ( X t ) - - - ( 1 ) 这里Xt是D维随机向量，对应输入的待识别样本，t为样本的序号；bi(X)，i＝1，2，...，M是成员密度；ai，i＝1，2，...，M是混合权值；每个成员密度是D维变量的关于均值矢量Ui和协方差矩阵∑i的高斯函数，此处i为高斯混合模型分量的序号；完整的高斯混合模型参数表示为：λi＝{ai，Ui，∑i}，i＝1，2，...，M；(3-2)子分类器即语音分类器与心电分类器的融合权值wj，可以用式(2)来得到： w j = Σ 1 ≤ m < n ≤ 3 | ln ( P ( X | λ m ) ) - ln ( P ( X | λ n ) ) | Σ i = 1 3 ln ( P ( X | λ i ) ) | - - - ( 2 ) 其中m、n代表情感模型对应的编号，λi为编号为i的情感模型的GMM参数组；(3-3)对每个子分类器的判决进行加权融合，则最终的分类器融合判决输出为： i * = arg max { Σ j = 1 2 w j P j ( X | λ i ) } - - ( 3 ) 其中j为子分类器编号，j＝1，2；(4)特征层融合算法：(4-1)采用PCA方法进行语音特征与心电特征的融合与降维；(4-2)采用(3-1)中所述的高斯混合模型进行训练与识别。