一种基于遗传算法的多模态情感特征融合方法

摘要

本发明公开了一种基于遗传算法的多模态情感特征融合方法，属于信号处理与模式识别领域。包括以下内容：建立一个多模态情感数据库，然后对于所述数据库中的每个样本，提取多模态情感数据库样本的各模态情感特征，例如：面部表情特征、语音情感特征以及身体姿态特征等，构造多模态情感特征矩阵，将遗传算法用于多个模态的特征融合，包括基于遗传算法的特征选择、交叉以及重组，最后采用遗传算法对多模态情感特征进行F次迭代的特征选择和融合。本发明针对多模态情感分类识别，提出将遗传算法用于特征层融合，为基于特征层融合的多模态情感分类识别提供了一种新的有效途径。

主权项

一种基于遗传算法的多模态情感特征融合方法，其特征在于包含以下步骤：(1.1)建立一个多模态情感数据库，包含L类情感的样本，每类情感的样本数为n，总样本数为N＝nL；(1.2)对于所述数据库中的每个样本，提取T种不同模态的情感特征，其中第t种模态的情感特征用d_t维特征向量表示，t＝1,2,…,T，则每个样本的多模态情感特征向量维数为M＝(d₁+d₂+…+d_T)；(1.3)对于数据库中的N个样本，构造一个N*M大小的多模态情感特征矩阵A：其中，矩阵元素a_i,j,k是属于第i类情感的第j个样本特征向量的第k维特征值，i＝1,2,…,L，j＝1,2,…,n，k＝1,2,…,M；(1.4)采用遗传算法对多模态情感特征进行F次迭代的特征选择和融合。