一种考虑语音中多线性群组稀疏特性的情绪特征提取方法

摘要

本发明公开了一种考虑语音中多线性群组稀疏特性的情绪特征提取方法，该方法考虑语音信号中包括时间、频率、尺度和方向信息的多重因素，利用多线性群组稀疏分解的方法进行特征提取，通过不同尺度和方向的Gabor函数对语音信号能量谱进行多线性表征，利用群组稀疏张量分解方法求解特征投影矩阵，计算频率阶上的特征投影，经过离散余弦变换对特征去相关，最终计算特征的一阶和二阶差分系数，得到语音情绪特征。本发明考虑语音信号中的时间、频率、尺度和方向等因素用于情绪的特征提取，利用群组稀疏张量分解方法进行特征投影，最终提高了多类语音情绪识别的准确率。

主权项

1.一种考虑语音中多线性群组稀疏特征的语音情绪特征提取方法，其特征是：考虑语音信号中包括时间、频率、尺度和方向信息的多重因素，利用多线性群组稀疏分解的方法进行特征提取，通过不同尺度和方向的Gabor函数对语音信号能量谱进行多线性表征，利用群组稀疏张量分解方法求解特征投影矩阵，计算频率阶上的特征投影，经过离散余弦变换对特征去相关，计算特征的一阶和二阶差分系数，具体包括以下步骤：(1)采集语音信号s(t)，利用短时傅里叶变换将s(t)变换到时频域，得到信号的时频表示S(f，t)和能量谱P(f，t)；(2)利用具有不同尺度和方向的二维Gabor函数对能量谱进行卷积滤波，Gabor函数定义如下：$g_{\bar{k}}\left(\bar{x}\right)=\frac{{\bar{k}}^2}{{\sigma }^2}·e^{-({\bar{k}}^2·{\bar{x}}^2/{2\sigma }^2)}·[e^{j\bar{k}·\bar{x}}-e^{-({\sigma }^2/2)}],$其中：是能量谱P(f，t)在第t帧、频率为f的元素；是控制函数的尺度与方向的向量，j表示虚部单位，k_v＝2^-(v+2)/2·π，φ＝u(π/K)，u表示函数的方向，v表示函数的尺度，K表示总的方向数，σ是确定函数包络的常数，设为2π；Gabor函数对能量谱P(f，t)卷积滤波的结果是语音信号的多线性表征这里是一个大小为的5阶张量，各阶分别表示时间、频率、方向、尺度和类别，然后对的频率阶进行美尔三角窗滤波得到新的5阶张量P，其大小为N₁×N₂×N₃×N₄×N₅，每一阶的长度为N_i，i＝1，L 5；(3)对得到的多线性表征P进行群组稀疏张量分解，计算不同因素上的投影矩阵U⁽ⁱ⁾，i＝1，L 5，以便进行特征投影，建立以下分解模型：P≈Λ×₁U⁽¹⁾×₂U⁽²⁾×₃U⁽³⁾×₄U⁽⁴⁾×₅U⁽⁵⁾其中，U⁽ⁱ⁾是分解之后得到的大小为N_i×K的投影矩阵，，Λ是对角元素为1的5阶张量，大小为K×K×K×K×K，×_i表示张量i阶矩阵乘运算，其定义如下：${\left(\underset{‾}{X}{\times }_{i}A\right)}_{\begin{array}{ccc}{n}_1,L& n_{i-1},k,n_{i+1},L& n_M\end{array}}=\underset{n_i}{\Sigma }{\underset{‾}{X}}_{\begin{array}{cc}{n}_1,L& n_M\end{array}}{A}_{k,n_i}$其中X表示一个大小为N₁×L×N_M的M阶张量，A是一个大小为N_i×K的矩阵，是张量X的元素，是矩阵A的元素；(4)利用得到的对应于频域的投影矩阵U⁽²⁾对语音信号的多线性表征P进行特征投影：$\underset{‾}{S}=\underset{‾}{P}{\times }_2{U}_{+}^{\left(2\right)}$其中，是投影矩阵U⁽²⁾伪逆的非零元素组成的矩阵，×₂表示矩阵与P进行张量的2阶矩阵乘；(5)将时间阶固定，对获得的多线性稀疏表征S进行张量展开操作，得到大小为的特征矩阵S_(f)，其中${\hat{N}}_1=N_2·N_3·N_4·N_5;$(6)利用离散余弦变换对S_(f)进行去相关，得到语音情绪特征F，计算特征的一阶和二阶差分系数得到最终的情绪特征。