基于巴氏距离最优小波包分解的语音情感特征提取方法

摘要

本发明涉及一种基于巴氏距离最优小波包分解的语音情感特征提取方法。所述方法包括面向情感分类问题的巴氏距离准则函数定义方法，最优小波包基构造方法，以及语音情感特征提取方法。该方法定义针对情感分类问题的巴氏距离准则函数用于最优小波包基的构造，在对语音信号进行最优小波包分解的基础上提取语音情感特征。本发明通过构建针对情感分类问题的小波包基对语音信号进行分析和特征提取，降低了说话人身份、语音内容等无关信息对情感识别准确度的影响，同时具有较低的计算复杂度。

主权项

一种基于巴氏距离最优小波包分解的语音情感特征提取方法，其特征在于，包括以下步骤：步骤1：接收情感语音片段输入；步骤2：将情感语音片段数字化以提供数字语音信号X；步骤3：对数字语音信号X进行预处理，得到有效语音帧集合；步骤4：构造巴氏距离最优小波包基；步骤5：利用步骤4构造的巴氏距离最优小波包基对有效语音帧进行小波包分解，得到各有效语音帧的小波包系数；步骤6：利用步骤5得到的有效语音帧小波包系数计算各有效语音帧的情感特征；步骤4中所述的巴氏距离最优小波包基的构造方法如下：步骤4.1：采集已知情感类别的语音片段，作为小波包构造数据集；步骤4.2：对小波包构造数据集的情感语音片段数字化以提供小波包构造数字语音信号；步骤4.3：采用步骤3所述的预处理方法，对小波包构造数字语音信号进行预处理，得到小波包构造有效语音帧集合其中l为情感类别标号，L为情感类别总数，N_l为情感类别l的小波包构造有效语音帧的总帧数，为情感类别l的第m个小波包构造有效语音帧；步骤4.4：构造J层满二叉树结构作为完全小波包分解树，将其表示为J＝5，其树节点以二元组(j,p)表示，0≤j≤J，0≤p≤2^j‑1，j为树节点的深度，p为中同一深度j下位于该节点左侧的节点总数目；步骤4.5：对各小波包构造有效语音帧按照满二叉树结构进行小波包分解，小波包分解的具体步骤如下：步骤4.5.1：对于各小波包构造有效语音帧且1≤m≤N_l、1≤l≤L，计算其在小波包树根节点(0,0)上的小波包系数$W_{\left(\mathrm{0,0}\right)}^{m,\left(l\right)}\left(n_1\right)={F_s}^{-1/2}·t_m^{\left(l\right)}\left(n_1\right),0\le n_1\le 255--\left(11\right)$其中F_s表示数字语音信号采样频率，为情感类别l的第m个小波包构造有效语音帧，为在第n₁个离散点上的值，为小波包构造有效语音帧在小波包树根节点(0,0)上的第n₁个小波包系数；步骤4.5.2：对于各小波包构造有效语音帧且1≤m≤N_l、1≤l≤L，将在小波包树根节点(0,0)上的小波包系数作为初始值，通过马拉Mallat算法依次计算在各小波包树节点处的小波包系数其中1≤j≤J、0≤p≤2^j‑1，为情感类别l的第m个小波包构造有效语音帧在小波包树节点(j,p)上的第r个小波包系数，且p为偶数表示在小波包树节点(j‑1,p/2)上的第r'个小波包系数，且p为奇数表示在小波包树节点(j‑1,(p‑1)/2)上的第r'个小波包系数，h(r'‑2r)为10阶多贝西Daubechies小波低通滤波器h在第r'‑2r个离散点上的值，g(r'‑2r)为10阶多贝西Daubechies小波高通滤波器g在第r'‑2r个离散点上的值，10阶多贝西Daubechies小波低通和高通滤波器h、g满足：$g\left(\bar{r}\right)={(-1)}^{\bar{r}}h(19-\bar{r}),0\le \bar{r}\le 19---\left(13\right)$其中为10阶多贝西Daubechies小波高通滤波器g在第个离散点上的值，为10阶多贝西Daubechies小波低通滤波器h在第个离散点上的值；步骤4.6：对于各小波包构造有效语音帧且1≤m≤N_l、1≤l≤L，计算在各小波包树节点(j,p)且0≤j≤J、0≤p≤2^j‑1的归一化能量$\bar{E}(j,p;t_m^{\left(l\right)})={\left|\right|W_{(j,p)}^{m,\left(l\right)}\left|\right|}^2/{\left|\right|t_m^{\left(l\right)}\left|\right|}^2---\left(14\right)$其中为情感类别l的第m个小波包构造有效语音帧在节点(j,p)上的小波包系数，为的欧氏范数，为的欧式范数；步骤4.7：计算各小波包树节点(j,p)且0≤j≤J、0≤p≤2^j‑1的巴氏距离，具体步骤如下：步骤4.7.1：对各小波包树节点(j,p)且0≤j≤J、0≤p≤2^j‑1，分别计算情感类别l且1≤l≤L的全体小波包构造有效语音帧在节点(j,p)处的归一化能量均值μ_l(j,p)和方差${\mu }_l(j,p)=\frac{1}{N_l}\underset{m=1}{\overset{N_l}{\Sigma }}\bar{E}(j,p;t_m^{\left(l\right)})---\left(15\right)$${\sigma }_l^2(j,p)=\frac{1}{N_l}\underset{m=1}{\overset{N_l}{\Sigma }}{(\bar{E}(j,p;t_m^{\left(l\right)})-{\mu }_l(j,p))}^2---\left(16\right)$其中μ_l(j,p)表示情感类别l的全体小波包构造有效语音帧在节点(j,p)处的归一化能量均值，表示情感类别l的全体小波包构造有效语音帧在节点(j,p)处的归一化能量方差；步骤4.7.2：计算各小波包树节点(j,p)且0≤j≤J、0≤p≤2^j‑1中的所有两两情感类别l₁、l₂的类间巴氏距离D_Bh(j,p；l₁,l₂)，其中，1≤l₁≤L，1≤l₂≤L，且l₁≠l₂：$\begin{array}{c}{D}_{\mathrm{Bh}}(j,p;l_1,l_2)=\frac{1}{8}{({\mu }_{l_2}(j,p)-{\mu }_{l_1}(j,p))}^2{\left[\frac{{\sigma }_{l_1}^2(j,p)+{\sigma }_{l_2}^2(j,p)}{2}\right]}^{-1}\\ +\frac{1}{2}\ln \frac{({\sigma }_{l_1}^2(j,p)+{\sigma }_{l_2}^2(j,p))/2}{{\sigma }_{l_1}(j,p)·{\sigma }_{l_2}(j,p)}\end{array}---\left(17\right)$其中D_Bh(j,p；l₁,l₂)表示在节点(j,p)处情感类别l₁、l₂的类间巴氏距离，表示情感类别l₁的全体小波包构造有效语音帧在节点(j,p)处的归一化能量均值，表示情感类别l₂的全体小波包构造有效语音帧在节点(j,p)处的归一化能量均值，和分别表示情感类别l₁的全体小波包构造有效语音帧在节点(j,p)处的归一化能量方差和标准差，和分别表示情感类别l₂的全体小波包构造有效语音帧在节点(j,p)处的归一化能量方差和标准差；步骤4.7.3：计算各小波包树节点(j,p)且0≤j≤J、0≤p≤2^j‑1上的巴氏距离D_Bh(j,p)：$D_{\mathrm{Bh}}(j,p)=\underset{l_1=1}{\overset{L-1}{\Sigma }}\underset{l_2=l_1+1}{\overset{L}{\Sigma }}{P}_{l_1}{P}_{l_2}{D}_{\mathrm{Bh}}(j,p;l_1,l_2)---\left(18\right)$其中D_Bh(j,p)表示节点(j,p)处的巴氏距离，与分别表示情感类别l₁与l₂的先验概率：$P_{l_1}=\frac{N_{l_1}}{\underset{l=1}{\overset{L}{\Sigma }}{N}_l}---\left(19\right)$$P_{l_2}=\frac{N_{l_2}}{\underset{l=1}{\overset{L}{\Sigma }}{N}_l}---\left(20\right)$其中和分别表示情感类别l₁与l₂的小波包构造有效语音帧的总帧数，N_l为情感类别l的小波包构造有效语音帧的总帧数；步骤4.8：依据巴氏距离并采用自底至顶的搜索方法构造最优小波包树，最优小波包树的所有叶节点对应的小波包基即为巴氏距离最优小波包基，具体步骤如下：步骤4.8.1：初始化小波包树结构为用“*”标记的所有叶节点；步骤4.8.2：对j＝J‑1,...,0，p＝0,...,2^j‑1，依次执行：将节点(j,p)的巴氏距离与其两个子节点(j+1,2p)、(j+1,2p+1)的巴氏距离之和进行比较，若D_Bh(j,p)＞D_Bh(j+1,2p)+D_Bh(j+1,2p+1)   (21)则用“*”标记节点(j,p)，否则不标记节点(j,p)，且更新D_Bh(j,p)值为D_Bh(j,p)＝D_Bh(j+1,2p)+D_Bh(j+1,2p+1)   (22)其中D_Bh(j,p)表示节点(j,p)的巴氏距离，D_Bh(j+1,2p)、D_Bh(j+1,2p+1)分别表示节点(j+1,2p)、(j+1,2p+1)的巴氏距离；步骤4.8.3：从小波包树最顶层开始，从上至下移除所有标记为“*”的节点的所有后继结点，得到最优小波包树，最优小波包树的所有叶节点{(j_i,p_i)}_1≤i≤I对应的小波包基即为巴氏距离最优小波包基，其中I为最优小波包树的叶节点总数；步骤5中所述的有效语音帧小波包分解方法如下：步骤5.1：对于各有效语音帧s_k且1≤k≤K，其在小波包树根节点(0,0)上的小波包系数为：$w_{\left(\mathrm{0,0}\right)}^k\left(n_2\right)=F_s^{-1/2}·s_k\left(n_2\right),0\le n_2\le 255---\left(23\right)$其中F_s表示采样频率，s_k(n₂)为有效语音帧s_k在第n₂个离散点上的值，为有效语音帧s_k在小波包树根节点(0,0)上的第n₂个小波包系数；步骤5.2：对于各有效语音帧s_k且1≤k≤K，将s_k在小波包树根节点(0,0)上的小波包系数作为初始值，通过马拉Mallat算法计算s_k在最优小波包树叶节点{(j_i,p_i)}_1≤i≤I处的小波包系数：其中表示有效语音帧s_k在最优小波包树叶节点(j_i,p_i)处的第r₁个小波包系数，且p_i为偶数表示s_k在小波包树节点(j_i‑1,p_i/2)上的第r₂个小波包系数，且p_i为奇数表示s_k在小波包树节点2上)的第r₂个小波包系数，h(r₂‑2r₁)和g(r₂‑2r₁)分别为10阶多贝西Daubechies小波低通和高通滤波器h和g在第r₂‑2r₁个离散点上的值；步骤6中所述的各有效语音帧的情感特征计算方法如下：步骤6.1：对最优小波包树的全体叶节点{(j_i,p_i)}_1≤i≤I，按步骤4.7计算巴氏距离并将全体叶节点{(j_i,p_i)}_1≤i≤I的巴氏距离按由大到小顺序进行排序，排序后的叶节点表示为(j′₁,p′₁),(j′₂,p′₂),...,(j′_I,p′_I)，选取巴氏距离排序前I'且I'＜I的叶节点(j′₁,p′₁),(j′₂,p′₂),...,(j′_I',p′_I')；步骤6.2：对于各有效语音帧s_k且1≤k≤K，计算s_k在叶节点{(j′_i',p′_i')}_1≤i'≤I'上的归一化能量：$\bar{E}(j_{i^{\prime }}^{\prime },p_{i^{\prime }}^{\prime };s_k)={\left|\right|W_{(j_{i^{\prime }}^{\prime },p_{i^{\prime }}^{\prime })}^2\left|\right|}^2/{\left|\right|s_k\left|\right|}^2---\left(25\right)$其中，(j′_i',p′_i')为巴氏距离排序第i'的最优小波包树叶节点，为有效语音帧s_k在最优小波包树叶节点(j′_i',p′_i')上的小波包系数，为的欧式范数，||s_k||为s_k的欧式范数；步骤6.3：对于各有效语音帧s_k且1≤k≤K，计算s_k的对数帧能量e_k：e_k＝lg||s_k||²   (26)其中，||s_k||为s_k的欧式范数；步骤6.4：对于各有效语音帧s_k且1≤k≤K，与对数帧能量e_k共同构成s_k的I'+1维情感特征c_k：$c_k={(\bar{E}(j_1^{\prime },p_1^{\prime };s_k),\bar{E}(j_2^{\prime },p_2^{\prime };s_k),...,\bar{E}(j_{I^{\prime }}^{\prime },p_{I^{\prime }}^{\prime };s_k),e_k)}^T---\left(27\right)$式中，上标T表示向量的转置。