基于拼音韵母说话内容标准化语音情感特征选择方法

摘要

本发明公开了一种基于拼音韵母说话内容标准化语音情感特征选择方法，包括语音片段轨迹模型建立，说话内容标准化，语音表达因素与特征表现相关性的量化以及语音情感选择。该方法在建立轨迹模型的基础上量化语音表达因素与特征表现相关性，从而选择语音情感特征。本发明通过构建针对情感分类问题的语音轨迹模型，量化语音表达中各个因素与特征表现相关性，利用说话内容标准化方法，降低了语音内容等无关信息对于语音特征表现的影响，选择出含有较多情感信息的语音特征，同时具有较低的计算复杂度。

主权项

一种基于拼音韵母说话内容标准化语音情感特征选择方法，其特征在于，该方法包括以下步骤：步骤1：对情感语音片段数字化后的数字语音信号X进行预处理，得到有效语音帧集合，对所述有效语音帧集合中每个语音片段X′提取一个D维的特征A，得到一个特征矩阵C：$C=\left[\begin{array}{ccccc}{c}_{1,1}& \mathrm{...}& c_{1,t}& \mathrm{...}& c_{1,D}\\ c_{2,1}& \mathrm{...}& c_{2,t}& \mathrm{...}& c_{2,D}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ c_{m,1}& \mathrm{...}& c_{m,t}& \mathrm{...}& c_{m,D}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ c_{K,1}& \mathrm{...}& c_{K,t}& \mathrm{...}& c_{K,D}\end{array}\right]=\left[\begin{array}{ccccc}{C}_1& \mathrm{...}& C_t& \mathrm{...}& C_D\end{array}\right]---\left(1\right)$其中，K为有效语音帧帧长，A表示语音片段提取的特征，D表示特征A的维数，c_m，t表示特征矩阵中一个元素，C_t表示特征矩阵中一个列向量，其中t为特征矩阵中列标，t＝1，2，...，D，m为特征矩阵中行标，m＝1，2，...，K；步骤2：把所述特征矩阵C转换为一个轨迹模型方程：C＝ZB+E，其中B表示轨迹参数矩阵，E表示残差向量矩阵，Z表示负责将语音片段的时间度量归一化的设计矩阵；然后构建行数为K，列数为轨迹模型展开阶次J加1的设计矩阵Z，其中元素v为设计矩阵行标，j为设计矩阵列标，v＝1，2，...，K，j＝1，2，...，J+1；步骤3：对每个语音片段，利用最大似然估计来计算轨迹参数矩阵B_q：B_q＝(Z′_qZ_q)^‑1Z′_qC_q                   (2)其中，q为语音片段编号，Z_q，C_q分别为第q个语音片段的设计矩阵和特征矩阵，Z′_q为Z_q的转置矩阵；然后计算每个语音片段的残差协方差矩阵∑_q：${\Sigma }_q=\frac{E_q^{\prime }{E}_q}{K_q}=\frac{{(C_q-Z_q{B}_q)}^{\prime }(C_q-Z_q{B}_q)}{K_q}---\left(3\right)$K_q是第q个语音片段的帧数；步骤4：对说话内容进行标准化：选取汉语拼音中的韵母作为参考标准p_ref，将韵母的语音片段X_ref作为参考语音片段，并用轨迹模型将参考语音片段表示为{B_ref，∑_ref，K}，需要标准化的其他音位p_i的语音片段，即需要变换的语音片段X_i的声学特征用轨迹模型表示为{B_i，∑_i，K}，其中B_ref表示参考语音片段X_i的平均轨迹向量，∑_ref表示参考语音片段X_ref的残差协方差矩阵，B_i表示需要变换语音片段X_i的平均轨迹向量，∑_i表示参考语音片段X_i的残差协方差矩阵；首先根据下式进行白化转换：$X^w={D_i}^{-\frac{1}{2}}{V}_i^{\prime }(X_i-B_i)---\left(4\right)$其中，V_i，D_i分别为∑_i对应的特征向量矩阵和特征值矩阵，是白化变换，X^w表示白化变换后的数据，即X_i解相关数据；然后根据下式进行说话内容标准化：$X^n=V_{ref}{D}_{ref}^{\frac{1}{2}}{X}^w+B_{ref}---\left(5\right)$Xⁿ表示X_i利用参考语音片段X_ref标准化后的数据，V_ref，D_ref分别表示∑_ref对应的特征向量矩阵和特征值矩阵；步骤5：计算各个影响语音表达的因素在语音表达中与声学特征的相关性，包括：标准化后情感因素与声学特征的相关性、标准化后说话内容因素与声学特征的相关性；步骤6：相关性比较：将所有声学特征中，与情感因素的相关性大于与标准化后的说话内容因素相关性的特征作为语音情感识别特征。