计算机辅助语言学系统中的发音质量评价方法

摘要

本发明属于语音技术领域，计算机辅助语言学系统中的发音质量评价方法，包括：匹配分数的计算、基于美尔(Mel)频标的感知分数的计算、段长分数的计算和基音分数的计算，并将上述分数映射后进行融合；本发明的发音质量评价方法具有稳健性好，与专家评分相关性高的优点，可以用于交互式语言学和自动口语测试。

主权项

1.一种计算机辅助语言学习系统中语音发音质量评价方法，包括：匹配分数计算、基于Mel频标的感知分数计算、基音分数计算、分数映射、分数融合各部分，具体计算包括以下步骤：步骤1首先分别对参考语音和测试语音进行分帧处理，得到短时平稳的分帧语音；步骤2按照步骤2.1-2.4分别计算步骤1中所述的分帧的参考语音和测试语音的匹配分数；步骤2.1分别对所述分帧的参考语音和测试语音每帧提取MFCC特征，共39维特征，其中包括：12维MFCC系数及其一阶差分和二阶差分，归一化能量及其一阶差分和二阶差分；步骤2.2利用预先训练好的HMM模型，采用Viterbi解码算法分别对步骤2.1输入的参考语音和测试语音进行强制对准，分别得到参考语音和测试语音的似然度，以及语音中每个音素的时间分隔信息；步骤2.3按照以下公式计算第i个音素的匹配分数L(i)：L(i)＝|log(p_text(O_test|q_i))-log(p_ref(O_ref|q_i))|其中，p_test(O_test|q_i)是测试语音的似然度，p_ref(O_ref|q_i)是参考语音的似然度。其中，q_i表示第i个音素HMM模型，O_test和O_ref分别是测试语音和参考语音的MFCC特征矢量；步骤2.4按照以下公式计算音素平均匹配分数，并以此作为语音发音的匹配分数S_{mat_sen}：$S_{\mathrm{mat}\_\mathrm{sen}}=\frac{1}{N_p}\underset{i=1}{\overset{N_p}{\Sigma }}L\left(i\right)$其中，N_p为语音发音中音素总个数；步骤3按照步骤3.1-3.7分别计算步骤1中所述的分帧的参考语音和测试语音的感知分数；步骤3.1分别对所述的参考语音和测试语音分帧并加Hanning窗；步骤3.2把步骤3.1中分帧的语音送入Mel频标上均匀分布的Q个三角窗滤波器进行Mel滤波处理，按照下式得到每个滤波器输出的能量和的对数值M(q)：$M\left(q\right)=\ln [\underset{n=F_{q-1}}{\overset{F_q}{\Sigma }}\frac{n-F_{q-1}}{F_q-F_{q-1}}G\left(n\right)+\underset{n=F_q}{\overset{F_{q+1}}{\Sigma }}\frac{F_{q+1}-n}{F_{q+1}-F_q}G\left(n\right)]$其中，F_q是第q个三角窗滤波器的中心频率，F_q+1和F_q-1分别为第q个三角窗滤波器的上、下截止频率，G(n)为三角窗函数，Q为三角窗滤波器的个数，q＝1，2，3…，Q；步骤3.3按照下式把步骤3.2得到的第q个三角窗滤波器输出的能量和对数值M(q)映射到听感知域的响度L(q)：L(q)＝0.048M(q)^0.6步骤3.4基于步骤2.2得到的每个音素的时间分隔信息，利用动态时间规划算法(DTW)把参考语音和测试语音相应的音素在音素层面上逐帧对准，并计算参考语音和测试语音在第q个三角窗输出的响度差感知域上的响度差D(q)：D(q)＝L_test(q)-L_ref(q)    q＝1，2，3，…，QL_test(q)是测试语音在第q个三角窗滤波输出的响度；L_ref(q)是参考语音在第q个三角窗滤波输出的响度；步骤3.5按照下式计算每帧语音的响度差p_frame(j)：$p_{\mathrm{frame}}\left(j\right)=\underset{q=1}{\overset{Q}{\Sigma }}W\left(q\right)\sqrt{\frac{\underset{q=1}{\overset{Q}{\Sigma }}{\left(D\left(q\right)W\left(q\right)\right)}^2}{\underset{q=1}{\overset{Q}{\Sigma }}W\left(q\right)}}$W(q)为第q个三角滤波器的带宽，Q为三角窗滤波器的个数，j表示参考语音和测试语音的第j帧；步骤3.6按下式计算第i个音素的感知分数p_phone(i)，音素的感知分数为参考语音和测试语音的帧平均响度差：$p_{\mathrm{phone}}\left(i\right)=\sqrt[6]{\frac{\underset{j=1}{\overset{N}{\Sigma }}{\left[p_{\mathrm{frame}}\left(j\right)\right]}^6}{N}}$其中N为参考语音和测试语音中较长语音对应音素的帧数；步骤3.7按下式计算整个语音发音的感知分数p_{p_sen}：$p_{p\_\mathrm{sen}}=\frac{1}{N_p}\underset{i=1}{\overset{N_p}{\Sigma }}{p}_{\mathrm{phone}}\left(i\right)$其中N_p为语音发音中音素总个数；步骤4按照步骤4.1-4.3计算整个语音发音的段长分数：步骤4.1基于步骤2.2得到每个音素的时间分隔信息，利用段长模型分别计算参考语音和测试语音各个音素的段长概率分数，段长模型采用直方图模型或者Gamma模型计算，由标准语音库通过预先学习得到；步骤4.2按下式计算音素段长分数d_phone：d_phone＝|LogD_test-LogD_ref|其中D_test为测试语音的相应音素的段长概率分数，D_ref为参考语音相应音素的段长概率分数；步骤4.3按照下式计算整个语音发音的段长分数d_sen：$d_{\mathrm{sen}}=\frac{1}{N_p}\underset{i=1}{\overset{N_p}{\Sigma }}{d}_{\mathrm{phone}}\left(i\right)$其中d_phone(i)为语音发音中第i个音素的对数段长概率分数；步骤5按照步骤5.1-5.2计算整个语音发音的基音分数：步骤5.1结合步骤2.2中得到每个音素的时间分隔信息，采用基于线性预测编码(LPC)中的自相关估计算法，分别计算参考语音和测试语音中第i个元音内的基音极大值和极小值之差S_vow(i)：S_vow(i)＝P_max(i)-P_min(i)其中P_max(i)和P_min(i)分别表示第i个元音内的基音的极大值和极小值；步骤5.2按照下式计算基音分数R_{vow_max_min}：$R_{\mathrm{vow}\_\max \_\min }=\frac{1}{N_v}\underset{i=1}{\overset{N_v}{\Sigma }}{|S_{\mathrm{vow}}^{\mathrm{test}}\left(i\right)-S_{\mathrm{vow}}^{\mathrm{ref}}\left(i\right)|}^2$其中N_v为句子中的元音总数，为测试语音中第i个元音内的基音极值差，为参考语音中第i个元音内的基音极值差；步骤6按照步骤6.1-6.2计算整个语音的发音质量评价的融合分数，进行融合的分数包括匹配分数、感知分数、段长分数和基音分数：步骤6.1通过映射函数将原始机器评价分数映射到专家评分取值区间内，按下式计算映射后机器分数：y＝a₁x³+a₂x²+a₃x+a₄(15)其中，x为原始机器分数，y为映射后的机器分数，a₁，a₂，a₃和a₄为多项式系数；步骤6.2基于线性融合方法计算整个语音的发音质量评价的融合分数计算公式如下：其中，s₁，s₂，…，s_n表示映射后的各个机器分数，a₁，a₂，…，a_n为组合系数；如果采用SVM进行分数融合，可以利用通用的SVM软件工具包计算融合分数基于SVM融合效果优于线性融合的方法。