抗噪声语音识别用语音增强－特征加权－对数谱相加方法

摘要

抗噪声语音识别用语音增强－特征加权－对数谱相加方法属于语音识别技术领域，其特征在于：它是一种融合多空间抗噪声语音识别技术，即MMSE(最小均方差增强)－FW(特征加权)－LA(对数谱相加)的方法，它根据短时段语音各维特征提取空间的局部信噪比，给出特征的置信度估计，即权重，并对识别算法进行修改，把权重信息代入识别过程。尤其是前端语音增强技术、特征加权和对数谱相加模型补偿算法分别针对噪声在信号、特征和模型空间造成的失配进行处理，从而整体地提高了语音识别系统的抗噪声性能。在SNR(信噪比)为－5dB的高斯白噪声和汽车噪声这种强背景噪声环境下，识别率都达到了80％，而且前端增强和特征权重估计相互融合，选用了计算量较低的MMSE法，模型补偿也不需要对噪声模型进行离线估计。

主权项

1．抗噪声语音识别用语音增强-特征加权-对数谱相加方法，含有计算机上运行的语音增强-对数谱相加方法，其特征在于，它依次含有以下步骤：(1).初始化Mel滤波器组在各线性频点k上的抽头系数H_m(k)，以及对数谱特征与MFCC(Mel频段倒谱系数)特征的转换矩阵Tr和Tr^-1：其中k＝1，2，...，N_fft2，N_fft所是FFT的频点数：m＝1，2，..，M，M是Mel滤波器的个数。(2).输入含噪语音和纯净语音经训练得到的模型参数：μ^c：纯净语音训练得到的模型状态在MFCC倒谱域下的静态特征均值；δμ^c：纯净语音训练得到的模型状态在MFCC倒谱域下的动态特征均值；(3).分帧、加窗：若采样后的原始语音为y(n)，汉明(hamming)窗在第n个采样点上的系数： $h\left(n\right)=0.54-0.46\cos \left(\frac{2\mathrm{\pi n}}{N-1}\right),n=1,····,N$N等于帧长，则分帧后的原始语音信号为： $y(n,t)=y(\frac{N\times (t-1)}{2}+n),n=1,···,N$t表示帧号，加上汉明窗后的原始语音信号为：y_w(n，t)＝y(n，t)×h(n)，n＝1，…，N(4).快速傅立叶变换FFT：由于语音短时频谱对感知语音起决定性的作用，利用FFT逐帧将语音变换到频谱域： $\stackrel{.}{Y}(k,t)=Y{(k,t)e}^{<\stackrel{.}{Y}(k,t)}=\mathrm{FFT}\left\{y_w(n,t)\right\},k=1,...,N_{\mathrm{fft}}$N_fft是FFT变换的点数。(5).噪声帧检测和噪声谱幅度估计：(5.1).设定前10帧起始段含噪语音为噪声帧，输入当前第t帧含噪语音的短时谱幅度：(5.2).若当前帧为起始段噪声帧，则前t帧噪声功率谱幅度的估计值为： ${\tilde{D}}_P(k,t)={[\underset{s=1}{\overset{t}{\Sigma }}Y(k,s)/t]}^2$并在当前帧为第10帧时输出起始段噪声谱幅度的估计值： $N\left(k\right)=\underset{s=1}{\overset{10}{\Sigma }}Y(k,s)/10$计算用于区分噪声帧和含噪语音帧的判决门限x： $x=\underset{t=\mathrm{1,2},...,10}{\max }\left\{\underset{k=1}{\overset{N_{\mathrm{fft}}/2+1}{\Sigma }}\mathrm{Pow}\right[Y(k,t)/N\left(k\right),5\left]\right\}$    (5.3).若当前帧不是起始段噪声帧，则当前帧t的判决值： $\rho =\underset{k=1}{\overset{N_{\mathrm{fft}}/2+1}{\Sigma }}\mathrm{Pow}[Y(k,t)/N\left(k\right),5]$        (5.3.1)若ρ＜x，则判决为含噪语音中的噪声帧，其噪声功率谱幅度估计值为： ${\tilde{D}}_p(k,t)=0.98\times {\tilde{D}}_p(k,t-1)+0.02\times Y_p(k,t)$    并输出；        (5.3.2).若ρ≥x，则判决为非噪声帧，即含有噪声的语音帧，其噪声功率谱幅    度为： ${\tilde{D}}_p(k,t)={\tilde{D}}_p(k,t-1)$    并输出；(6).用取决于先验信噪比ζ和后验信噪比γ的谱幅度增益系数G(k，t)计算纯净语音短时谱幅度的估计值，以及相应的第t帧第m个对数谱特征的权重w_m(t)：    (6.1).输入当前第t帧含噪语音的短时谱幅度；(6.2).计算当前帧t第k个频点的后验信噪比 $\gamma (k,t)=Y_D(k,t)/{\tilde{D}}_D(k,t)$，Y_p(k，t)为含噪语音的功率谱幅度，为估计的噪声功率谱幅度。        (6.2.1).如果当前帧t＝1，则初始化当前帧第k个频点的先验信噪比为    ζ(k，t)＝0.1；        (6.2.2).如果当前帧t＞1，则利用上一帧的先验和当前帧的后验信噪比，通过滑    动平均估计得到当前帧第k个频点的先验信噪比：            ζ(k，t)＝0.98×ζ(k，t-1)+0.02×[γ(k，t)-1]    (6.3).当前帧t第k个频点的谱幅度增益系数： $G(k,t)=\frac{1}{2}\sqrt{\frac{\mathrm{\pi \zeta }(k,t)}{\gamma (k,t)(1+\zeta (k,t))}}\Psi (-0.5;1;-\frac{\gamma (k,t)\zeta (k,t)}{1+\zeta (k,t)})$利用级数求和，计算得到： $\Psi (a_1,a_2,a_3)=1+\frac{a_1}{a_2}\frac{a_3}{1}+\frac{a_1(a_1+1)}{a_2(a_2+1)}\frac{{a_3}^2}{2!}+...$其中a₁＝-0.5，a₂＝1， $a_3=-\frac{\gamma (k,t)\zeta (k,t)}{1+\zeta (k,t)}$    (6.4).相应的纯净语音短时谱幅度的估计值为： $\hat{X}(k,t)=G(k,t)Y(k,t)$    (6.5).重新计算当前帧第k个频点的先验信噪比： $\zeta (k,t)={\left|\hat{X}(k,t)\right|}^2/{\tilde{D}}_p(k,t)$(6.6).计算完当前帧t第k个频点(1≤k≤N_fft/2+1)的G(k，t)、和ζ(k，t)值。    (6.7).计算当前帧t第m个对数谱特征的权重： $w_m\left(t\right)=\underset{k=1}{\overset{N_{\mathrm{fft}}/2}{\Sigma }}G(k,t)H_m\left(k\right)/\underset{k=1}{\overset{N_{\mathrm{fft}}/2}{\Sigma }}{H}_m\left(k\right)$    (6.8).计算当前帧共M个对数谱特征的的权重，M是对数谱特征的维数。(6.9).计算完t＝1，2，...，T各帧中的和w_m(t)；(6.10).输出所有相应的纯净语音短时谱幅度估计值和对数谱特征的权重w_m(t)；(7).MFCC特征提取(7.1).输入纯净语音短时谱幅度估计值(7.2).计算功率谱： ${\hat{X}}_p(k,t)={\left|\hat{X}(k,t)\right|}^2$，k＝1，...，N_fft；    (7.3).Mel滤波： $\mathrm{MBank}(m,t)=\underset{k=1}{\overset{N_{\mathrm{fft}}/2}{\Sigma }}{H}_m\left(k\right)\times {\hat{X}}_p(k,t),m=1,...,M$    (7.4).对数谱特征：FBank(m，t)＝log(MBank(m，t))，m＝1，..，M    (7.5).DCT倒谱表示： $\tilde{c}(r,t)=\alpha \left(r\right)\underset{m=1}{\overset{M}{\Sigma }}\mathrm{FBank}(m,t)\cos \left(\frac{\pi (2m-1)(r-1)}{2M}\right),r=1,···,M$其中 $\alpha \left(1\right)=\sqrt{\frac{1}{M}},\alpha \left(r\right)=\sqrt{\frac{2}{M}},r=2,····,M$，并取前R维特征矢量    (7.6).倒谱加权： $c(r,t)=\mathrm{lifter}\left(r\right)\times \tilde{c}(r,t),r=1,···,R$其中 $\mathrm{Lifter}\left(r\right)=1+\frac{L}{2}\sin \left(\frac{\pi (r-1)}{L}\right)$，r＝1，…，R，L为加权滤波器宽度；    (7.7).计算动态系数： $\mathrm{\Delta c}(r,t)=\underset{\mathrm{\Delta t}=-2}{\overset{2}{\Sigma }}\mathrm{\Delta tc}(r,t+\mathrm{\Delta t})/10$，Δt表示帧间距；    (7.8).输出c(r，t)和Δc(r，t)；(8).判断待识别语句是否输入完毕t＝T(9).若判断为待识别语句已经输入完毕，则计算噪声帧，即剩余噪声的静态MFCC特征平均值，剩余噪声的定义如下： $\hat{d}\left(n\right)=\hat{x}\left(n\right)-x\left(n\right)$其中x(n)表示纯净语音在第n个样点上的值，表示x(n)增强后的估计值。由于剩余噪声存在于各个语音帧，而语音仅存在于非噪声帧，所以对于噪声帧来说， $\hat{D}(k,t)=\hat{X}(k,t),$即剩余噪声的短时谱幅度在各噪声帧中等于增强后语音的短时谱幅度，我们可以利用下式计算剩余噪声的静态MFCC特征均值：其中噪声帧包括起始段10帧和后面判决的噪声帧，r＝1，2，..，R。(10).Log-Add对数谱相加模型补偿：    (10.1).输入剩余噪声的MFCC特征均值并转换到对数谱域 ${\mu }_n^l={\mathrm{Tr}}^{-1}{\mu }_n^c;$    (10.2).输入纯净语音训练模型的状态均值，并转换到对数谱域μ^l＝Tr^-1μ^c，Δμ^l＝Tr^-1Δμ^c；    (10.3).Log-Add模型补偿： ${\hat{\mu }}_m^l={\mu }_m^l+\log (1+\exp ({\mu }_{\mathrm{nm}}^l-{\mu }_m^l)),m=\mathrm{1,2},..,M$ $\Delta {\hat{\mu }}_m^l=\frac{{\mathrm{\Delta \mu }}_m^l}{1+\exp ({\mu }_{\mathrm{nm}}^l-{\mu }_m^l)}$    (10.4).把补偿的模型状态转换到MFCC倒谱域 ${\hat{\mu }}^c=\mathrm{Tr}{\hat{\mu }}^l,{\Delta \hat{\mu }}^c=\mathrm{Tr}{\Delta \hat{\mu }}^l;$    (10.5).当状态输入完毕，输出剩余噪声补偿后的语音模型；(11).特征加权的维特比识别译码：(11.1).输入剩余噪声补偿后的语音模型、增强语音当前帧MFCC特征、对数谱特征权重w_m(t)；    (11.2).计算观测帧在候选状态下的对数概率似然值：        (11.2.1).在MFCC倒谱域计算MFCC特征与可选状态的状态均值的矢量差： $d^c={y_t}^c-u^c;$        (11.2.2).把差矢量变换到对数谱特征域：d^l＝Tr^-1d^c；        (11.2.3).在对数谱域进行加权，并变换回MFCC倒谱域d^c＝TrWd^l；        (11.2.4).计算对数概率似然值： $\log \left(p\left({y_t}^c\right|q\left(t\right)=i)\right)=C\left({\Sigma }^c\right)-{1/2}^{{\overrightarrow{d}}^{\mathrm{cT}}}{\left({\Sigma }^c\right)}^{-1}{\overrightarrow{d}}^c$    其中∑^c为倒谱域的状态方差矩阵，且为对角阵∑^c＝Diag{σ_i1，σ_i2，..，σ_ir..}，c表示倒谱域，i表示状态；C(∑^c)表示与无关的常数项，对应 $-\underset{r=1}{\overset{R}{\Sigma }}\log \left(\sqrt{2\pi }{\sigma }_{\mathrm{ir}}\right)$，R是倒谱    特征的维数。    (11.3).初始化Viterbi译码后，再迭代，计算完t＝1，2，...，T帧；    (11.4).计算最大概率 $p^{*}=\underset{1\le i\le N}{\max }\left[{\delta }_T\left(i\right)\right]$和最佳路径的终止状态： $\hat{q}\left(T\right)=\underset{1\le i\le N}{\arg \max }\left[{\delta }_T\left(i\right)\right];$(11.5)通过回溯依次输出最佳路径上的其他状态：(12).输出识别结果，结束。