英语口语机考系统中网络语音识别方法

摘要

本发明涉及了一种在英语口语机考系统中实现网络语音识别的方案。本方案对传统的谱相减（SS）降噪声技术和倒谱均值规整（CMN）降噪声技术进行改进，同时结合等同于连续状态隐马尔可夫模型（HMM）的概率尺度DP识别方法，提出了一种在英语网考系统中非特定人的网络语音识别方案，并利用其实现了实际环境下网络语音识别装置。本方案采用上述方法，将具有输入幅值谱自适应的SS方法和基于渐进自适应方式MAP算法的CMN方法相结合，大大降低了环境噪声对识别系统的影响。同时，本方案在传统的DP方法基础上，利用概率尺度的DP算法进行识别，使得DSP语音识别装置能够适用于户外不同场合的、非特定人的语音识别，从而使得识别系统范围和识别精度得到了提高。

主权项

1.一种英语口语机考系统中网络语音识别方法，其特征在于，包括一些步骤：A.输入英语口语机考系统中的语音信号a′(t)，t为时间变量；B.预处理与特征提取预处理阶段1)语音信号进行采样：对英语口语机考系统中语音信号进行采样频率f_s为8kHz的采样，采样后的信号为s(t)，$s\left(t\right)=a^{\prime }\left(t\right)·{\delta }_T\left(t\right)=a^{\prime }\left(t\right)·\underset{n^{\prime }=-\infty }{\overset{n^{\prime }=\infty }{\Sigma }}\delta (t-n^{\prime }/f_s)=\underset{n=-\infty }{\overset{n=\infty }{\Sigma }}{a}^{\prime }(n^{\prime }/f_s)·\delta (t-n^{\prime }/f_s),$再进行1-0.98Z^-1的预加重处理，1-0.98Z^-1的时域形式为1-0.98δ(t-1)，预加重后的语音信号b(t)＝s(t)*[1-0.98δ(t-1)]＝s(t)-0.98s(t-1)，其中，δ_T(t)为冲激函数，n′为整数；2)用窗长25ms，窗移10ms的汉明窗对语音信号进行加窗分帧处理：分帧采用交叠分段的方法，前一帧和后一帧的交叠部分称为帧移长度M，用可移动的有限长度窗口进行加权的方法来实现的，即用窗函数ω′(t)来乘预加重后的语音信号b(t)，从而形成加窗语音信号x(t)，x(t)＝b(t)·ω′(t)，本发明采用汉明窗ω′(t)，其窗函数为：${\omega }^{\prime }\left(t\right)=\left\{\begin{array}{c}0.54-0.46\cos [2\mathrm{\pi t}/(N-1)],0\le t\le N-1\\ 0,t=\mathrm{else}\end{array}\right.$N为窗长，窗长即帧长，窗移即N-M，帧移长度M为15ms，加窗分帧处理后得到的第i帧语音信号为x_i(t)，则x_i(t)满足下式：x_i(t)＝ω′(t+l)b(t)，0≤t≤N-1其中，l＝0，1(N-M)，2(N-M)，…，(总帧数-1)(N-M)，M为帧移长度，N为帧长即窗长，3)语音信号的端点检测：利用语音信号的短时能量进行端点检测设第i帧语音信号x_i(t)的短时能量用E_i表示，则计算公式如下：$E_i=\underset{t=0}{\overset{N-1}{\Sigma }}{x_i}^2\left(t\right)$设置两个门限，一个较低的门限T_low，T_low＝min(E_i，i＝1，2，...，总帧数)·0.1，数值比较小，对信号的变化比较敏感；一个较高的门限T_high，T_high＝max(E_i，i＝1，2...，总帧数)·0.1，当T_high第一次被超过时，断定为区域语音信号的开始，当短时能量降到T_low以下就代表区域语音信号的结束，4)利用语音区间检测时使用的短时能量对输入波形数据进行规整，即进行归一化处理，使得输入语音基本上按等幅进行频率分析，方法为：第i帧语音信号x_i(t)的短时能量E_i，归一化后的第i帧语音信号x_i(t)的短时能量为5)降噪处理：I：采用具有输入幅值谱自适应的谱相减SS方法来降低由环境噪声引起的加性噪声：第i帧语音信号x_i(t)含有噪声的傅里叶变换为x_i(ω)，ω为频率，j为虚数单位，则第i帧语音信号x_i(t)的幅值谱为|x_i(ω)|，其功率为：|x_i(ω)|²，除噪后的第i帧语音信号为x_inew(t)，其幅值谱为|x_inew(ω)|，则除噪后的第i帧语音信号的功率为：|x_inew(ω)|²，推定的噪声功率为|n_i(ω)|²，在整个区域语音以外的当前输入第i帧信号为y_i(t)，其帧功率为|y_i(ω)|²，对于第i帧语音信号幅值谱的第o元素，噪声下的语音功率为|x_i(ω)|²_o，推定的噪声功率是|n_i(ω)|²_o，除噪后的语音功率是|x_inew(ω)|²_o，为了补偿第4)步中由于规整而丢失的能量信息，推定噪声功率估计修正为：|n_i(ω)|²_o＝(1-β)|n_i-1(ω)|²_o+βE_i′|y_i(ω)|²_o，0＜β＜1，本发明中取β＝0.55，SS权值系数修正为$\hat{\alpha }\left(i\right)=\frac{\alpha \left(i\right)}{E_i}$$\alpha \left(i\right)=\left\{\begin{array}{cc}{\phi }_1,& {{\left|x_i\left(\omega \right)\right|}^2}_o<{\theta }_1\\ \frac{{\phi }_2-{\phi }_1}{{\theta }_2-{\theta }_1}{{\left|x_i\left(\omega \right)\right|}^2}_o+{\phi }_1,& {\theta }_1<{{\left|x_i\left(\omega \right)\right|}^2}_o<{\theta }_2\\ {\phi }_2,& {{\left|x_i\left(\omega \right)\right|}^2}_o>{\theta }_2\end{array}\right.,$其中0＜θ₁，θ₂＜1，φ₁和φ₂是常数其中，φ₁＝0.1，φ₂＝0.3，θ₁＝0.2，θ₂＝0.8，E_i为第i帧语音信号的短时能量，E_i′为第i帧语音信号归一化后的短时能量，|y_i(ω)|²_o为在整个区域用语音以外的当前输入信号帧功率，除噪后语音的功率为：${{\left|x_{\mathrm{inew}}\left(\omega \right)\right|}^2}_o=\left\{\begin{array}{ccc}{{\left|x_i\left(\omega \right)\right|}^2}_o-\hat{\alpha }{{\left(i\right)\left|n_i\left(\omega \right)\right|}^2}_o& \mathrm{if}& {{\left|x_i\left(\omega \right)\right|}^2}_o>\hat{\alpha }{\left(i\right){\left|n_i\left(\omega \right)\right|}^2}_o\\ 0& \mathrm{if}& \mathrm{else}\end{array}\right.$II：利用基于最大后验概率(MAP)的倒谱均值规整CMN方法来降低由输入和传输电路系统引起的乘性噪声：设对于第i帧倒谱的第o元素，噪声下的语音倒谱是C_o(i)，是采用第I种降噪后的x_inew(t)对数幅值谱的第o元素的傅里叶逆变换，即|x_inew(ω)|_o表示第i帧语音信号幅值谱的第o元素，除噪后语音的倒谱是${\hat{C}}_o\left(i\right)=C_o\left(i\right)-\frac{\gamma C_{o0}+\underset{i=1}{\overset{k}{\Sigma }}{C}_o\left(i\right)}{\gamma +k}$式中γ是自适应训练系数，γ＞1，C_o0是表示先验分布的初始估计值，0＜C_o0＜1，k为总帧数，γ＝2，C_o0＝0.95，6)经过上述预处理过程之后的语音信号为x_new′(t)，t为时间变量，其第i帧语音信号为x_inew′(t)，特征参数提取阶段1)对预处理后的每一帧语音信号分别求取14维LPC系数：设第i帧语音信号为x_inew′(t)的功率谱为|X_inew′(e^jω)|²，X_inew′(e^jω)即信号谱，表示第i帧语音信号x_inew′(t)的傅里叶变换，由|X_inew′(e^jω)|²＝|H(e^jω)|²求出14维LPC系数a_p，p＝1，2，...，14，则第i帧语音信号的声道模型系统函数H(z)为：$H\left(z\right)=\frac{1}{1+\underset{p=1}{\overset{14}{\Sigma }}{a}_p{z}^{-p}}---\left(3\right)$其冲激响应为h(n″)，表示h(n″)的复倒谱，则有：$\hat{H}\left(z\right)=\ln H\left(z\right)=\underset{n^{\prime \prime }=1}{\overset{\infty }{\Sigma }}\hat{h}\left(n^{\prime \prime }\right)z^{-n^{\prime \prime }}---\left(4\right),$将式(3)代入(4)式并将其两边对z^-1求导数，有：$(1+\underset{p=1}{\overset{14}{\Sigma }}{a}_p{z}^{-p})\underset{n^{\prime \prime }=1}{\overset{\infty }{\Sigma }}{n}^{\prime \prime }\hat{h}\left(n^{\prime \prime }\right)z^{-n^{\prime \prime }+1}=-\underset{p=1}{\overset{14}{\Sigma }}{\mathrm{pa}}_p{z}^{-p+1}$n″为正整数，令上式左右两边的常数项和z^-1各次幂的系数分别相等，从而可由LPC系数a_p求出LPC复倒谱$\left.\begin{array}{cc}\hat{h}\left(n^{\prime \prime }\right)=0,& (n^{\prime \prime }=0)\\ \hat{h}\left(n^{\prime \prime }\right)=-a_{n^{\prime \prime }}-\underset{p=1}{\overset{n^{\prime \prime }-1}{\Sigma }}(1-p/n^{\prime \prime })a_p\hat{h}(n^{\prime \prime }-p),& (1\le n^{\prime \prime }\le 14)\\ \hat{h}\left(n^{\prime \prime }\right)=-\underset{p=1}{\overset{14}{\Sigma }}(1-p/n^{\prime \prime })a_p\hat{h}(n^{\prime \prime }-p),& (n^{\prime \prime }>14)\end{array}\right\}$从而LPC倒谱系数LPCC：c(n″)为LPC倒谱系数LPCC，2)利用求出的LPC倒谱系数LPCC对每一帧的语音信号分别求取10维LPC美尔倒谱系数LPCMCC和10维线性回归一阶LPCMCC系数ΔLPCMCC作为语音特征参数：I：根据人的听觉特性，把常用的识别参数LPC倒谱系数LPCC进一步按符合人的听觉特性的美尔MEL尺度进行非线性变换，求出如下所示的LPC美尔倒谱系数LPCMCC：${\mathrm{MC}}_g\left(d\right)=\left\{\begin{array}{cc}c\left(n^{\prime \prime }\right)+ϵ·{\mathrm{MC}}_0(d+1),& g=0\\ (1-{ϵ}^2)·{\mathrm{MC}}_0(d+1)+ϵ·{\mathrm{MC}}_1(d+1),& g=1\\ {\mathrm{MC}}_{g-1}(d+1)+ϵ·({\mathrm{MC}}_g(d+1)-{\mathrm{MC}}_{g-1}\left(d\right)),& g>1\end{array}\right.$这里，MC_g(d)为LPC美尔倒谱系数LPCMCC，d为迭代次数，g为美尔倒谱阶数，d＝g＝9，c(n″)为LPC倒谱系数，当d＞9时，MC_g(d)＝0，并且当抽样频率为8kHz时，ε取0.31，迭代是从高到低，即d从大到0取值，最后求得的美尔倒谱系数放在MC₀(0)，MC₁(0)，...，MC₉(0)里面，组成一个10维的特征矢量的时间序列，II：求取一阶的倒谱线性回归系数ΔLPCMCC：$R_r(t,T^{\prime \prime },\mathrm{\Delta T},N^{\prime })=\frac{\underset{X^{\prime }=1}{\overset{N^{\prime }}{\Sigma }}{P}_r(X^{\prime },N^{\prime })C[t+[\frac{X^{\prime }-1}{N^{\prime }-1}-\frac{1}{2}\left](T^{\prime \prime }-\mathrm{\Delta T})\right]}{\underset{X^{\prime }=1}{\overset{N^{\prime }}{\Sigma }}{P}_r^2(X^{\prime },N^{\prime })}$r为阶数取1，P_r(X′，N′)表示求取r阶线性回归系数时的加权函数，当r＝1时，P_r(X′，N′)＝X′，C(t)、T″、ΔT、N′分别表示在时刻t的LPCMCC、计算回归系数的时间宽度、语音特征参数分析时的窗移和计算回归系数时所用的帧数，ΔT为15ms，由LPCMCC，求出10维的一阶的倒谱线性回归系数ΔLPCMCC，3)将求出10维的LPCMCC和10维的线性回归一阶LPCMCC系数ΔLPCMCC作为语音特征参数，组成一个20维的特征参数矢量Vector，C.语音识别I.语音识别方法采用基于概率尺度DP识别方法1)用基于概率尺度的动态规划DP算法进行时间规整以单词作为一个识别单元，利用模板匹配方法进行识别，在训练阶段，将训练数据中每个单词中提取的特征矢量时间序列作为模板存入模板库；在识别阶段，将待识别语音的特征矢量时间序列依次与模板库中的每个模板进行相似度比较，将相似度最高者作为识别结果输出，所述的待识别语音采用基于概率尺度的动态规划DP算法进行时间规整：待识别语音特征参数共有k帧矢量，设相应的参考模板共有J帧矢量，且k≠J，动态时间规整就是寻找一个时间规整函数它将测试矢量的时间轴u非线性的映射到模板的时间轴v上，并使该函数满足：式中，是第u帧待识别语音的特征参数矢量A(u)和第v帧模板矢量B(v)之间的距离测度，D是处于最优时间规整情况下的两矢量的距离，得到的两矢量匹配是累计距离最小的规整函数，接着，用基于概率尺度动态规划DP算法来寻找最优的规整函数基于概率尺度的DP方法的递推公式为：$G(u,v)=\max \left\{\begin{array}{c}G(u-2,v-1)\text{+logP}\left(X_{u-1}\right|v)+\log P\left(X_u\right|v)+\log P_{\mathrm{PS}1}\left(v\right)\\ G(u-1,v-1)+\log P\left(X_u\right|v)+\log P_{\mathrm{PS}2}\left(v\right)\\ G(u-1,v-2)+\log P\left(X_u\right|v)\text{+log}{P}_{\mathrm{PS}3}\left(v\right)\end{array}\right.$G(u，v)是当前匹配帧(u，v)的概率，PS1，PS2，PS3为带到改点的路径，DP算法是从过程的最后阶段开始逆序依次寻找依所有的匹配点和带到该匹配点的最优路径，组成的折线段对应的函数即为最优规整函数a)条件概率P(X_u|v)的计算假定在状态v观测到的X_u是符合(μ_v，∑_v)的高斯分布，μ_v为均值，∑_v为方差，X_u为第u帧语音特征参数矢量，则条件概率$P\left(X_u\right|v)={\left(2\pi \right)}^{-10}{\left|{\Sigma }_v\right|}^{-1/2}\times \exp \{-1/2{(X_u-{\mu }_v)}^t{\Sigma }_v^{-1}(X_u-{\mu }_v)\},$∑_v和μ_v为与Xu同维数的向量，维数是20，(X_u-μ_v)^t表示向量(X_u-μ_v)的转置，为了求出各个时刻的均值和方差，首先选择一个学习样本序列即训练数据序列作为核心样本，然后输入一个同类的学习数据和核心样本进行DP匹配即利用上述概率计算公式依次找出匹配点和带到该匹配点的最优路径寻找最佳路径函数这时各个时刻的均值和方差通过最佳路径函数找出和核心样本对应时刻的输入帧矢量进行计算和更新，如此重复直到同类的学习数据用完为止，渐进地求出各个时刻的均值和方差。b)状态转移概率的计算上述公式里logP_PS1(v)，logP_PS2(v)，logP_PS3(v)分别表示Q((u-2，v-1)→(u，v))、Q((u-1，v-1)→(u，v))、Q((u-1，v-2)→(u，v))三个状态转移的转移概率，计算状态转移概率的方法：各个学习数据和核心样本进行DP匹配时，记下各时刻选择的路径情况，学习完毕后，假定在时刻v三个路径被选择的总数分别是PS1(v)、PS2(v)、PS3(v)，则此时的三个状态转移概率可由下式计算得到：P_PS1(v)＝PS1(v)/{PS1(v)+PS2(v)+PS3(v)}P_PS2(v)＝PS2(v)/{PS1(v)+PS2(v)+PS3(v)}P_PS3(v)＝PS3(v)/{PS1(v)+PS2(v)+PS3(v)}求出最优规整函数后，将待识别的语音特征参数矢量的时间序列的时间轴作为坐标的横轴，非线性的映射到作为坐标纵轴的模板矢量的时间轴上：最后，利用模式匹配的方法进行识别：最优路径函数的起点与终点之间的距离即为待识别语音与模板语音之间的距离，与待识别语音距离最小的模板对应的单词字音即判为识别结果。