基于卷积非负矩阵分解的语音转换方法

摘要

本发明公开了一种基于卷积非负矩阵分解的语音转换方法，通过训练数据对变换模型进行训练，首先训练语音数据的时间对准及参数分解，使用卷积非负矩阵分解方法对STRAIGHT谱进行分析，分析源语音与目标语音的基音频率；基于训练模型对新输入语音进行转换：对于待转换的源语音数据采用STRAIGHT模型进行参数分解，基于卷积非负矩阵分解实现声道频谱参数的转换，基于训练阶段得到的基音频率的均值和方差，实现基音频率的转换，合成转换后的语音，即通过转换得到的STRAIGHT谱、基音频率及原始非周期分量合成转换后的语音。本发明提升了语音转换的训练效果，改善了变换语音的语音质量。

主权项

1.一种基于卷积非负矩阵分解的语音转换方法，其特征在于步骤如下：首先，通过训练数据对变换模型进行训练：第一步：训练语音数据的时间对准及参数分解，对于训练所用的平行语音数据，即源说话人和目标说话人的相同内容的语音对，其中源说话人语音可表示为A，目标说话人语音可表示为B，首先通过STRAIGHT模型提取两者的基音周期包络p_A和p_B，之后通过基音周期包络及原始语音信号计算用于实现基音同步叠接相加处理的基音标注点pm_A和pm_B；依照音素划分信息，以语音A、B的对应音素为单位进行基音标注点匹配，之后再以音素为基本单元，基于匹配基音标注点采用基音同步叠接相加方式实现语音A与B的时间对准，得到时间对准后的语音A＇和B＇，使用STRAIGHT模型对A＇和B＇进行分析，得到三组参数：（1）表征声道特性的STRAIGHT谱S_A＇、S_B＇；（2）基音频率f_A＇、f_B＇；（3）非周期分量ap_A＇、ap_B＇；第二步：使用卷积非负矩阵分解方法对STRAIGHT谱进行分析，即首先对A＇的STRAIGHT谱S_A＇采用卷积非负矩阵分解方法分析，得到其时频基W_A＇(t)及编码矩阵H_A＇，之后再通过卷积非负矩阵分解方式对B＇的STRAIGHT谱S_B＇进行分析，此时固定其编码矩阵为H_A＇，则可得到其时频基W_B＇(t)；第三步：分析源语音与目标语音的基音频率，即通过对A＇和B＇的基音频率信息f_A＇和f_B＇进行分析，得到其两者的均值和方差：μ_A＇、和μ_B＇、；其次，基于训练模型对新输入语音进行转换：步骤一：对于待转换的源语音数据A_c采用STRAIGHT模型进行参数分解，得到其STRAIGHT谱、基音频率及非周期分量三组参数；步骤二：基于卷积非负矩阵分解实现声道频谱参数的转换，即对采用卷积非负矩阵分解进行分析，此时固定其时频基为W_A＇，得到相应的编码矩阵，进而通过如下公式得到转换后的STRAIGHT谱：$S_{B_c}=W_{B^{\prime }}\otimes H_{A_c}$其中表示转换后的STRAIGHT谱，“”为卷积运算；步骤三：基于训练阶段得到的基音频率的均值和方差，实现基音频率的转换：$f_{B_c}=(f_{A_c}-{\mu }_{A^{\prime }})\frac{{\sigma }_{B^{\prime }}}{{\sigma }_{A^{\prime }}}+{\mu }_{B^{\prime }}$其中表示转换后的基音频率；步骤四：合成转换后的语音，即通过转换得到的STRAIGHT谱、基音频率及原始非周期分量合成转换后的语音。