一种可实现语音重构的彩色复语谱图构建方法

摘要

一种可实现语音重构的彩色复语谱图构建方法，本发明属于语音信号处理技术领域，本发明利用两个色彩通道分别表达傅里叶变换的实部和虚部，在R-G-B彩色空间中，R-B合成颜色的位置坐标对应傅里叶变换的实部和虚部，G值代表实部和虚部的符号组合。由R-G-B颜色配比可以解析出对应复数值的实部与虚部及其符号，通过对语谱图进行图像处理，然后重构语音，实现用图像处理技术对语音增强等目的，进行傅里叶逆变换，近而实现语音重构。

主权项

一种可实现语音重构的彩色复语谱图构建方法，运用语音分帧技术，首先对语音信号进行加窗分帧，分为N点的帧信号，设共分为M帧，构成N×M分帧信号矩阵,应用FFT对N×M分帧信号矩阵的各列进行DFT计算，得出相应列的N点DFT，构成N×M时频分析矩阵,每个元素对应某时刻、某频带的频率特性的实部和虚部,其特征是：1）、子矩阵形成模块：设矩阵所有元素实部或虚部最大绝对值为d，构造2个矩阵和是分别对应于矩阵中实部和虚部的绝对值归一化子阵，用d作为归一化常数，是为了使和动态范围一致；2）、符号编码矩阵形成模块：用符号函数分别提取式中矩阵中实部和虚部的符号函数的功能是，x小于0时输出‑1，x,大于0时输出+1，x等于0时输出0，对、两式求加权和，即得到实部和虚部的符号组合编码上式的符号组合编码结果见表1，表1中9个计算结果标志了实部和虚部符号组合的9种状态，为了利用G通道将符号组合编码可视化，还要将表1结果零点平移并归一化，归一化由下式由上式式可知，的取值在0～0.01之间，结果见表2，用800做归一化常数，是使G通道的最大值远小于R通道和B通道的值，使在语谱图可视化时G通道的绿色在视觉上不干扰R‑B二原色图像的效果；表1  实部和虚部符号组合编码 表2  实部和虚部符号组合的归一化编码；3）、RGB彩色模型驱动矩阵形成及可视化模块：构造一个3维矩阵，实部绝对值归一化子矩阵作为层数维的第1层，虚部绝对值归一化子矩阵作为层数维的第3层，符号组合编码矩阵作为层数维的第2层 ，将3维矩阵作为RGB彩色模型的驱动矩阵，形成彩色复语谱图，其中实部归一化绝对值子矩阵对应红色通道R，虚部归一化绝对值子矩阵对应蓝色通道B, 符号组合编码矩阵对应绿色通道G，由于G通道数值远小于R通道和B通道，所以彩色复语谱图在视觉上体现为R‑B二原色彩色图；4）、频域子阵提取模块：将图像处理后的二原色复语谱图所对应的3维矩阵中的第1层和第3层分别提取为和两个矩阵待用；5）、符号解码模块：将G通道符号组合编码取出形成归一化符号组合编码矩阵（1）实部符号解码:首先由下式实现符号组合编码矩阵复原           则实部符号矩阵上式中是阶跃函数，当时，，当时，，当时，，式的结果是：当时对应实部符号为正，的结果为+1；当时对应实部符号为负，的结果为‑1；当时对应实部符号为零，的结果为0；（2）虚部符号解码:利用实部符号解码结果分析上式的结果，当时对应虚部符号为正，此时，这样式的计算结果分别为、和，均为+1，余类推；6）、时频特性矩阵形成模块：实部子矩阵和虚部子矩阵分别由和生成，则频域特性矩阵；应用FFT对进行列傅里叶逆变换，形成处理后的语音信号分帧矩阵，将各列首尾相接，构成一维语音序列，能够实现语音重构。