发音器官可视语音合成系统

摘要

本发明提供了一种发音器官可视语音合成系统，包括：音频分析模块、参数映射模块、动画驱动模块和运动分析模块，其中：音频分析模块，用于接收输入的说话人语音信号，根据能量信息判断静音段，将非静音段语音进行编码，输出语音线谱对参数；参数映射模块，用于接收音频分析模块实时传递来的语音线谱对参数，并利用经过训练的混合高斯模型，将其转化为模型运动参数；动画驱动模块，用于接收参数映射模块实时生成的模型运动参数，驱动虚拟发音器官模型的关键点运动，进而带动整个虚拟发音器官模型的运动。本发明直接由输入语音的频域参数生成相应的运动参数来带动模型运动，具有不受在线数据库的限制和生理模型的限制优点。

主权项

一种发音器官可视语音合成系统，包括：音频分析模块、参数映射模块、动画驱动模块和运动分析模块，其中：于在线转换阶段：所述音频分析模块，用于接收输入的说话人语音信号，根据能量信息判断静音段，将非静音段语音进行编码，输出语音线谱对参数；所述参数映射模块，用于接收所述音频分析模块实时传递来的语音线谱对参数，并利用经过训练的混合高斯模型，将其转化为模型运动参数；所述动画驱动模块，用于接收所述参数映射模块实时生成的模型运动参数，驱动虚拟发音器官模型的关键点运动，进而带动整个虚拟发音器官模型的运动；于模型训练阶段：所述运动分析模块，用于接收说话人发音时的发音器官关键点运动信息，并将其映射至所述虚拟发音器官模型上；所述参数映射模块，用于接收由所述音频分析模块和运动分析模块提供的成对的语音线谱对参数和虚拟发音器官模型运动参数，进行训练，得到经过训练的混合高斯模型。