语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置

摘要

本发明公开了语音驱动嘴唇形状变化的方法、获取嘴唇动画的方法及装置，属于计算机技术领域。该语音驱动嘴唇形状变化的方法包括：获取音频信号，根据所述音频信号的特征得到嘴唇形状的运动幅度比例；获取初始的嘴唇形状模型，根据所述初始的嘴唇形状模型和所述嘴唇形状的运动幅度比例生成嘴唇形状的运动幅度值；根据所述嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合。该语音驱动嘴唇形状变化的装置包括：获取模块、第一生成模块和第二生成模块。本发明还提供了一种获取嘴唇动画的方法和装置。本发明提供的技术方案算法简单，且成本低。

主权项

一种语音驱动嘴唇形状变化的方法，其特征在于，包括：获取音频信号，根据所述音频信号的特征得到嘴唇形状的运动幅度比例；获取用户输入的初始的嘴唇形状模型，根据所述初始的嘴唇形状模型和所述嘴唇形状的运动幅度比例，生成嘴唇形状的运动幅度值；根据所述嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合；所述根据所述音频信号的特征得到嘴唇形状的运动幅度比例包括：遍历所述音频信号，获取最大的采样数据值；对所述音频信号进行窗口和小组的划分，获取每个小组内的采样数据值的平均值数组avgGroup，获取每个窗口内所有小组的采样数据值的平均值数组avgGroup中的最大值数组windowPeak；根据获取的数组windowPeak和获取的最大采样数据值获取当前窗口对应的嘴唇形状的最大运动幅度值；根据当前窗口对应的嘴唇形状最大运动幅度值获取当前窗口对应的当前视频帧的嘴唇形状运动幅度比例；所述根据所述嘴唇形状的运动幅度值和预先建立的嘴唇发音模型库，生成变化的嘴唇形状网格模型集合包括：从所述预先建立嘴唇发音模型库中随机选择一个嘴唇发音模型，作为当前嘴唇形状的原始发音模型；获取所述原始发音模型顶点和嘴唇发音模型库中原始嘴唇模型，计算原始发音模型各个顶点的偏移量比例；将所述原始发音模型各个顶点的偏移量比例各自都乘以当前帧的嘴唇形状运动幅度值得到当前帧的顶点偏移量；在获取的用户输入的初始的嘴唇形状模型上，分别累加当前帧的顶点偏移量，得到当前帧的嘴唇形状模型；将所有帧的嘴唇形状模型排列起来，生成变化的嘴唇形状网格模型集合。