一种文本语音驱动的人脸动画生成方法及系统

摘要

本发明提出一种文本语音驱动的人脸动画生成方法及系统，该方法包括步骤1，采集文本语音信息，所述文本语音信息包括语音信息与人脸图像信息，对所述文本语音信息进行预处理操作，获取所述语音信息中每个音素的时间信息，及获取所述人脸图像信息中人脸特征参数；步骤2，设置控制函数参数初始值，并计算拟合曲线，及所述拟合曲线与真实曲线之间的拟合误差，计算Jacobian矩阵，计算所述时间信息、所述人脸特征参数的变化值，根据所述变化值更新所述时间信息、所述人脸特征参数，重复步骤2，直到所述拟合误差达到稳定状态；步骤3，获取新输入的语音信息，结合所述控制参数函数，生成2D人脸特征点向量，将所述2D人脸特征点向量重定向到三维人头模型上。

主权项

一种文本语音驱动的人脸动画生成方法，其特征在于，包括：步骤1，采集文本语音信息，所述文本语音信息包括语音信息与人脸图像信息，对所述文本语音信息进行预处理操作，获取所述语音信息中每个音素的时间信息，及获取所述人脸图像信息中人脸特征参数；步骤2，根据所述时间信息与所述人脸特征参数，进行参数自动训练操作，获取控制函数参数，其中根据所述时间信息与所述人脸特征参数，设置控制函数参数初始值，并计算拟合曲线，及所述拟合曲线与真实曲线之间的拟合误差，根据所述时间信息、所述人脸特征参数、所述控制函数参数初始值，计算Jacobian矩阵，并根据梯度下降法，计算所述时间信息、所述人脸特征参数的变化值，根据所述变化值更新所述时间信息、所述人脸特征参数，重复步骤2，直到所述拟合误差达到稳定状态；步骤3，获取新输入的语音信息，结合所述控制参数函数，计算拟合曲线，并生成2D人脸特征点向量，将所述2D人脸特征点向量重定向到三维人头模型上，以完成人脸动画生成。