基于动态基元选取的语音驱动三维人脸动画方法

摘要

本发明公开了一种基于动态基元选取的语音驱动人脸动画方法，将输入的任何用户的任何语言的语音转换成语音和三维人脸动画的同步输出。此方法基于采用运动实时捕获系统建立的多模态数据库，对多模态数据进行音视频分析，分别获得相应的特征向量；以音素为基元单位对多模态数据进行同步分割；对用户给定的语音序列，计算每个基元的音频匹配误差和前后基元间的视觉匹配误差，最后在候选的基元中动态地选择一条最佳路径，输出与语音序列同步的人脸动画参数序列，以驱动三维人脸动画模型。本发明的方法，使得系统输出的动画序列保持较好的真实度和自然度，并适用于多用户和多语言的语音驱动。

主权项

1.一种基于动态基元选取的语音驱动人脸动画方法，其特征是：使用运动实时捕获设备，建立多模态数据库；同时运用语音分析、运动分析技术提取语音视频特征；以音素为基元单位对多模态数据进行同步分割；对用户给定的语音序列，计算每个基元的音频匹配误差和前后基元间的视觉匹配误差，最后在候选的基元中动态地选择一条最佳路径，输出与语音序列同步的人脸动画参数序列，以驱动三维人脸动画模型，将输入的任何用户的任何语言的语音转换成语音和三维人脸动画的同步输出，包括步骤：A.采用运动实时捕获系统创建多模态数据库；B.对多模态数据进行音视频分析，分别获得相应的特征向量；C.以音素为基元单位对多模态数据进行同步分割；D.采用动态基元选取方法，输出与用户输入语音同步的人脸动画参数序列。