基于汉语文本驱动的人脸语音同步动画的处理方法

摘要

本发明公开了一种基于汉语文本驱动的人脸语音同步动画的处理方法，首先按照汉语拼音发音时嘴唇动作的大小特征将所有中文音素归为16组中文可视音素并用输入的人脸图像合成对应的关键帧；其次分析输入文本得到其对应的中文可视音素序列和动画的关键帧序列；然后在每两个相邻关键帧之间插入过渡帧；再将关键帧序列与语音流对齐；最后同时播放语音流和动画流以实现人脸语音同步动画。本发明在输入任意的人脸头像和任意的文本内容后，可以全自动地完成人脸动画的生成和输出，操作简单、效果流畅，适用于可视化人机界面、计算机游戏、对外汉语教学等多种场合。

主权项

1.一种基于汉语文本驱动的人脸语音同步动画的处理方法，其特征在于该方法包括下列步骤： ①采集人脸图像：由光源将光线照在欲采集的人脸上产生表示人脸特征的反射光或透射光，再由CCD探测器将光信号转换成相应的电信号；或从存储设备中读取人脸图像； ②人脸检测：对步骤①所得的人脸图像进行预处理，然后利用AdaBoost算法检测人脸区域； ③人脸特征提取：在步骤②所检测到的人脸区域内，利用ASM算法提取人脸的特征点，其中嘴部提取32个特征点，眼睛部提取20个特征点，鼻部和脸部外围轮廓提取30个特征点； ④关键帧合成：根据步骤③嘴部所提取的32个特征点将嘴部图像划分为49个互不重叠的三角形区块，根据对中文可视音素的分类和定义，运用自由格式变形算法控制步骤③中提取到的特征点和所述三角形区块在人脸平面内移动和格式变形，合成出相应的人脸动画关键帧； ⑤过渡帧合成：首先，根据步骤④每相邻两关键帧的特征点，以时间为参数对其进行线性插值计算出过渡帧的特征点，再根据该嘴部32个过渡帧的特征点将嘴部划分为49个互不重叠的三角形区块，对这些三角形区块运用自由格式变形算法合成出相应的人脸动画过渡帧； 所述过渡帧的特征点计算公式如下： 式中P_(k,t)为嘴部第k个特征点在t时刻时的坐标，t_s为某个中文可视音素发音开始的时刻，t_e为该中文可视音素发音结束的时刻；然后，根据16组中文可视音素和中文可视音素的定义和分类，在每相邻两帧关键帧之间插入不同数目的过渡帧； 所述在每相邻两关键帧之间需要插入的过渡帧数目的计算公式如下： 式中：N_i为某个汉字对应的第i个中文可视音素到第i+1个中文可视音素之间插入的 过渡帧的数目，n为该汉字对应的所有中文可视音素的数目，n≤3,W_i为该汉字对应的第i个中文可视音素的权值，W_sum为该汉字对应的所有中文可视音素的权值的总和，T_w为该汉字发音持续的时间，F_v为动画播放速度，单位是“帧每秒”；⑥中文文本输入：输入中文文本或从存储设备中读取中文文本； ⑦文本分析：对步骤⑥所得到的文本内容进行分析，得到该文本对应的中文可视音素流； ⑧文本语音转换：将步骤⑥所得到的文本内容转换为声音信号的语音流； ⑨动画流与语音流同步：将步骤④所合成的关键帧对齐到步骤⑧所转换的语音流上； ⑩人脸语音与动画的同步输出。