基于单个视频摄像机的实时人脸动画方法

摘要

本发明公开了一种基于单个视频摄像机的实时人脸动画方法，该方法利用单个视频摄像机，实时跟踪人脸特征点的三维位置，并以此参数化人脸的姿势和表情，最终可以将这些参数映射到替身上以驱动动画角色的脸部动画。本发明不需要高级的采集设备，只需要用户的普通视频摄像机上就可以达到实时的速度；本发明可以准确处理人脸各种大角度旋转、平移，和人脸的各种夸张表情；本发明还可以在不同光照和背景环境下工作，包括室内和有阳光的室外。

主权项

一种基于单个视频摄像机的实时人脸动画方法，其特征在于，包括以下步骤：(1)图像采集和标定：利用视频摄像机拍摄用户的多幅具有不同姿势和表情的二维图像，对每个图像利用二维图像回归器得到对应的二维人脸特征点，对自动检测得到的不准确特征点进行手动调整；(2)数据预处理：利用标定好二维人脸特征点的图像，进行用户表情融合模型生成和摄像机内部参数标定，并由此得到图像的三维特征点；利用三维特征点和步骤1采集的二维图像，训练获得从二维图像到三维特征点的回归器；所述进行用户表情融合模型生成具体为，使用两步来计算用户表情融合模型，在第一步中，对图像采集和标定中采集的每一个图像，找到一个变换矩阵Μ_i、个体系数和表情系数生成三维人脸形状，使得其相应的三维特征点在图像上的投影与标定的二维特征点吻合；在第二步中，固定第一步中得到每个图片的变换矩阵Μ_i和表情系数同时在所有图像上计算一致的个体系数所述进行摄像机内部参数标定具体为：对针孔照相机模型进行简化假设，将其简化到只包括一个未知参数，使用二分法来确定照相机参数；(3)三维特征点跟踪：用户使用视频摄像机实时输入图像，对于输入的图像，结合上一帧的三维人脸特征点，利用步骤2中得到回归器，实时定位当前帧中三维人脸特征点；(4)姿势表情参数化：利用三维人脸特征点位置，结合步骤2中得到的用户表情融合模型，迭代优化以得到人脸姿势和表情的参数化表达；(5)替身驱动：将人脸姿势和表情参数映射到虚拟替身上，用以驱动动画角色进行人脸动画。