一种基于单摄像头与运动捕捉数据的人脸表情编辑方法

摘要

本发明公开了一种虚拟人脸表情编辑方法，包括离线过程和在线过程，离线过程包括：步骤1，利用人脸正面照片生成用户的虚拟三维人脸模型；步骤2，对运动捕捉数据进行解耦，分离姿态与表情；步骤3，构建人脸子空间关联模型；在线过程包括步骤：步骤4，对从单摄像头中捕捉到的视频图像进行视频分析，使用主动外观模型跟踪头部的三维空间位置与朝向以及视频中的主要面部特征，自动地将这些特征转换为两个部分的控制参数；步骤5，将噪声大分辨率低的表情控制参数用解耦后的运动捕捉数据进行动态数据滤波，滤波后的信号输入人脸子空间关联模型中，计算得到全局表情，最后通过将全局表情赋予离线过程生成的虚拟三维人脸，实现虚拟人脸的表情编辑。

主权项

一种虚拟人脸表情编辑方法，该方法包括离线过程和在线过程，其中，离线过程包括：步骤1，利用人脸正面照片生成用户的虚拟三维人脸模型；步骤2，对运动捕捉数据进行解耦，分离姿态与表情；步骤3，构建人脸子空间关联模型，以此实现由局部特征控制全局表情；在线过程的输入包括用户在摄像头前的表情视频、离线处理得到的虚拟人脸三维模型、解耦的运动捕捉数据和人脸子空间关联模型，在线过程包括步骤：步骤4，对从单摄像头中捕捉到的表情视频进行视频分析，使用主动外观模型跟踪头部的刚体运动以及视频中的面部特征点，然后从跟踪得到的特征点中提取表情控制参数，得到两个部分的控制参数，即表情控制参数和三维头部姿态参数；步骤5，将表情控制参数用解耦后的运动捕捉数据进行动态数据滤波，滤波后的信号输入人脸子空间关联模型中，计算得到全局表情，最后通过将全局表情赋予离线过程生成的虚拟三维人脸，实现虚拟人脸的表情编辑；步骤5进一步包括：利用离线过程解耦的运动捕捉数据对视频表情参数进行滤波，滤波包括如下步骤：首先将噪声信号在一个固定的时间间隔W内划分为片段，令表示输入控制参数的片段，从运动捕捉数据中找出K个最接近的片段，K的取值取决于给定运动捕捉数据库和视频中提取的控制参数的属性，计算K个片段的主成分，令前M个最大的特征向量U₁，...，U_M为过滤基，M的取值保证99％的原始数据变化，将投影到U₁，...，U_M张成的局部线性空间，重建控制参数。