基于视频流的三维人脸动作检测和跟踪方法

摘要

本发明提出了一种基于视频流的三维人脸动作检测和跟踪方法。该方法首先在视频图像中检测到人脸和人脸上关键点的位置，初始化用于跟踪的三维可变形人脸网格模型和人脸纹理模型；然后使用这两个模型，采用图像配准的方法，对后续视频图像中人脸的位置、姿态和面部动作进行实时、持续的跟踪；一个PCA人脸子空间模型用于对检测、定位和跟踪的结果进行评估，如果发现跟踪中断，则自动采取措施重新恢复跟踪。本方法不需要对特定的使用者进行训练，头部姿态跟踪范围大，面部动作细节准确，且对光照和遮挡具有一定鲁棒性，在人机交互，表情分析，游戏娱乐等领域具有较高的实用价值和广泛的应用前景。

主权项

1. 一种基于视频流的三维人脸动作检测和跟踪方法，其特征在于，包括以下步骤：(1)采用自动人脸检测和定位算法，对输入视频图像上人脸及人脸关键点位置进行检测和定位；(2)使用检测和定位的结果对三维可变形人脸网格模型的形状、位置和姿态进行初始化；(3)在对三维可变形人脸网格模型的形状、位置和姿态进行初始化的同时，初始化人脸纹理模型；(4)使用三维可变形人脸网格模型和人脸纹理模型，采用图像配准的方法，在视频图像序列中对人脸位置、姿态和动作进行实时跟踪；(5)使用人脸纹理模型和PCA人脸子空间，对实时跟踪的结果进行评估；(6)根据评估结果，确定是否更新人脸纹理模型，是否在下一帧视频图像中重新进行人脸及人脸关键点的检测和定位，以及是否重新初始化人脸纹理模型。