基于时空级联形状回归的人脸形状跟踪方法

摘要

本发明公开了基于时空级联形状回归的人脸形状跟踪方法，该方法首先通过结合检测和配准的人脸检测器对视频第一帧进行检测初始化整个系统，得到五个人脸特征点；随后评估这五个特征点得到相似变换参数(旋转、偏移和尺度)以及人脸姿态(左侧脸、右侧脸和正脸)；最后采用多视角级联形状回归预测当前帧的人脸形状，当配准结果置信度大于设定的阈值时，时间序列回归就会着手人脸形状的跟踪；当配准结果置信度小于设定的阈值时，重初始化机制就会启动使人脸形状跟踪稳定进行下去。通过多视角(左侧脸、右侧脸和正脸)级联回归，收敛速度更快精度更高。通过时间序列回归以及重初始化的机制使人脸形状跟踪更加快速和准确。

主权项

基于时空级联形状回归的人脸形状跟踪方法，其特征在于：包括以下步骤：步骤1，获取人脸的训练样本和测试样本，对训练样本和测试样本做标准化处理，根据以下三个角度范围：‑15°‑15°、‑30°‑0°、0°‑30°，将训练样本划分为正脸、右侧脸；左侧脸三个训练集，分别标注三个训练集训练样本的关键点，并计算训练样本的平均脸；步骤2，利用多视角级联形状回归模型分别对三个训练集里的训练样本做人脸配准，得到训练好的多视角级联形状回归模型；步骤3，对测试跟踪视频的第一帧进行结合人脸检测和人脸配准的人脸检测，得到测试样本人脸关键点的初始位置即当前帧的初始形状；步骤4，对步骤3得到的人脸关键点位置进行评估得到人脸的姿态和相似变换参数，将该人脸送到相应人脸姿态的级联形状回归模型完成人脸的精确配准同时得到该人脸配准的拟合分数；步骤5，时间序列回归及重初始化机制，对步骤4得到的拟合分数进行判断，如果大于设定的阈值，用当前帧的人脸形状相似变换参数调整平均形状并将调整后的平均形状作为下一帧的初始形状，重复步骤4直至视频最后一帧，如果小于设定的阈值，重初始化机制启动，对当前帧重新进行人脸检测和配准避免人脸跟踪时的误收敛优选的。