基于人脸特征点的实时视频人脸卡通化生成方法

摘要

本发明公开了一种基于人脸特征点的实时视频人脸卡通化生成方法。本发明首先从输入视频选择一帧正面中性表情图像作为参考帧，对参考帧进行人脸卡通化处理并保存参考帧的卡通眼睛、卡通眉毛、卡通鼻子以及包含头发的面部轮廓的卡通面部轮廓；再基于视频帧的人脸特征点，提取参考帧与视频帧的人脸变化量并进行归一化处理，查找与参考帧的人脸变化量满足变化阈值的输入视频帧作为卡通视频的起始帧；基于参考帧的卡通图像对起始帧及起始帧的后续帧进行视频卡通生成。本发明用于实时视频的人脸卡通化生成，其有益效果是：生成的卡通视频效果较好，满足视频的实时要求，对操作环境要求简单。

主权项

基于人脸特征点的实时视频人脸卡通化生成方法，其特征在于，包括下列步骤：步骤1：从输入视频选择一帧正面中性表情图像作为参考帧，对参考帧进行人脸卡通化处理并保存参考帧的卡通眼睛、卡通眉毛、卡通鼻子以及包含头发的面部轮廓的卡通面部轮廓；步骤2：基于视频帧的人脸特征点，提取参考帧与视频帧的人脸变化量并进行归一化处理，查找与参考帧的人脸变化量满足变化阈值的输入视频帧作为卡通视频的起始帧；步骤3：对起始帧及起始帧的后续帧进行视频卡通生成：将参考帧的卡通面部轮廓作为当前帧的卡通面部轮廓；将参考帧的卡通鼻子作为当前帧的卡通鼻子；基于视频帧的人脸特征点，分别计算当前帧与起始帧的眼睛高度并进行归一化处理，基于当前帧的眼睛高度T与参考帧的眼睛高度V的比值a得到仿射变换矩阵$W=\left[\begin{array}{ccc}1& 0& 0\\ 0& a& 0\end{array}\right],$基于仿射变换矩阵W对参考帧的卡通眼睛进行仿射变化得到当前帧的卡通眼睛；将参考帧的卡通眉毛作为当前帧的卡通眉毛，取参考帧的卡通眉毛与卡通眼睛的竖直距离并记为L，当前帧的眼睛高度T与参考帧的眼睛高度V的差记为M，若M大于零，则当前帧的卡通眉毛与卡通眼睛的竖直距离为：L+K*M，其中预设值K大于或等于1；否则，当前帧的卡通眉毛与卡通眼睛的竖直距离为L；基于当前帧的人脸特征点，对嘴巴特征点进行多边形拟合，得到当前帧的卡通嘴巴；基于当前帧的人脸特征点的位置，以鼻子上的点为参考点，将当前帧的卡通面部轮廓、卡通鼻子、卡通眉毛、卡通眼睛、卡通嘴巴放到相应位置，得到当前帧的卡通帧。