结合3D人脸模型的视频差错掩盖方法

摘要

本发明公开了一结合3D人脸模型的视频差错掩盖方法，对可视电话应用领域视频传输中出现的差错进行差错掩盖处理以提高人脸图像受损区域的主观视觉质量。获取用于调整3D人脸模型的人脸部分关键特征点，根据关键特征点确立出位置和形状信息，并在调整过程中结合当前帧更新模型的纹理信息，从而实现与当前帧人脸图像的匹配对应的特定3D人脸模型。结合预掩盖思想和特定3D人脸模型，实现对人脸区域的较准确掩盖，同时背景区域仍采用传统方法掩盖，最后对人脸与背景结合边缘处采取一定的平滑处理措施，显著提高掩盖的性能和主观质量。

主权项

结合3D人脸模型的视频差错掩盖方法，对可视电话应用领域视频传输中出现的差错进行差错掩盖处理以提高人脸图像受损区域的主观视觉质量，包括如下的步骤，1)正确接收帧进行人脸检测和特征点标记，计算对应3D人脸模型的位置和形状信息，实现3D人脸模型的自动调整并结合视频图像进行纹理修补及映射；2)对出错帧进行基于3D人脸模型的差错掩盖，充分利用前后帧宏块之间的相关性，通过前一帧的相应位置结合当前帧的运动向量MV预测当前出错帧相同区域内其他宏块的丢失情况判断人脸区域属于大部分丢失还是少量丢失；3)人脸区域全部或者大部分丢失时，当前帧无法提供足够的信息用于确定特定人脸的位置和形状信息，使用从当前帧背景运动估计得到的位置和形状估计信息来调整更新3D人脸模型或者直接沿用前一帧的3D人脸模型，然后进入步骤5；4)人脸区域少量丢失时，先对受损区域进行时域预掩盖，根据掩盖结果采用人脸检测和特征点定位相关算法提取出关键特征点，保留正确接收宏块上的特征点，未正确接收宏块通过前一帧相应特征点运动估计获取；根据关键特征点确立出位置和形状信息，结合可获得的纹理信息进一步调整更新3D人脸模型；然后进入步骤5；5)将3D人脸模型移动至当前出错帧相应位置进行适当调整和映射掩盖，从而用新的宏块替代原始受损宏块；6)掩盖后人脸与背景边缘处的平滑处理。