一种基于单个参考视频的人脸视频光影迁移生成方法

摘要

本发明公开了一种基于单个参考视频的人脸视频光影迁移生成方法，属于虚拟现实和计算机视觉领域。给定一段近似均匀光照下的正面人脸视频(目标视频)和一段变光照条件下的人脸视频(参考视频)，将参考视频的脸部光影效果迁移至目标视频，生成与参考视频光照效果相似、逼真的视频。本发明包括：目标关键帧的光照信息迁移和目标非关键帧光照信息传播。其中目标关键帧的光照效果迁移包括：目标关键帧与目标参考关键帧对齐、边缘保持平滑、皮肤区域光照信息提取、非皮肤区域光照信息插值。本发明可广泛应用推广到影视后期制作、个人视频编辑等应用场景。

主权项

一种基于单个参考视频的人脸视频光影迁移生成方法，其特征在于，包括：步骤1、选取与目标视频的时间长度相同的参考视频，在目标视频中每隔n帧选取一帧为目标关键帧，在参考视频中每隔n帧选取一帧为参考关键帧，其中n为奇数；步骤2、选取和定位目标关键帧的特征点和参考关键帧的特征点；步骤3、计算两个相邻参考关键帧的光照信息差异，如果两个相邻参考关键帧的光照信息差异大于参考关键帧规定域值，则将这两个相邻的参考关键帧之间的中间参考非关键帧选为参考关键帧，并将与该中间参考非关键帧的时刻相同的目标非关键帧选为目标关键帧；计算两个相邻目标关键帧的表情差异，如果这两个相邻的目标关键帧的表情差异大于目标关键帧规定域值，则将这两个目标关键帧之间的中间目标非关键帧选为目标关键帧，并将与该中间目标非关键帧的时刻相同的参考非关键帧选为参考关键帧；若有新的目标关键帧和参考关键帧产生，则选取和定位新的目标关键帧的特征点和新的参考关键帧的特征点；步骤4、根据目标关键帧的特征点和参考关键帧的特征点，对齐目标关键帧与参考关键帧；步骤5、将参考关键帧的光照信息迁移到目标关键上；步骤6、将相邻两个目标关键帧上的光照信息传播到这两个相邻目标关键帧之间的非目标关键帧上。