基于张量分解与Delaunay三角划分的多视角人脸合成方法

摘要

本发明公开了一种基于张量分解与Delaunay三角划分的多视角人脸合成方法，主要解决现有技术中，连续视角变化的人脸图像难以合成的问题，其合成方案是：利用特征点标注的方法提取出人脸图像的轮廓信息；采用张量分解的方法分离出训练集中人脸数据的视角系数矩阵；对视角系数矩阵进行样条拟合；利用张量分解公式构建新视角的特征点；应用Delaunay三角划分以及线性仿射变换根据已知人脸图像合成出新视角的人脸图像。本发明具有人脸合成结果逼真、合成视角范围广及运算复杂度低的优点，可用于计算机视觉领域或多媒体技术中不同视角下的人脸合成。

主权项

一种基于张量分解与Delaunay三角划分的多视角人脸合成方法，包括如下过程：(1)取180～240幅不同身份、不同视角的人脸图像作为训练集G，对训练集中的每幅人脸图像，根据脸轮廓、眉毛、眼睛、鼻子和嘴的位置，将特征点标注在各区域的轮廓线上；(2)将训练集中图像特征点数据沿视角、身份和坐标信息变化的方向排列成张量数据，并用高阶奇异值分解算法对其进行分解，得到身份系数矩阵Uidentity、视角系数矩阵Uview、轮廓系数矩阵Upoint和核张量Z，该三个矩阵之间相互独立，Z表示这三个矩阵之间的相互作用关系；(3)对视角系数矩阵Uview中的不同的视角系数进行样条拟合，获得一个连续的人脸形状视角流形V；(4)给定一幅未在训练集G中出现过的图像作为测试图像g，标注测试图像的特征点，通过最小化测试图像与训练图像能量差的方式确定该测试图像g的输入视角i1，利用最小二乘或稀疏表示的方法，求出训练集中输入视角i1下所有图像特征点集合对测试图像特征点的重构系数c，将该系数c与训练集的身份系数矩阵Uidentity加权求和，得到测试图像的身份系数矩阵Uidentity_new；(5)根据步骤(2)中得到的轮廓系数矩阵Upoint、核张量Z和步骤(3)中得到的视角流形V，利用张量分解公式，求出测试图像g在新视角下的特征点矩阵Il＝Z×1V(l)×2Uidentity_new×3Upoint，其中，V(l)是人脸形状视角流形V上的第l个点，表示新视角下测试图像特征点的视角系数矩阵，×d(d＝1，2，3)表示张量的模‑d乘法，Z×1V(l)表示3维矩阵Z以第1维为行向量，第2、3维为列向量进行变形，并右乘矩阵V(l)；Z×2Uidentity_new表示Z以第2维为行向量，第1、3维为列向量进行变形，并右乘矩阵Uidentity_new；Z×3Upoint表示Z以第3维为行向量，第1、2维为列向量进行变形，并右乘矩阵Upoint；(6)由测试图像新合成视角下的特征点矩阵Il，根据测试图像在输入视角下的灰度图像及其对应的特征点矩阵，利用Delaunay三角划分求出测试图像输入视角特征点的邻接关系，构建覆盖人脸的三角面片区域，根据已经确定的邻接关系，构建测试图像新合成视角下覆盖人脸的三角面片区域，应用线性仿射变换，计算出测试图像新合成视角下各三角面片内部所有像素点的灰度，从而合成出测试图像在新合成视角下的人脸图像。