一种基于局部约束表示的人脸超分辨率重建方法

摘要

一种基于局部约束表示的人脸超分辨率重建方法，将输入的低分辨率人脸图像、高低分辨率训练集内人脸图像分别划分为相互交叠的图像块；对输入的低分辨率人脸图像的每一个图像块，根据图像块的表示具有局部性这一先验，计算由低分辨率训练集内每个图像相应位置图像块进行线性重建时的最优权重系数；将低分辨率训练集内每个图像相应位置图像块，用一一对应的高分辨率训练集内每个图像相应位置图像块进行替换，加权合成高分辨率图像块；按照人脸上的位置，融合成高分辨率人脸图像。本发明提出局部约束表示模型，自适应地选择训练集内样本图像块空间中与输入图像块近邻的图像块来线性重建输入图像块，得到最优权重系数，合成出高质量的高分辨率图像。

主权项

1.一种基于局部约束表示的人脸超分辨率重建方法，其特征在于，包括如下步骤：步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；步骤2，对于低分辨率人脸图像每一个位置上的图像块，计算在局部约束下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数；设将低分辨率人脸图像X_L划分图像块所得集合为{X_L(i,j)|1≤i≤U,1≤j≤V}，将高分辨率训练集和低分辨率训练集相应地划分图像块所得集合分别为$\left\{Y_H^m(i,j)\right|1\le i\le U,1\le j\le V\}$和$\left\{Y_L^m(i,j)\right|1\le i\le U,1\le j\le V\},$M表示低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数，1≤m≤M；(i,j)表示所划分的图像块的行号和列号，U和V分别表示每一列和每一行划分出的图像块数；步骤2中，采用如下公式计算获得最优权值系数，其中，w_m(i,j)为来自低分辨率训练集中第m个低分辨率人脸样本图像中第i行第j列图像块的重建系数，w(i,j)是由所有M张低分辨率人脸样本图像中第i行第j列图像块的重建系数组成的行向量，w(i,j)＝[w₁(i,j),w₂(i,j),…,w_m(i,j),…,w_M(i,j)]，d_m(i,j)为重建系数w_m(i,j)的惩罚因子，τ是平衡重建误差和局部约束的正则化参数，“ο”表示两个向量之间的内积运算，表示欧氏平方距离，返回关于变量w(i,j)的函数在得到最小值时w(i,j)的取值w^*(i,j)，即所要求的最优权值系数，$w^{*}(i,j)=[w_1^{*}(i,j),w_2^{*}(i,j),···,w_m^{*}(i,j),···{,w}_M^{*}(i,j)],w_m^{*}(i,j)$为合成低分辨率人脸图像的第i行第j列图像块时，低分辨率训练集中第m个低分辨率人脸样本图像中第i行第j列图像块的最优权值系数；所述惩罚因子d_m(i,j)的计算公式如下，$d_m(i,j)={\left|\right|X_L(i,j)-Y_L^m(i,j)\left|\right|}_2^2$其中，X_L(i,j)为低分辨率人脸图像中第i行第j列的图像块，为低分辨率训练集的第m个低分辨率人脸样本图像中第i行第j列的图像块；步骤3，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数加权合成高分辨率人脸图像块；步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到一张高分辨率人脸图像。