基于超分辨率重建技术的低分辨率人脸图像的重建方法

摘要

本发明涉及基于超分辨率重建技术的低分辨率人脸图像的重建方法，属于图像处理领域，本发明包括：对原始图像进行基于人脸三点定位的归一化，得到待重建的归一化人脸图像；再通过生成训练集，对待重建的低分辨率图像进行去噪并通过模糊度估计确定学样本，通过LLE学得到最终重建出的高分辨率图像。本发明采用的人脸图像的归一化方法不仅准确，而且和训练集的归一化方法一致，提升了低分辨率人脸图像的准确性。再采用基于低频分量的超分辨率人脸图像的重建方法，制作出低分辨率人脸图像的大尺寸重建像，较好地解决了低分辨率人脸图像的重建难题。

主权项

一种基于超分辨率重建技术的低分辨率人脸图像的重建方法，其特征在于，包括以下步骤：1)对原始图像进行基于人脸三点定位的归一化，得到待重建的归一化人脸图像，具体包括：1.1)对含有低分辨率人脸图像的原始图像进行裁剪，裁剪出包含低分辨率人脸图像的矩形区域，得到低分辨率人脸图像；该区域左上、左下、右上、右下4个顶点在原始图像中坐标分别为：(m₁，n₁)、(m₁，n₂)、(m₂，n₁)、(m₂，n₂)，m、n分别表示坐标系中的点的横坐标和纵坐标；1.2)对1.1)中得到的低分辨率人脸图像进行等比放大，放大倍率为K×K，放大后图像的高度为L，L＝K×(n₂‑n₁)，K满足：K≥150/(n₂‑n₁)；1.3)对放大后的低分辨率人脸图像采用基于人脸三点定位的归一化方法进行归一化，得到一幅待重建的标准尺寸的归一化人脸图像；1.31)在放大后的低分辨率人脸图像a上确定左眼球上的一点A的坐标(x₁₁,y₁₁)、右眼球上的一点B的坐标位置(x₂₁,y₂₁)，通过A、B两点做直线L₁，并确定下颌点C₀坐标(x₀₁,y₀₁)，按放大倍率K将三点的坐标对应至原裁剪图像坐标，分别为(x₁,y₁)，(x₂,y₂)，(x₀,y₀)；1.32)对原始图像进行基于人脸几何尺寸归一化的人脸图像识别方法中的人脸三点归一化方法，得到尺寸为H×W的待重建的归一化人脸图像，其中H，W满足下式：$H=\left\{\begin{array}{cc}64,& (n_2-n_1)\ge 64\\ 32,& 64>(n_2-n_1)\ge 32\\ 16,& 32>(n_2-n_1)\ge 16\end{array}\right.,---\left(1\right)$W＝H×3/4；2)对待重建的标准尺寸的归一化人脸图像进行基于低频分量的超分辨率人脸图像的重建得到512×384高分辨率图像：2.1)生成训练集:2.11)将不低于100幅的清晰正面人脸图像作为训练集的图像；2.12)采用人脸三点定位归一化方法将训练集中的每一幅图像变为512×384的标准分辨率人脸图像；2.13)对每一幅512×384的标准分辨率图像使用9‑7滤波器下采样生成32×24，64×48，128×96，256×192，512×384的五种清晰的分辨率样本，再对每一幅512×384的标准分辨率图像使用高斯金字塔滤波器下采样生成32×24的模糊的分辨率样本；2.14)对64×48，128×96，256×192，512×384的四种清晰的分辨率样本用9‑7滤波器组进行拉普拉斯金字塔分解提取高频分量并保存，作为高分辨率图像小波系数样本；2.15)对32×24，64×48，128×96，256×192四种清晰的分辨率样本进行最邻近插值与双三次线性插值，取两者平均，用9‑7滤波器组进行拉普拉斯金字塔分解提取它们的高频分量并保存，作为清晰的低分辨率图像小波系数样本，同时对模糊的32×24分辨率样本进行最邻近插值与双三次线性插值，取两者平均，用9‑7滤波器组进行拉普拉斯金字塔分解提取其高频分量并保存，作为模糊的32×24低分辨率图像小波系数样本；2.2)对待重建的低分辨率图像进行去噪并通过模糊度估计确定学习样本：2.21)对归一化后的待重建的32×24低分辨率图像进行去噪；步骤如下：对待重建图像进行拉普拉斯金字塔分解，计算出其所有高频系数绝对值的中位数σ作为噪声标准差估计值，根据经典去噪算法以λ_σ为阈值进行去噪，λ为经验系数，取值范围为0.05＜λ＜0.3；2.22)进行模糊程度估计，算出模糊程度系数：$u=\frac{{\Sigma }_h}{{\Sigma }_i},---\left(2\right)$Σ_h为待重建的低分辨率图像的高频系数绝对值之和，Σ_i为去噪后的待重建的32×24低分辨率图像像素值之和；2.23)根据模糊程度系数u选取学习样本：u＜0.05时，学习采用模糊的32×24样本，u≥0.05时采用清晰的32×24样本；2.3)通过LLE学习得到最终重建出的高分辨率图像：2.31)从32×24到64×48放大:2.31.1)将于2.21)中得到的去噪后的32×24低分辨率图像的像素值直接作为重建出的64×48高分辨率图像的低频系数；2.31.2)对去噪后的32×24低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9‑7滤波器组进行拉普拉斯金字塔分解得到其高频系数；2.31.3)将去噪后的32×24低分辨率图像分割为大小为s×t的小块，s取值范围为4～8，t取值范围为8～12，相邻小块间有(s‑1)×(t‑1)的重叠；2.31.4)利用LLE学习得到2.31.3)中分割出的小块对应位置的64×48高分辨率小块的高频系数：令y_LR为单个于2.31.3)中得到小块对应的于2.31.2)中得到的高频系数组成的向量，x_LR(i)为第i个在2.23)确定的样本集中相应位置小块的高频系数组成的向量，在2.23)确定的样本集相应位置的小块中取前k个(5<k<8)与y_LR均方误差最小的样本小块，计算如下极值问题：$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|{\mathrm{ϵy}}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\Sigma }}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,\underset{i=1}{\overset{k}{\Sigma }}w\left(i\right)=1---\left(3\right)$令G＝(εy_LR1^T‑X)^T(εy_LR1^T‑X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量；w(i)为k个待求系数，此极值问题的解为W为w(i)组成的向量；进而计算出学习得到的64×48高分辨率图像小块的高频系数向量为：$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\Sigma }}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{ϵ}---\left(4\right)$其中x_HR(i)为x_LR(i)对应的64×48清晰分辨率样本小块的高频系数向量；若进行光照处理，(3)、(4)两式中若不进行光照处理，(3)、(4)两式中ε＝1；2.31.5)重复2.31.4)得到所有2.31.3)中分割出的小块对应的64×48高分辨率小块的高频系数；2.31.6)将2.31.5)中学习得到的64×48高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为结果，得到64×48高分辨率图像的高频系数；2.31.7)将得到的64×48高分辨率图像的高、低频系数进行反变换便得到64×48高分辨率图像；2.32)从64×48到128×96放大：2.32.1)将从2.31)步得到的64×48高分辨率图像作为此步的64×48低分辨率图像，其像素值直接作为重建出的128×96高分辨率图像的低频系数；2.32.2)对64×48低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9‑7滤波器组进行拉普拉斯金字塔分解得到其高频系数；2.32.3)将64×48低分辨率图像分割为大小为s×t的小块，s取值范围为4～8，t取值范围为8～12，相邻小块间有(s‑1)×(t‑1)的重叠；2.32.4)利用LLE学习得到2.32.3)中分割出的小块对应位置的128×96高分辨率小块的高频系数：令y_LR为单个于2.31.3)中得到小块对应的于2.32.2)中得到的高频系数组成的向量，x_LR(i)为第i个64×48清晰的分辨率样本集相应位置小块的高频系数组成的向量，在64×48清晰的分辨率样本集相应位置的小块中取前k个(5<k<8)与y_LR均方误差最小的样本小块，计算如下极值问题：$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|{\mathrm{ϵy}}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\Sigma }}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,\underset{i=1}{\overset{k}{\Sigma }}w\left(i\right)=1---\left(3\right)$令G＝(εy_LR1^T‑X)^T(εy_LR1^T‑X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为W为w(i)组成的向量，进而计算出学习得到的128×96高分辨率图像小块的高频系数向量为：$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\Sigma }}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{ϵ}---\left(4\right)$其中x_HR(i)为x_LR(i)对应的128×96清晰分辨率样本小块的高频系数向量；若进行光照处理，(3)、(4)两式中若不进行光照处理，(3)、(4)两式中ε＝1；2.32.5)重复2.32.4)得到所有2.32.3)中分割出的小块对应的128×96高分辨率小块的高频系数；2.32.6)将2.32.5)中学习得到的128×96高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为结果，得到128×96高分辨率图像的高频系数；2.32.7)将得到的128×96高分辨率图像的高、低频系数进行反变换便得出128×96高分辨率图像；2.33)从128×96到256×192放大：2.33.1)将从2.32)步得到的128×96高分辨率图像作为此步的128×96低分辨率图像，其像素值直接作为重建出的256×192高分辨率图像的低频系数；2.33.2)对128×96低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9‑7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数；2.33.3)将128×96低分辨率图像分割为大小为s×t的小块，s取值范围为4～8，t取值范围为8～12，相邻小块间有(s‑1)×(t‑1)的重叠；2.33.4)利用LLE学习得到2.33.3)中分割出的小块对应位置的256×192高分辨率小块的高频系数：令y_LR为单个于2.31.3)中得到小块对应的于2.33.2)中得到的高频系数组成的向量，x_LR(i)为第i个128×96清晰的分辨率样本相应位置小块的高频系数组成的向量，在128×96清晰的分辨率样本相应位置的小块中取前k个(5<k<8)与y_LR均方误差最小的样本小块，计算如下极值问题：$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|{\mathrm{ϵy}}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\Sigma }}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,\underset{i=1}{\overset{k}{\Sigma }}w\left(i\right)=1---\left(3\right)$令G＝(εy_LR1^T‑X)^T(εy_LR1^T‑X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为W为w(i)组成的向量，进而计算出学习得到的256×192高分辨率图像小块的高频系数向量为：$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\Sigma }}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{ϵ}---\left(4\right)$其中x_HR(i)为x_LR(i)对应的256×192清晰分辨率样本小块的高频系数向量；若进行光照处理，(3)、(4)两式中若不进行光照处理，(3)、(4)两式中ε＝1；2.33.5)重复2.33.4)得到所有2.33.3)中分割出的小块对应的256×192高分辨率小块的高频系数；2.33.6)将2.33.5)中学习得到的256×192高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果，得到256×192高分辨率图像的高频系数；2.33.7)将得到的256×192高分辨率图像的高、低频系数进行反变换便得出256×192高分辨率图像；2.34)从256×192到512×384放大：2.34.1)将从2.33)步得到的256×192高分辨率图像作为此步的256×192低分辨率图像，其像素值直接作为重建出的512×384高分辨率图像的低频系数；2.34.2)对256×192低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9‑7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数；2.34.3)将256×192低分辨率图像分割为大小为s×t的小块，s取值范围为4～8，t取值范围为8～12，相邻小块间有(s‑1)×(t‑1)的重叠；2.34.4)利用LLE学习得到2.34.3)中分割出的小块对应位置的512×384高分辨率小块的高频系数：令y_LR为单个于2.34.3)中得到小块对应的于2.34.2)中得到的高频系数组成的向量，x_LR(i)为第i个256×192清晰的分辨率样本相应位置小块的高频系数组成的向量，在256×192清晰的分辨率样本相应位置小块中取前k个(5<k<8)与y_LR均方误差最小的样本小块，计算如下极值问题：$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|{\mathrm{ϵy}}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\Sigma }}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,\underset{i=1}{\overset{k}{\Sigma }}w\left(i\right)=1---\left(3\right)$令G＝(εy_LR1^T‑X)^T(εy_LR1^T‑X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为W为w(i)组成的向量，进而计算出学习得到的512×384高分辨率图像小块的高频系数向量为：$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\Sigma }}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{ϵ}---\left(4\right)$其中x_HR(i)为x_LR(i)对应的512×384清晰分辨率样本小块的高频系数向量；若进行光照处理，(3)、(4)两式中若不进行光照处理，(3)、(4)两式中ε＝1；2.34.5)重复2.34.4)得到所有2.34.3)中分割出的小块对应的512×384高分辨率小块的高频系数2.34.6)将2.34.5)中学习得到的512×384高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果，得到512×384高分辨率图像的高频系数；2.34.7)将得到的512×384高分辨率图像的高、低频系数进行反变换便得到最终重建出的512×384高分辨率图像。