基于子空间投影和邻域嵌入的图像超分辨率重建方法

摘要

一种基于子空间投影和邻域嵌入的图像超分辨率重建方法，它先采用一、二级子空间投影方法将原始高维数据投影到低维空间，用降维特征向量表示低分辨率图像块的特征，既保留原始数据的全局结构信息，又保留局部结构信息；再在低维空间比较降维特征向量之间的欧氏距离，找出与待重建低分辨率图像块最为匹配的邻域块，并由特征向量之间的相似度和比例因子来构造出更准确的嵌入权重系数，提高了搜索速度和匹配精度；接着构造出特征向量间的相似度和比例因子，计算出更精确的权重系数，从训练库中获取到更多的高频信息；最后，根据权重系数和邻域块估计出精度更高的高分辨率图像块，重建出与真实物体的相似度更高的图像，有利于后期真实物体识别处理。

主权项

1.一种基于子空间投影和邻域嵌入的图像超分辨率重建方法，包括以下步骤：A、训练：将L幅分辨率相同、大小相同的高分辨率图像作为训练高分辨率图像l=1,2,…,L，L=3～80；对每幅训练高分辨率图像进行重叠分块后得到N₁个大小为z*z的训练高分辨率图像块，N₁=1000～7000，z=6,9,12,15，共得到N=L*N₁个训练高分辨率图像块，提取每个训练高分辨率图像块的标准化亮度特征作为一个训练高分辨率标准化亮度特征图像块，将第i个训练高分辨率标准化亮度特征图像块按一列一列的顺序转换为第i个训练高分辨率特征向量i=1,2,…,N，每个训练高分辨率特征向量的维数均为d₁=z²，所有训练高分辨率特征向量组成一个训练高分辨率特征矩阵对第l(1≤l≤L)幅训练高分辨率图像做a倍下采样处理，a=2,3,4,5，得到对应的第l幅训练低分辨率图像再对每幅训练低分辨率图像做a倍上采样处理后得到对应的训练插值图像提取每幅训练插值图像的一阶水平、一阶垂直和二阶水平、二阶垂直梯度特征，同时对这四幅梯度特征图像进行重叠分块，每幅训练插值图像重叠分块后得到4*N₁个大小为z*z的训练低分辨率梯度特征图像块，共得到4*N个训练低分辨率梯度特征图像块，每一个训练低分辨率图像块的四个不同类型梯度特征图像块作为一个训练低分辨率梯度特征图像块组，将第i个训练低分辨率梯度特征图像块组按一列一列的顺序转换为第i个训练低分辨率特征向量每个训练低分辨率特征向量的维数均为d₂=4*z²，所有训练低分辨率特征向量组成一个训练低分辨率特征矩阵$X^s=[x_1^s,x_2^s,...,x_N^s];$B、预处理：输入待重建低分辨率图像R^d，其分辨率与所有训练低分辨率图像的分辨率相同，将待重建低分辨率图像R^d进行a倍上采样处理后得到待重建插值图像R^c，提取待重建插值图像R^c的一阶水平、一阶垂直和二阶水平、二阶垂直梯度特征，同时对这四幅梯度特征图像进行重叠分块后共得到4*N₂个大小为z*z的待重建低分辨率梯度特征图像块，N₂=1000～7000，每一个待重建低分辨率图像块的四个不同类型梯度特征图像块作为一个待重建低分辨率梯度特征图像块组，将第j个待重建低分辨率梯度特征图像块组按一列一列的顺序转换为第j个待重建低分辨率特征向量j=1,2,…,N₂，每个待重建低分辨率特征向量的维数与所有训练低分辨率特征向量的维数相同，均为d₂=4*z²，所有待重建低分辨率特征向量组成一个待重建低分辨率特征矩阵$X^t=[x_1^t,x_2^t,...,x_{N_2}^t];$C、超分辨率重建：C1、子特征矩阵生成：对步骤B中得到的每个待重建低分辨率特征向量依次在步骤A得到的训练低分辨率特征矩阵中寻找出与第j个待重建低分辨率特征向量之间欧氏距离最小的n-1=100～300个训练低分辨率特征向量，将第j个待重建低分辨率特征向量作为子特征向量x_1j，并将寻找到的n-1个训练低分辨率特征向量按与第j个待重建低分辨率特征向量之间欧氏距离从小到大依次作为子特征向量x_2j,x_3j,…,x_nj，由此组成第j个子特征矩阵$X_j={\left\{x_{i\prime j}\right\}}_{i\prime =1}^n;$C2、降维特征矩阵生成：采用一、二级子空间投影方法，将第j个子特征矩阵进行特征降维，每个子特征向量x_i′j(1≤i′≤n)投影到一个低维子空间上，共得到n个降维特征向量每个降维特征向量的维数为m<d₂；每个子特征向量x_i′j与对应的降维特征向量形成一一映射关系，经一、二级子空间投影后，维数为d₂的子特征向量x_i′j转换成维数为m的降维特征向量实现特征降维，所有降维特征向量组成第j个降维特征矩阵$X_j^m={\left\{x_{i\prime j}^m\right\}}_{i\prime =1}^n;$C3、权重系数计算：在步骤C2得到的降维特征向量集合中寻找出与降维特征向量之间欧氏距离最小的k个降维特征向量，k=5～10，根据步骤C1中子特征向量x_i′j与步骤C2中降维特征向量之间的一一映射关系，以及寻找到的k个降维特征向量的索引号，依次在步骤A得到的训练低、高分辨率特征矩阵X^s和Y^s中寻找出对应的k对训练低、高分辨率特征向量，并由这k对训练低、高分辨率特征向量分别组成第j个近邻低、高分辨率特征矩阵$X_j^f={\left\{x_{i″j}^f\right\}}_{i″=1}^k$和$Y_j^f={\left\{y_{i″j}^f\right\}}_{i″=1}^k;$根据第j个近邻低分辨率特征矩阵$X_j^f={\left\{x_{i″j}^f\right\}}_{i″=1}^k$和第j个待重建低分辨率特征向量计算出第j个相似度组和第j个比例因子组并联合和计算出第j个归一化嵌入权重系数组C4、重建高分辨率图像块：根据第j个归一化嵌入权重系数组和第j个近邻高分辨率特征矩阵的线性加权形式，来估计出第j个重建后高分辨率特征向量再与第j个待重建低分辨率图像块的亮度均值相加，并转换为图像块形式，即可得出第j个重建后高分辨率图像块；重复以上的步骤C1～步骤C4，共得到N₂个大小为z*z的重建后高分辨率图像块，重叠拼接后得到超分辨率重建的初步图像H₀；D、后处理：采用迭代后投影算法对超分辨率重建的初步图像H₀进行Q次迭代计算处理，Q=10～30，得到超分辨率重建的最终图像H^*。