基于流形正则稀疏支撑回归的单帧图像超分辨率重建方法

摘要

一种基于流形正则稀疏支撑回归的单帧图像超分辨率重建方法，建立高、低分辨率图像块集分别作为高、低分辨率图像块字典；将输入低分辨率图像划分成为若干个图像块，对图像块用低分辨率图像块字典进行稀疏编码并得到支撑集；计算高分辨率图像块支撑集的近邻关系并保持到重建后的高分辨率图像块空间，学由低分辨率图像块空间到高分辨率图像块空间的映射关系；利用此映射关系求得所有输入低分辨率图像块对应的高分辨率图像块，并融合成高分辨率图像。本发明提出流形正则稀疏支撑回归表示模型，自适应的选择稀疏表示的支撑集，并利用了支撑集中高分辨率图像块的流形结构来约束高分辨率图像块重建，因而得到更高质量的高分辨率图像。

主权项

一种基于流形正则稀疏支撑回归的单帧图像超分辨率重建方法，其特征在于，包括如下步骤：步骤1，构建高分辨率图像块训练集和对应的低分辨率图像块训练集，所述高分辨率图像块训练集由多个高分辨率图像块构成，所述低分辨率图像块训练集由相应的多个低分辨率图像块构成；将输入低分辨率图像划分为若干个相互交叠的低分辨率图像块，大小与低分辨率图像块训练集内低分辨率图像块相同；步骤2，对于输入低分辨率图像中每个低分辨率图像块，计算由低分辨率图像块训练集作为低分辨率图像块字典进行稀疏重建的稀疏编码系数及支撑集，得到与支撑集对应的高分辨率图像块支撑集和低分辨率图像块支撑集；步骤3，对于输入低分辨率图像中每个低分辨率图像块，构建高分辨率图像块支撑集内邻域的相似矩阵W，并得到流形约束项；步骤4，对于输入低分辨率图像中每个低分辨率图像块，根据步骤3所得相似矩阵W，约束重建低分辨率图像块支撑集与对应高分辨率图像块支撑集之间的映射矩阵P；步骤5，对于输入低分辨率图像中每个低分辨率图像块，根据步骤4所得映射矩阵P重建输入对应的高分辨率图像块；求得输入低分辨率图像中所有低分辨率图像块对应的高分辨率图像块后，整合得到高分辨率图像并输出；实现如下，记步骤1所得高分辨率图像块训练集为对应低分辨率图像块训练集为其中，y_i代表高分辨率图像块训练集中第i个高分辨率图像块、x_i代表低分辨率图像块训练集中第i个低分辨率图像块，高分辨率图像块训练集中高分辨率图像块的总个数和低分辨率图像块训练集中低分辨率图像块的总个数都是N；步骤2中，将输入低分辨率图像划分所得任一低分辨率图像块x_t，通过低分辨率图像块训练集X进行稀疏编码，稀疏编码系数通过下式获得，$\hat{\theta }=\underset{\theta }{\arg \min }{\left|\right|x_t-\mathrm{X\theta }\left|\right|}_2+{\lambda }_1{\left|\right|\theta \left|\right|}_1$其中，λ₁是编码误差和稀疏性之间的平衡参数，θ为长度为N的编码系数，返回关于变量θ的函数在得到最小值时θ的取值支撑集S定义如下，$S=\mathrm{support}\left(\hat{\theta }\right)$其中，表示稀疏编码系数，是稀疏编码系数中非零元素的索引的集合，与支撑集S对应的高分辨率图像块集和低分辨率图像块集分别记为高分辨率图像块支撑集Y_S＝{y_i|i∈S}和低分辨率图像块支撑集X_S＝{x_i|i∈S}；步骤3中，将高分辨率图像块支撑集Y_S中任一高分辨率图像块y_i看作构成邻接矩阵图G的一个顶点；连接任意两个顶点y_i和y_j的边的权值为w_ij，i的取值为1,2,…,K，j的取值为1,2,…,K，i≠j，K是高分辨率图像块支撑集中图像块的个数；建立高分辨率图像块支撑集的相似矩阵W根据如下公式，${\hat{W}}_{·i}=\underset{W_{·i}}{\arg \min }{\left|\right|y_i-Y_S{W}_{·i}\left|\right|}_2+{\lambda }_2{\left|\right|W_{·i}\left|\right|}_1,s.t.W_{\mathrm{ii}}=0$W_·i为相似矩阵W的第i列向量，W_ii是相似矩阵W对角线上的元素，返回关于变量W_·i的函数在得到最小值时W_·i的取值λ₂是y_i编码误差和W_·i稀疏性的平衡参数；流形约束项的构建方式如下，$\underset{i\in S}{\Sigma }{\left|\right|{\mathrm{Px}}_i-{\mathrm{PX}}_S{W}_{·i}\left|\right|}_2^2={\left|\right|{\mathrm{PX}}_S-{\mathrm{PX}}_{S}W\left|\right|}_F^2={\left|\right|{\mathrm{PX}}_S(I-W)\left|\right|}_F^2$其中，I是单位矩阵；步骤4中，映射矩阵P通过最小化下式得到，$O_{\mathrm{MSSR}}={\left|\right|{\mathrm{PX}}_S-Y_S\left|\right|}_F^2+\alpha {\left|\right|P\left|\right|}_F^2+\beta {\left|\right|{\mathrm{PX}}_S(I-W)\left|\right|}_F^2$其中，α和β为正则化系数，对目标函数O_MSSR进行求导，并利用矩阵性质得到映射矩阵P如下，$P=Y_S{X}_S^T{(X_S{X}_S^T+\mathrm{\alpha I}+\beta X_S{\mathrm{GX}}_S^T)}^{-1}$其中，G＝(I‑W)(I‑W)^T；步骤5中，对任一低分辨率图像块x_t，相对应的高分辨率图像块通过下式计算得到，y_t＝Px_t其中，y_t表示低分辨率图像块x_t对应的高分辨率图像块。