基于改进邻域嵌入和结构自相似性的超分辨率重建算法

摘要

本发明公开一种基于改进邻域嵌入和结构自相似性的超分辨率重建算法，首先用结构相似性改进邻域嵌入方法，进而获得更加准确的高频初始估计，实现基于邻域嵌入的初始估计算法；接着利用低分辨率图像的局部自相似性和多尺度结构相似性构建重建约束项重建高分辨，建立稀疏表示字典。与现有技术相比，本发明所提出的算法在解决前人的基于学的超分辨率重建算法需要大量训练集的缺陷的基础上，改进了邻域嵌入方法，并将其用于解决基于局部自相似性和多尺度相似性的超分辨率算法中存在的不准确高频初始估计问题，提升了图像的超分辨率重建效果；能够更好地抑制了锯齿效应和振铃效应，重建出的高分辨率图像更接近于真实图像，具有更好的主观和客观质量。

主权项

一种基于改进邻域嵌入和结构自相似性的超分辨率重建算法，其特征在于，该算法包括以下步骤：步骤(1)、基于邻域嵌入的初始估计算法，首先提取高分辨率训练图像I_H的亮度分量，接着对高分辨率图像进行a倍的下采样操作得到低分辨率图像I_L，并将高分辨率和低分辨率图像分成相互有重叠区域的小块；记X＝{x^m,m＝1,...,p}为训练的低分辨率块集合，Y＝{y^m,m＝1,...,p}为与之对应的高分辨率块集合，其中p是从训练图像中分割出的小块的数；同样的，记为待重建的低分辨率图像分割出的块集合，为待估计的高分辨率图像的块集合，其中q是测试图像中分割出小块的数量；将图像块x^m和图像块的距离矩阵定义为D_pq，其中D_pq的第n列为与X，X表示训练的低分辨率块集合中所有图像块的距离构成的列向量；然后遍历D_pq中的每一列找到K个最大值，其索引对应的图像块即所求图像块在训练集中的K个近邻块，记为表示的对应所求的图像块的K个近邻块，t1,t2,...tK表示K个近邻块的序号；接着对于每一个测试图像块利用最小化局部重建误差的方式求得最佳权值向量ω_n＝[ω_n1,ω_n2,...ω_np]，n1,n2,...nP表示序号的脚标，n表示第n个测试图像块：${\omega }_n=\arg \underset{{\omega }_n}{min}\left|\right|{\hat{x}}^n-\underset{m=1}{\overset{p}{\Sigma }}{\omega }_{nm}{x}^m|{|}_2^2---\left(7\right)$其中每一个权值ω_nm需满足下述约束条件：$\left\{\begin{array}{ccc}\underset{m=1}{\overset{p}{\Sigma }}{\omega }_{nm}=1& & \\ {\omega }_{nm}\ne 0& if& x^m\in S_l^n\\ {\omega }_{nm}=0& if& x^m\notin S_l^n\end{array}\right.---\left(8\right)$利用核回归方式求解ω_nm，得到每个高分辨率图像块的估计值：${\hat{y}}^n=\underset{m=1}{\overset{p}{\Sigma }}{\omega }_{nm}{y}^m---\left(9\right)$对于各个高分辨率图像块的重叠区域，取其各个重叠像素值的平均；利用下式定义残余误差e_l为图像块与另一图像块的相似程度，残余误差越小说明两图像块越相似：$e_l=\left|\right|{\hat{y}}_l-{\tilde{y}}_l|{|}_2^2---\left(10\right)$对于每一个图像块计算图像块与其搜索邻域内的所有图像块的残余误差，找到残余误差最小的L个图像块即为图像块的L个最相似块集合：$\tilde{Y}=\{{\tilde{y}}^{ni},i=1,2...L\},$其残余误差分别为i＝1,2...L L表示的是图像块的个数；则待估计图像块表示为表示找到的L个残余误差最小的图像块中的一个图像块的线性组合：${\hat{y}}^n=\underset{i=1}{\overset{L}{\Sigma }}{\rho }_n^i{\tilde{y}}^{ni}---\left(11\right)$其中，中的每个元素与之间的相似度权值由下式计算：${\rho }_n^i=\frac{\exp (-\frac{e_l^{ni}}{h})}{\underset{i=1}{\overset{L}{\Sigma }}\exp (-\frac{e_l^{ni}}{h})}---\left(12\right)$h是权值的控制因子；与中的每个元素(j＝1,2,...,q)之间的相似度权值定义为：$T_n^j=\left\{\begin{array}{cc}{\rho }_n^i& if{\hat{y}}^j\in \tilde{Y},{\hat{y}}^j={\tilde{y}}^{ni}\\ 0& otherwise\end{array}\right.---\left(13\right)$表示待估计的高分辨率图像块集合中的第j个块，为图像块的L个最相似块集合；令为组成的向量，将式(11)表示为：将(14)作为非局部自相似正则项加入邻域嵌入方法中，构造邻域超分辨率重建方法模型：$\hat{Y}=\underset{\hat{Y}}{\arg \min }\left|\right|\hat{Y}-WY|{|}_2^2+\lambda ||\hat{Y}-\Phi \hat{Y}|{|}_2^2---\left(15\right)$其中W为字典序的ω_n，即W＝[ω₁,ω₂,...,ω_q]^T，Φ为字典序的即公式(15)通过梯度下降法求解，化简为${\hat{Y}}^{t+1}={\hat{Y}}^t-\lambda {(I-\Phi )}^T(I-\Phi ){\hat{Y}}^t---\left(16\right)$t为迭代次数，λ为正则化系数常量；设为邻域嵌入法得到的迭代初始值，经过_t次迭代，得到准确的高频初始估计步骤(2)、建立稀疏表示字典，将步骤(1)得到的高分辨率初始估计图像进行分块操作后，对于每一个待重建高分辨率输入块x_i，将其与已经训练得到的簇中心{C₁,C₂,...,C_n}进行比较，找到与输入块欧氏距离最小的簇中心C_i，其所在的簇K_i所对应的子字典Ψ_i即待重建高分辨率块x_i所使用的字典；得到每个待重建图像块所对应的子字典Ψ_i后，将利用非局部自回归超分辨率重建模型$\{\alpha ,x\}=\arg \underset{\alpha ,x}{min}\left|\right|y-DMx|{|}_2^2+\underset{i=1}{\overset{N}{\Sigma }}{\lambda }_i|\left|{\alpha }_i\right|{|}_1+\underset{i=1}{\overset{N}{\Sigma }}{\gamma }_i\left|\right|{\alpha }_i-{\alpha }_i^{*}|{|}_2^2+\theta \underset{i=1}{\overset{N}{\Sigma }}||R_{i}x-{\Psi }_i{\alpha }_i|{|}_2^2---\left(6\right)$通过拉格朗日乘子法转化为(17)、(18)两式，$\alpha =\arg \underset{\alpha }{min}\underset{i=1}{\overset{N}{\Sigma }}{\lambda }_i\left|\right|{\alpha }_i|{|}_1+\underset{i=1}{\overset{N}{\Sigma }}{\gamma }_i||{\alpha }_i-{\alpha }_i^{*}|{|}_2^2+\theta \underset{i=1}{\overset{N}{\Sigma }}\left|\right|R_{i}x-{\Psi }_i{\alpha }_i|{|}_2^2---\left(17\right)$$x=\arg \underset{x}{min}\left|\right|y-DWx|{|}_2^2+\theta \underset{i=1}{\overset{N}{\Sigma }}||R_{i}x-{\Psi }_i{\alpha }_i|{|}_2^2---\left(18\right)$其中y表示输入低分辨率图像，x表示待重建高分辨率图像，D为下采样矩阵；M为非局部自相似权重矩阵，用来描述图像块之间的非局部自相似关系；Ψ_i为第i个图像块对应的子字典；α为稀疏表示稀疏矩阵，其每一行α_i为第i个图像块在子字典Ψ_i下的稀疏表示系数向量，α_i的每个元素为α_ij；α_ij为第i个图像块的非局部自相似性块的稀疏表示系数；R_i为抽取矩阵，其作用是将第i个图像块从图像中抽取出来；λ_i、γ_i为加权向量，其每个元素$\begin{array}{cc}{\lambda }_{ij}=\frac{c_1}{\left|{\alpha }_{ij}\right|+ϵ},& {\gamma }_{ij}=\frac{c_2}{{(a_{ij}-{{\alpha }_{ij}}^{*})}^2+ϵ}\end{array};$θ为加权系数；并对式(17)、(18)迭代求解；式(17)由迭代收缩算法得到最终解；为解决式(18)，构造拉格朗日方程为：$L(X,Z,\tau )=\left|\right|Y-DWX|{|}_2^2+\theta ||R_{i}X-{\Psi }_i{\alpha }_i|{|}_2^2+<Z,Y-DX>+\tau \left|\right|Y-DX|{|}_2^2---\left(19\right)$其中，Z是拉格朗日乘子，τ为常量，式(19)可由下式迭代inter_num次进行求解，iter表示当前的迭代次数：$x^{(iter+1)}=\arg \underset{x}{\min }L(x,Z^{\left(iter\right)},{\tau }^{\left(iter\right)})---\left(20\right)$Z^(iter+1)＝Z^(iter)+τ^iter(y‑Dx^(iter+1))       (21)τ^(iter+1)＝δτ^(iter)            (22)令将式(20)化简为式(23)进行求解：$x^{(iter+1)}={[{\left(DW\right)}^{T}DW+\theta \underset{i=1}{\overset{N}{\Sigma }}{R_i}^T{R}_i+{\tau }^{\left(iter\right)}{D}^{T}D]}^{-1}[{\left(DW\right)}^{T}y+\theta \underset{i=1}{\overset{N}{\Sigma }}{R_i}^T{R}_i\left({\Psi }_i{\alpha }_i\right)+D^T{Z}^{\left(iter\right)}/2+{\tau }^{\left(iter\right)}{D}^{T}y]---\left(23\right);$x为待重建高分辨率图像，δ为更新常量τ的更新倍数，为常数。