图像序列的加权自适应超分辨率重建方法

摘要

本发明提出一种图像序列的加权自适应超分辨率重建方法，该方法在鲁棒性和实用性方面优于传统的方法，对获得高质量的图像具有重要的应用价值，它包括如下步骤：(1)取同一传感器获得的连续多帧低分辨率图像，然后对该低分辨率图像序列进行重采样，得到重采样的低分辨率图像序列；(2)利用重采样的低分辨率图像序列重建一帧高分辨率图像，重建一帧高分辨率图像的方法为：首先建立高分辨率图像的退化模型，然后根据给定的高分辨率图像的退化模型以及正则化理论，把退化模型中高分辨率图像的求解过程转化为高分辨率图像的重建优化模型解的优化过程，最后利用逐渐非凸算法对高分辨率图像的重建优化模型进行优化，得到高分辨率图像的最优估计值。

主权项

1.一种图像序列的加权自适应超分辨率重建方法，其特征在于，包括如下步骤：步骤1取同一传感器获得的连续K帧M₁×M₂大小的低分辨率图像，得到低分辨率图像序列{Y_k(x，y)：k＝1，2，...，K}，其中，M₁和M₂分别为每帧低分辨率图像的图像矩阵的行数和列数，M₁、M₂以及K为正整数，用Y_k(x，y)二维函数形式表示低分辨率图像序列中第k帧图像，坐标(x，y)的值为离散量并且x和y都为非负整数，然后对该低分辨率图像序列进行重采样，得到重采样的低分辨率图像序列，对该低分辨率图像序列进行重采样的方法为：(1.1)选取参考帧，建立图像序列中偏移图与参考帧图像之间的运动变形变换关系模型以第一帧图像Y₁(x，y)为参考帧图像，则第k帧图像Y_k(x，y)为第一帧图像Y₁(x，y)经过旋转角度水平平移垂直平移所得，即：${\overrightarrow{Y}}_k(x,y)={\overrightarrow{Y}}_1(x\cos \left({\bar{\theta }}_k\right)-y\sin \left({\bar{\theta }}_k\right)+{\bar{a}}_k,y\cos \left({\bar{\theta }}_k\right)+x\sin \left({\bar{\theta }}_k\right)+{\bar{b}}_k)---\left(1\right)$所述的旋转角度水平平移以及垂直平移为运动变形参数，所述的运动变形参数以及的确定方法为：步骤1.1：利用维纳滤波对低分辨率图像序列{Y_k(x，y)：k＝1，2，...，K}进行预处理，预处理后的低分辨率图像序列仍记为{Y_k(x，y)：k＝1，2，..，K}；步骤1.2：利用公知的建立图像金字塔的方法，分别对预处理后的K帧低分辨率图像建立图像金字塔，其算法如下：对第k帧预处理后的图像Y_k(x，y)经过低通滤波后并做隔行隔列降采样，即$f_{k,l}(x,y)=\underset{m=-2}{\overset{2}{\Sigma }}\underset{n=-2}{\overset{2}{\Sigma }}w(m,n)f_{k,l-1}(2x+m,2y+n),1\le l\le L,0\le x\le C_{k,l},0\le y<R_{k,l}---\left(2\right)$其中，f_k，l(x，y)表示第k帧图像Y_k(x，y)的图像金字塔中第l层图像；f_k，0(x，y)为原图像Y_k(x，y)，作为第k帧图像Y_k(x，y)的图像金字塔的底层；L表示第k帧图像Y_k(x，y)的图像金字塔的总层数；C_k，l为第k帧图像Y_k(x，y)的图像金字塔中第l层图像的列数；R_k，l为第k帧图像Y_k(x，y)的图像金字塔中第l层图像的行数；其中，l、m、n、L、C_k，l以及R_k，l为大于零的正整数，为5×5大小的窗口函数，其中，m′和n′为正整数，为服从高斯密度分布的函数，服从高斯密度分布的函数满足如下三个约束条件：1)归一化：m″为整数；2)对称性：m″′＝0、1、2；3)奇偶项等贡献：由上面三个约束条件可以得到$\bar{w}\left(0\right)=\frac{3}{8},\bar{w}(-1)=\bar{w}\left(1\right)=\frac{1}{4},\bar{w}(-2)=\bar{w}(-2)=\frac{1}{16}$窗口函数w(m′，n′)则可以表示为$w(m^{\prime },n^{\prime })=\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]$由{f_k，l(x，y)：l＝1，2，..，L}构成了第k帧预处理后的低分辨率图像Y_k(x，y)的图像金字塔；步骤1.3：利用梯度法来估计第k帧图像Y_k(x，y)的图像金字塔第L层图像相对于参考帧图像Y₁(x，y)的图像金字塔的第L层的旋转角度水平平移垂直平移其算法如下：以第一帧图像的图像金字塔第L层图像f_1，L(x，y)作为参考帧图像，第k帧图像Y_k(x，y)的图像金字塔第L层f_k，L(x，y)作为f_1，L(x，y)经过旋转角度水平平移垂直平移则f_k，L(x，y)表示为$f_{k,K}(x,y)=f_{1,L}(x\cos \left({\bar{\theta }}_{k,L}\right)-y\sin \left({\bar{\theta }}_{k,L}\right)+{\bar{a}}_{k,L},y\cos \left({\bar{\theta }}_{k,L}\right)+x\sin \left({\bar{\theta }}_{k,L}\right)+{\bar{b}}_{k,L})---\left(3\right)$将和用泰勒级数展开到二阶，近似得$f_{k,L}(x,y)\approx f_{1,L}(x+{\bar{a}}_{k,L}-y{\bar{\theta }}_{k,L}-x\frac{{\left({\bar{\theta }}_{k,L}\right)}^2}{2},y+{\bar{b}}_{k,L}+x{\bar{\theta }}_{k,L}-y\frac{{\left({\bar{\theta }}_{k,L}\right)}^2}{2})---\left(4\right)$进一步将f_1，L用泰勒级数展开到一阶，可近似得$f_{k,L}(x,y)\approx f_{1,L}(x,y)+({\bar{a}}_{k,L}-y{\bar{\theta }}_{k,L}-x\frac{{\left({\bar{\theta }}_{k,L}\right)}^2}{2})\frac{\partial {\overrightarrow{Y}}_1(x,y)}{\partial x}+({\bar{b}}_{k,L}+x{\bar{\theta }}_{k,L}-y\frac{{\left({\bar{\theta }}_{k,L}\right)}^2}{2})\frac{\partial {\overrightarrow{Y}}_1(x,y)}{\partial y}---\left(5\right)$则f_1，L和f_k，L之间的误差函数表示为$E({\bar{\theta }}_{k,L},{\bar{a}}_{k,L},{\bar{b}}_{k,L})=\underset{x}{\Sigma }\underset{y}{\Sigma }{[f_{1,L}(x,y)+({\bar{a}}_{k,L}-y{\bar{\theta }}_{k,L}-x\frac{{\left({\bar{\theta }}_{k,L}\right)}^2}{2})\frac{\partial {\overrightarrow{Y}}_1(x,y)}{\partial x}+({\bar{b}}_{k,L}+x{\bar{\theta }}_{k,L}-y\frac{{\left({\bar{\theta }}_{k,L}\right)}^2}{2})\frac{\partial {\overrightarrow{Y}}_1}{\partial y}-f_{k,L}(x,y)]}^2---\left(6\right)$对式(6)关于求偏导数并令其等于零，忽略高阶项后可以得到$\underset{x}{\Sigma }\underset{y}{\Sigma }{\left(\frac{{\partial f}_{1,L}(x,y)}{\partial x}\right)}^2{\bar{a}}_{k,L}+\underset{x}{\Sigma }\underset{y}{\Sigma }\frac{{\partial f}_{1,L}(x,y)}{\partial x}\frac{{\partial f}_{1,L}(x,y)}{\partial y}{\bar{b}}_{k,L}+\underset{x}{\Sigma }\underset{y}{\Sigma }R\frac{{\partial f}_{1,L}(x,y)}{\partial x}{\bar{\theta }}_{k,L}=\underset{x}{\Sigma }\underset{y}{\Sigma }\frac{{\partial f}_{1,L}(x,y)}{\partial x}(f_{1,L}(x,y)-f_{k,L}(x,y))---\left(7\right)$$\underset{x}{\Sigma }\underset{y}{\Sigma }\frac{{\partial f}_{1,L}(x,y)}{\partial x}\frac{\partial f_{1,L}(x,y)}{\partial y}{\bar{a}}_{k,L}+\underset{x}{\Sigma }\underset{y}{\Sigma }{\left(\frac{{\partial f}_{1,L}(x,y)}{\partial y}\right)}^2{\bar{b}}_{k,L}+\underset{x}{\Sigma }\underset{y}{\Sigma }R\frac{{\partial f}_{1,L}(x,y)}{\partial y}{\bar{\theta }}_{k,L}=\underset{x}{\Sigma }\underset{y}{\Sigma }\frac{{\partial f}_{1,L}(x,y)}{\partial y}({\partial f}_{1,L}(x,y)-{\partial f}_{k,L}(x,y))---\left(8\right)$$\underset{x}{\Sigma }\underset{y}{\Sigma }R\frac{{\partial f}_{1,L}(x,y)}{\partial x}{\bar{a}}_{k,L}+\underset{x}{\Sigma }\underset{y}{\Sigma }R\frac{{\partial f}_{1,L}(x,y)}{\partial y}{\bar{b}}_{k,L}+\underset{x}{\Sigma }\underset{y}{\Sigma }{R}^2{\bar{\theta }}_{k,L}=\underset{x}{\Sigma }\underset{y}{\Sigma }R(f_{1,L}(x,y)-f_{k,L}(x,y))---\left(9\right)$其中$R=x\frac{{\partial f}_{1,L}(x,y)}{\partial y}-y\frac{{\partial f}_{1,L}(x,y)}{\partial x},$解线性方程组(7)-(9)，得到旋转角度水平平移垂直平移步骤1.4：利用公式以及得到最佳运动变形参数以及的值；(1.2)几何位置校正以参考帧图像Y₁(x，y)的坐标系作为标准坐标系，按照运动变形变换关系模型，把预处理后的低分辨率图像序列{Y_k(x，y)：k＝1，2，..，K}分别投影到标准坐标系中的相应位置，得到几何位置校正后的低分辨率图像序列，几何位置校正后的低分辨率图像序列仍然记为{Y_k(x，y)：k＝1，2，...，K}；(1.3)低分辨率图像序列的初始重采样利用加权拉格朗日插值算法对几何位置校正后的低分辨率图像序列{Y_k(x，y)：k＝1，2，...，K}进行重采样，得到初始重采样的低分辨率图像序列；(1.4)确定图像区域的输出范围首先把初始重采样的低分辨率图像序列投影到标准坐标系中，然后分别找出投影图像的横坐标和纵坐标的最大值和最小值，并以此确定图像区域的输出范围，输出重采样的低分辨率图像序列重采样的低分辨率图像序列中每帧图像的大小为N₁×N₂，其中N₁和N₂为正整数且分别为重采样的每帧低分辨率图像的图像矩阵的行数和列数；步骤2.利用重采样的低分辨率图像序列重建一帧大小为pN₁×pN₂的高分辨率图像其中放大因子p为正整数，重建一帧高分辨率图像的方法为：(2.1)建立高分辨率图像的退化模型首先将重采样的低分辨率图像序列按行排成列向量，重排后的低分辨率图像序列记为$\{{\overrightarrow{Y}}_k:k=\mathrm{1,2},...,K\},$同样将高分辨率图像按行排成列向量后，重排后的低分辨率图像序列记为其中为包含N₁N₂个元素的列向量、为包含p²N₁N₂个元素的列向量以及T表示转置；令N＝N₁N₂和M＝p²N₁N₂，则建立如下高分辨率图像的退化模型${\overrightarrow{Y}}_k=\mathrm{DB}\overrightarrow{X},$1≤k≤K，其中，表示高分辨率图像；表示第k帧重采样后的低分辨率图像；B表示大小为M×M的模糊矩阵；D表示大小为L×M的降采样矩阵，(2.2)建立高分辨率图像的重建优化模型根据(1.2)给定的高分辨率图像的退化模型以及正则化理论，将退化模型中高分辨率图像的求解过程转化为如下高分辨率图像的重建优化模型解的优化过程$F\left(\overrightarrow{X}\right)=\arg \underset{\overrightarrow{X}}{\min }\{\underset{k=1}{\overset{K}{\Sigma }}{w}_k\rho ({\overrightarrow{Y}}_k,\mathrm{DB}\overrightarrow{X})+\lambda \left(\overrightarrow{X}\right)\Gamma \left(\underrightarrow{X}(x,y)\right)\}$其中，w_k表示加权因子，λ(·)表示正则项系数，ρ(·)表示数据残差项，Γ(·)表示正则项；ρ(·)和Γ(·)分别为$\rho ({\overrightarrow{Y}}_k,\mathrm{DB}\overrightarrow{X})={\left|\right|{\overrightarrow{Y}}_k-\mathrm{DB}\overrightarrow{X}\left|\right|}_2^2$和$\Gamma \left(\underrightarrow{X}(x,y)\right)=\underset{i=1}{\overset{N_1}{\Sigma }}\underset{j=1}{\overset{N_2}{\Sigma }}4*\gamma -\mathrm{\gamma exp}\{-{[\overrightarrow{X}(x,y)-\overrightarrow{X}(i,j-1)]}^2/\gamma \}-\mathrm{\gamma exp}\{-{[\overrightarrow{X}(i,j)-\overrightarrow{X}(i,j+1)]}^2/\gamma \}$$-\mathrm{\gamma exp}\{-{[\overrightarrow{X}(i,j)-\overrightarrow{X}(i-1,j)]}^2/\gamma \}-\mathrm{\gamma exp}\{-{[\overrightarrow{X}(i,j)-\overrightarrow{X}(i+1,j)]}^2/\gamma \}$其中，i和j为正整数、||·||₂²表示2范数的平方、γ为退火参数且0＜γ＜300；正则化系数λ(·)的选取应该遵循这样的原则：1)正则化系数λ(·)与数据残差项ρ(·)成正比；2)正则化系数λ(·)与正则项Γ(·)成反比；3)正则化系数λ(·)非负；4)在边缘和纹理点等非光滑区域的像素点对应的正则化系数值小；根据正则化系数λ(·)的选取应该遵循这样的原则，构造如下公式来确定正则化系数λ(·)$\lambda \left(\overrightarrow{X}\right)=\sqrt{\tau \frac{\underset{k=1}{\overset{K}{\Sigma }}{\left|\right|{\overrightarrow{Y}}_k-\mathrm{DB}\overrightarrow{X}\left|\right|}_2^2}{\Gamma \left(\overrightarrow{X}\right)+\delta }}$其中，0＜τ＜1、0＜δ＜20；所述的高分辨率图像的重建优化模型中加权因子w_k、模糊矩阵B以及降采样矩阵D的确定，所述的w_k、B以及D的确定方法为：(a)加权因子w_k的确定：定义第k帧图像所在的数据残差项ρ(·)赋予的权值w_k为：w_k＝w₁-a(H_k)|k-1|，1≤k≤K    (10)其中w₁表示参考帧图像所在的数据残差项ρ(·)赋予的权值、H_k表示重采样的低分辨率图像序列中第k帧图像的熵值以及a(H_k)的表达式为$a\left(H_k\right)=\frac{\mu }{(K+1)H_k}---\left(11\right)$其中μ是一个正的实常数；把式(11)代入式(10)中得$w_k=w_1-\frac{\delta |k-1|}{(K+1)H_k},1\le k\le K---\left(12\right)$w₁和δ的最优值分别为0.5和0.2，则加权因子w_k表示为$w_k=0.5-0.2\frac{|k-1|}{(K+1)H_k},1\le k\le K;$(b)模糊矩阵B的确定通过模糊核位移确定模糊矩阵B，模糊核为h＝(h₁，h₂，h₃)^T，其中h₁+h₂+h₃＝1，则$B={\left[\begin{array}{cccccccc}{h}_2& h_3& 0& 0& ...& 0& 0& h_1\\ h_1& h_2& h_3& 0& ...& 0& 0& 0\\ 0& h_1& h_2& h_3& ...& 0& 0& 0\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ 0& 0& 0& 0& ...& h_1& h_2& h_3\\ h_3& 0& 0& 0& ...& 0& h_1& h_2\end{array}\right]}_{M\times M}$且所述h₁＝0.25、h₂＝0.5、h₃＝0.25；(c)降采样矩阵D的确定降采样矩阵D为：$D=\frac{1}{p^2}{\left(D_{i^{\prime }{j}^{\prime }}\right)}_{N\times M}=\frac{1}{p^2}{\left[\begin{array}{cccc}{D}_{11}& D_{12}& ...& D_{1M}\\ D_{21}& D_{22}& ...& D_{2M}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ D_{N1}& D_{N2}& ...& D_{\mathrm{NM}}\end{array}\right]}_{N\times M}$对于i′＝1，2，...，N其中，N＝N₁N₂、N₁和N₂为正整数且分别为重采样的每帧低分辨率图像的图像矩阵的行数和列数；(2.3)利用逐渐非凸算法对高分辨率图像的重建优化模型进行优化，得到高分辨率图像的最优估计值，利用逐渐非凸算法进行优化的具体步骤如下：步骤2.3.1：计算重采样的图像序列的熵值；步骤2.3.2：用三次线性插值法对熵值最高的低分辨率图像进行插值，获得高分辨率图像的初始值步骤2.3.3：令取γ⁽⁰⁾＝2ρ，其中k′＝1，2，...，M-1，表示高分辨率图像的初始值的第k′个分量，γ⁽⁰⁾表示退火参数的初始值且0＜γ⁽⁰⁾＜300；步骤2.3.4：n″＝0；步骤2.3.5：按以下公式求解第n″次迭代的正则项系数λ^(n″)：${\lambda }^{\left(n^{\prime \prime }\right)}=\sqrt{\tau \frac{\underset{k=1}{\overset{K}{\Sigma }}{\left|\right|{\overrightarrow{Y}}_k-\mathrm{DB}{\overrightarrow{X}}^{\left(n^{\prime \prime }\right)}\left|\right|}_2^2}{\Gamma \left({\overrightarrow{X}}^{(n^{\prime \prime }-1)}\right)+\delta }}$步骤2.3.6：按进行迭代，估计高分辨率图像其中$▿F\left({\overrightarrow{X}}^{\left(n^{\prime \prime }\right)}\right)=\{\underset{k=1}{\overset{K}{\Sigma }}{w}_k{B}^T{D}^T(\mathrm{DB}{\overrightarrow{X}}^{\left(n^{\prime \prime }\right)}-{\overrightarrow{Y}}_k)$$+2{\lambda }^{\left(n^{\prime \prime }\right)}{[\underrightarrow{X}(i,j)-\underrightarrow{X}(i,j-1)]\exp \{-[\underrightarrow{X}(i,j)-\underrightarrow{X}(i,j-1)]}^2/{\gamma }^{\left(n^{\prime \prime }\right)}\}$$+2{\lambda }^{\left(n^{\prime \prime }\right)}{[\underrightarrow{X}(i,j)-\underrightarrow{X}(i,j+1)]\exp \{-[\underrightarrow{X}(i,j)-\underrightarrow{X}(i,j+1)]}^2/{\gamma }^{\left(n^{\prime \prime }\right)}\}$$+2{\lambda }^{\left(n^{\prime \prime }\right)}{[\underrightarrow{X}(i,j)-\underrightarrow{X}(i-1,j)]\exp \{-[\underrightarrow{X}(i,j)-\underrightarrow{X}(i-1,j)]}^2/{\gamma }^{\left(n^{\prime \prime }\right)}\}$$+2{\lambda }^{\left(n^{\prime \prime }\right)}{[\underrightarrow{X}(i,j)-\underrightarrow{X}(i+1,j)]\exp \{-[\underrightarrow{X}(i,j)-\underrightarrow{X}(i+1,j)]}^2/{\gamma }^{\left(n^{\prime \prime }\right)}\}\}.$步骤2.3.7：令n″＝n″+1，γ^(n″)＝ηγ^(n″-1)，如果转至步骤2.3.5；否则，转至步骤2.3.8；步骤2.3.8：输出超分辨率重建图像其中，n″为非负正整数、0＜τ＜1，0＜η＜1，0＜τ＜1、0＜δ＜20、γ^(n″)为第n″次迭代的退火参数、ε是一个大于零的迭代终止系数，β表示的迭代步长，所述η＝0.7，τ＝0.4，ε＝0.0001，β＝0.9以及δ＝5。