一种凸集投影超分辨率图像重建时边缘晕轮效应的抑制方法

摘要

POCS超分辨率图像重建时边缘Halo效应的抑制方法，属于图像处理技术领域，包括：读取低分辨率图像序列；采用小波双三次插值法来获取凸集投影的高分辨率初始估计值；采用预滤波亚像素迭代法进行运动估计实现低分辨率图像配准；综合考虑高分辨率估计图像像素点的空间位置信息和灰度信息约束确定具有边缘保持特性的点扩散函数；根据各低分辨率观测帧和参考帧之间的相关性确定可变长的松弛投影参数值；结合所获得的高分辨率初始估计值、具有边缘保持特性的点扩散函数与可变长的松弛投影参数，采用POCS方法进行超分辨率重建，从而提升图像空间分辨率并获得理想的高分辨率图像。本发明能够很大程度上降低重建图像中的边缘Halo效应。

主权项

一种凸集投影超分辨率图像重建时边缘晕轮效应的抑制方法，其特征在于，是在计算机中依次按以下步骤实现的：步骤(1)，计算机初始化：设定：图像读取模块、高分辨率初始估计值获取模块、低分辨率图像配准模块以及凸集投影(POCS)方法重建模块；步骤(2)，依次按以下步骤抑制凸集投影超分辨率图像重建时边缘晕轮(Halo)效应，边缘晕轮效应是指边缘晕圈效应：步骤(2.1)，所述图像读取模块从图像库读取在同一场景下的低分辨率图像序列g_i，1≤i≤n，i为低分辨率图像的序号，n为低分辨率图像的总数，n∈[6,36]，根据n确定迭代次数L∈[6,15]，所述低分辨率图像的分辨率为M×N，M∈[64,256]，N∈[64,256]，相邻低分辨率图像间有重叠部分，具有公共坐标系，用(x,y)表示坐标点；步骤(2.2)，所述高分辨率初始估计值获取模块，包含低分辨率参考帧获取子模块、小波分解子模块、双三次插值子模块以及小波逆变换子模块，对应的高分辨率图像的大小为qM×qN，q表示分辨率提高的倍数，q∈[2,4]，其中：低分辨率参考帧获取子模块，任选所述低分辨率图像序列其中一帧低分辨率图像作为低分辨率参考帧g₀，并保存一份低分辨率参考帧；小波分解子模块，对所述低分辨率参考帧进行q层离散小波分解变换，得到低频子图水平方向的高频子图垂直方向的高频子图对角线方向的高频子图所有子图的大小均为M/q×N/q；双三次插值子模块，采用Matlab库中的双三次插值法分别对三个所述的高频子图和进行外推，得到分辨率都为M×N的高频子图g^H,g^V和g^D；小波逆变换子模块，把低分辨率参考图像g₀作低频子图，三个M×N的所述图像g^H,g^V,g^D作高频子图进行小波逆变换，获得qM×qN的高分辨率图像初始估计值f₀，[f₀]＝IDWT[g₀,g^H,g^V,g^D,q]；步骤(2.3)，所述低分辨率图像配准模块，包括：预处理子模块、运动估计子模块以及运动参数向量补偿子模块，其中：预处理子模块，利用低通滤波器F对包括保存的低分辨率参考帧在内的所有低分辨率图像进行滤波，F＝1/16×[1,2,1；2,4,2；1,2,1]，获得初步处理后的低分辨率图像；运动估计子模块，按下式逐次求取各低分辨率观测帧g_i(x,y)与低分辨率参考帧g₀(x,y)之间的运动参数向量Z＝[k₁,k₂,k₃,k₄]^T：Z＝G^‑1V，其中：$V=\left[\begin{array}{c}\Sigma R_1(g_0-g_t)\\ \Sigma R(g_0-g_t)\\ \Sigma \frac{\partial g_t}{\partial x}(g_0-g_t)\\ \Sigma \frac{\partial g_t}{\partial y}(g_0-g_t)\end{array}\right],R=y\frac{\partial g_t}{\partial x}-x\frac{\partial g_t}{\partial y},R_1=x\frac{\partial g_t}{\partial x}+y\frac{\partial g_t}{\partial y},$$G=\left[\begin{array}{cccc}\Sigma R_1^2& \Sigma {\mathrm{RR}}_1& \Sigma R_1\frac{\partial g_t}{\partial x}& \Sigma R_1\frac{\partial g_t}{\partial y}\\ \Sigma {\mathrm{RR}}_1& \Sigma R^2& \Sigma R\frac{\partial g_t}{\partial x}& \Sigma R\frac{\partial g_t}{\partial y}\\ \Sigma R_1\frac{\partial g_t}{\partial x}& \Sigma R\frac{\partial g_t}{\partial x}& \Sigma {\left(\frac{\partial g_t}{\partial x}\right)}^2& \Sigma (\frac{\partial g_t}{\partial x}·\frac{\partial g_t}{\partial y})\\ \Sigma R_1\frac{\partial g_t}{\partial y}& \Sigma R\frac{\partial g_t}{\partial y}& \Sigma (\frac{\partial g_t}{\partial x}·\frac{\partial g_t}{\partial y})& \Sigma {\left(\frac{\partial g_t}{\partial y}\right)}^2\end{array}\right]$通过采取迭代方法逐步逼近真实值，s为迭代次数，当迭代误差满足一定精度Th≤10^‑3时终止迭代；运动参数向量补偿子模块，设定高分辨率图像补偿前的坐标为(x',y')，高分辨率图像补偿后的坐标为(x,y)，采用简化的四参数仿射变换，把计算得到的所述运动参数向量Z＝[k₁,k₂,k₃,k₄]^T补偿到高分辨率初始估计值f₀(x,y)中，所述f₀是f₀(x,y)的简略表达式，简化的四参数仿射变换为：$\{\begin{array}{c}x=x^{\prime }+k_1{x}^{\prime }+k_2{y}^{\prime }+k_3\\ y=y^{\prime }+k_1{y}^{\prime }-k_2{x}^{\prime }+k_4\end{array},$其中，k₁,k₂为仿射变换的旋转、缩放参数，k₃,k₄为仿射变换的平移参数，它们均为实数；步骤(2.4)，所述凸集投影方法重建模块，包含：点扩散函数PSF获取子模块、松弛投影参数自适应调整子模块以及迭代投影修正子模块，依次按以下步骤降低重建结果中边缘晕轮效应：点扩散函数PSF获取子模块，依次按以下步骤求出具有边缘保持特性的点扩散函数PSF，其特征在于：按下式计算所述高分辨率初始估计值f₀(x,y)中各像素与支撑域中心像素之间的空域中的欧氏距离，用h(x,y)表示：$h(x,y)=\exp \{-\frac{{(x-m)}^2+{(y-n)}^2}{2{\delta }_s^2}\},$其中，δ_s为点扩散函数PSF的标准差，δ_s∈[0.5,2]，(m,n)为位于各相邻像素之间的5×5像素支撑域内中心像素的坐标，按下式计算所述高分辨率初始估计值f₀(x,y)中各像素之间的灰度关系$w_{{\delta }_r}\left(\right|f_0\left(x,y\right)-f_0\left(m,n\right)\left|\right):$$w_{{\delta }_r}\left(\right|f_0\left(x,y\right)-f_0\left(m,n\right)\left|\right)=\exp \{-\frac{|f_0(x,y)-f_0(m,n){|}^2}{2{\delta }_r^2}\},$其中，f₀(x,y),f₀(m,n)分别为坐标(x,y),(m,n)处的灰度值，δ_r为标准差，δ_r∈[0.8,15]；按下式求出考虑了所述高分辨率初始估计值中各像素之间的灰度关系的具有边缘保持特性的点扩散函数$\tilde{h}(x,y)=U·h(x,y)·w_{{\delta }_r}\left(\right|f_0\left(x,y\right)-f_0\left(m,n\right)\left|\right),$U为归一化系数，U∈(0.001,1)；松弛投影参数自适应调整子模块，依次按以下步骤根据低分辨率观测帧和低分辨率参考帧之间的相关性自适应调整松弛投影参数，获得可变长的松弛投影参数：按下式计算各低分辨率观测帧与低分辨率参考帧之间的相关性Rl：$Rl=\frac{\underset{x,y}{\Sigma }\left[g_i(x,y)g_0(x,y)\right]}{\sqrt{\underset{x,y}{\Sigma }{\left[g_i(x,y)\right]}^2}\sqrt{\underset{x,y}{\Sigma }{\left[g_0(x,y)\right]}^2}},0<Rl<1,$g_i(x,y)为各低分辨率当前观测帧，g₀(x,y)为低分辨率参考帧，设定：松弛投影参数λ，λ＝2Rl，所述λ是一个可变长的松弛投影参数，反映了低分辨率当前观测帧参与投影的程度，该λ值与Rl成正比；迭代投影修正子模块，依次按以下步骤对所述高分辨率初始估计值f₀(x,y)进行凸集迭代投影修正，以便通过设定的迭代次数获得高分辨率图像：已知：先验信息及其先验界限值δ_i，所述先验信息包括正定、能量有限、数据一致性光滑在内的任何一种信息，根据数据一致性信息定义凸集C_m,n,i，(m,n)为低分辨率图像g_i(x,y)中坐标点(x,y)对应于高分辨率估计值中的坐标，i为低分辨率图像观测帧的序号,设定高分辨图像迭代投影过程中的估计值l∈[0,L)，L为迭代的总次数，L∈[6,15]，则任意一个高分辨图像迭代投影过程中的估计值到凸集C_m,n,i上的投影为：$P_{(x,y)}\left[{\hat{f}}_l(m,n)\right]={\hat{f}}_l(m,n)+\left\{\begin{array}{cc}(\lambda ·r_i^{{\hat{f}}_l(m,n)}(x,y)-{\delta }_0)·{\tilde{h}}_i(x,y;m,n),& r_i^{{\hat{f}}_l(m,n)}(x,y)>{\delta }_i\\ 0,& \left|r_i^{{\hat{f}}_l(m,n)}(x,y)\right|\le {\delta }_i\\ (\lambda ·r_i^{{\hat{f}}_l(m,n)}(x,y)-{\delta }_0)·{\tilde{h}}_i(x,y;m,n),& r_i^{{\hat{f}}_l(m,n)}(x,y)>-{\delta }_i\end{array}\right.,$其中，δ_i＝cδ₀，c∈[2,5]，δ₀∈[0.1,3.8]，$C_{m,n,i}=\{{\hat{f}}_l(m,n):|r_i^{{\hat{f}}_l(m,n)}(x,y)|\le {\delta }_i\},$为残差函数，$r_i^{{\hat{f}}_l(m,n)}(x,y)=g_i(x,y)-\underset{m,n}{\Sigma }{\hat{f}}_l(m,n){\tilde{h}}_i(x,y;m,n),$为高分辨率估计值中点(m,n)处灰度值与点(m,n)的5×5支撑域中各像素灰度值之间的约束关系，表达式为：${\tilde{h}}_i(x,y;m,n)=U·h(x,y;m,n)·w_{{\delta }_r}\left(\right|{\hat{f}}_l\left(x,y)\right){\hat{f}}_l\left(m,n\right)\left|\right),U\in (0.001,1)$$h(x,y;m,n)=\exp \{-\frac{{(x-m)}^2+{(y-n)}^2}{2{\delta }_s^2}\},{\delta }_s\in [0.5,2],$$w_{{\delta }_r}\left(\right|{\hat{f}}_l\left(x,y\right)-{\hat{f}}_l\left(m,n\right)\left|\right)=\exp \{-\frac{|{\hat{f}}_l(x,y)-{\hat{f}}_l(m,n){|}^2}{2{\delta }_r^2}\},{\delta }_r\in [0.8,15],$实质上是具有边缘保持特性的点扩散函数，通过把高分辨率图像估计值进行点扩散处理来获得低分辨率图像；令${\hat{f}}_0(m,n)=f_0(m,n),$由计算得到$P_{(x,y)}\left[{\hat{f}}_0(m,n)\right],{\hat{f}}_1(m,n)=P_{(x,y)}\left[{\hat{f}}_0(m,n)\right],$依次类推，逐次进行迭代；若未达到迭代次数，则把代入残差函数更新残差否则迭代结束，从中截断超出8比特图像取值范围[0，255]部分，得到重建的高分辨率图像。