基于区域分割的序列红外与可见光图像融合

摘要

本发明涉及一种基于区域分割的序列红外与可见光图像融合，技术特征在于：首先将根据红外图像帧间目标变化情况以及红外图像的灰度变化的剧烈程度将红外图像分割为不同区域，随后利用非下采样Contourlet变换可以把图像分解到不同方向上的不同频率域，然后根据不同区域的特点在不同的频率域选用不同的融合规则，最后将处理后的系数经过图像重构得到最终融合结果。本方法考虑到了某个区域内的特征所具有的信息，因此该算法能有效降低由于噪声以及配准精度低而引入融合图像误差的几率，具有较强的鲁棒性。

主权项

1.一种基于区域分割规则的序列红外与可见光图像的融合方法，其特征在于步骤如下：步骤1非下采样Contourlet变换分解：对待融合的序列红外图像{A_i}和可见光图像{B_i}的第i帧的红外图像A_i和可见光图像B_i进行非下采样Contourlet变换，得到第i帧红外图像源A_i和可见光图像B_i的非下采样Contourlet变换系数和其中为第i帧的红外图像A_i低频信息图像，为第i帧的红外图像A_i尺度j下第k个方向的高频信息子图像，为第i帧的红外图像B_i低频信息图像，为第i帧的红外图像B_i尺度j下第k个方向的高频信息子图像，i＝1，2，3，…表示图像的帧数，J表示非下采样Contourlet变换尺度分解层数，k表示每个尺度下方向分解数；步骤2同时对序列红外图像图像A_i进行区域分割：将第i帧红外图像A_i(i≠1)与第一帧红外图像A₁相减可获得一副的差值图像，将差值图像进行图像增强后得到第i帧红外图像A_i的目标区域T；然后以第一帧红外图像A₁为划分背景区域与灰度区域的基准，根据红外图像中灰度级，利用阈值分割技术，对于第一帧红外图像A₁中灰度值大于或者等于阈值α的标记为灰度区域G，若小于阈值α的则标记为背景区域B；所述的阈值α为0≤α<I_mean，I_mean为图像灰度值的中值；步骤3将序列红外图像{A_i}和可见光图像{B_i}进行融合：将第i帧红外图像源A_i和可见光图像B_i的两幅源图像中相对应非下采样Contourlet变换系数和按照下述融合规则进行处理，得到融合后新生成的非下采样Contourlet变换系数，即融合系数所述的融合规则为对于目标区域的融合、对于灰度区域的融合和对于背景区域的融合：对于目标区域T的融合：选择第i帧红外图像的低频信息作为融合图像F_i低频信息：$L^{F_i}(m,n)=L^{A_i}(m,n)(m,n)\in T$利用取模极大的方法得到第i帧的融合图像F_i高频信息$\left\{\begin{array}{cc}{H}_{j,k}^{F_i}(m,n)=H_{j,k}^{A_i}(m,n)& \left|H_{j,k}^{A_i}(m,n)\right|>\left|H_{j,k}^{B_i}(m,n)\right|\\ H_{j,k}^{\mathrm{Fi}}(m,n)=H_{j,k}^{\mathrm{Bi},j}(m,n)& \left|H_{j,k}^{A_i}(m,n)\right|\le \left|H_{j,k}^{B_i}\right(m,n)\end{array}\right.(m,n)\in T;$对于灰度区域G的融合：利用加权平均的融合方法可获得第i帧的融合图像F_i的低频信息$\begin{array}{cc}{L}^{F_i}(m,n)=L^{A_i}(m,n)\times 0.5+L^{B_i}(m,n)\times 0.5& (m,n)\in G\end{array}$以第i帧红外图像源A_i和可见光图像B_i中M×N窗口内的相关系数corr为度量标准获得第i帧的融合图像F_i的高频信息；当corr≤t时，第i帧的融合图像F_i的高频信息：$\left\{\begin{array}{cc}{H}_{j,k}^{F_i}(m,n)=H_{j,k}^{A_i}(m,n)& {\mathrm{SF}}_{A_i}^{M\times N}>{\mathrm{SF}}_{B_i}^{M\times N}\\ H_{j,k}^{F_i}(m,n)=H_{j,k}^{B_i}(m,n)& {\mathrm{SF}}_{A_i}^{M\times N}\le {\mathrm{SF}}_{B_i}^{M\times N}\end{array}\right.(m,n)\in G$其中和分别为第i帧红外图像源A_i和可见光图像B_i窗口大小M×N内的空间频率，所述阈值t的范围为0.5≤t<1；当corr>t时，第i帧的融合图像F_i的高频信息为：$H_{j,k}^{F_i}(m,n)=w\times H_{j,k}^{A_i}(m,n)+(1-w)\times H_{j,k}^{B_i}(m,n)(m,n)\in G$其中w为阈值，范围确定如下：$\left\{\begin{array}{cc}w=0.5+0.5\times \frac{1-\mathrm{corr}}{1-t}& {\mathrm{SF}}_{A_i}^{M\times N}>{\mathrm{SF}}_{B_i}^{M\times N}\\ w=0.5-0.5\times \frac{1-\mathrm{corr}}{1-t}& {\mathrm{SF}}_{A_i}^{M\times N}\le {\mathrm{SF}}_{B_i}^{M\times N}\end{array}\right.$所述的第i帧红外图像源A_i和可见光图像B_i中M×N窗口的相关系数corr为：$\mathrm{corr}(A_i^{M\times N},B_i^{M\times N})=\frac{\underset{i,j}{\Sigma }[(A_i^{M\times N}(i,j)-\overline{A_i^{M\times N}})\times (B_i^{M\times N}(i,j)-\overline{B_i^{M\times N}})]}{\sqrt{\underset{i,j}{\Sigma }\left[{({A_i^{M\times N}}_i(i,j)-\overline{A_i^{M\times N}})}^2\right]\Sigma {(B_i^{M\times N}(i,j)-\overline{B_i^{M\times N}})}^2]}}$所述的空间频率为：$\mathrm{SF}=\sqrt{{\mathrm{RF}}^2+{\mathrm{CF}}^2},$其中，RF为图像的行频率，CF为图像的列频率，其定义分别为：$\mathrm{RF}=\sqrt{\frac{1}{M\times N}\underset{i=0}{\overset{M-1}{\Sigma }}\underset{j=0}{\overset{N-1}{\Sigma }}{[I(i,j)-I(i,j-1)]}^2}$$\mathrm{CF}=\sqrt{\frac{1}{M\times N}\underset{i=0}{\overset{M-1}{\Sigma }}\underset{j=0}{\overset{N-1}{\Sigma }}{[I(i,j)-I(i-1,j)]}^2};$对于背景区域B的融合：第i帧可见光图像中的低频信息作为第i帧的融合图像F_i的低频信息$\begin{array}{cc}{L}^{F_i}(m,n)=L^{B_i}(m,n)& (m,n)\in B\end{array}$第i帧红外图像A₁和可见光B_i区域能量值较大的窗口中心像素值作为第i帧的融合图像F_i的高频信息：$\left\{\begin{array}{cc}{H}_{j,k}^{F_i}(m,n)=H_{j,k}^{A_i}(m,n)& E_{j,k}^{A_i}(m,n)>E_{j,k}^{B_i}(m,n)\\ H_{j,k}^{\mathrm{Fi}}(m,n)=H_{j,k}^{\mathrm{Bi}}(m,n)& E_{j,k}^{A_i}(m,n)|\le E_{j,k}^{B_i}(m,n)\end{array}\right.(m,n)\in B$其中，和为M×N窗口内区域能量为：$E_{j,k}(m,n)=\underset{i=-(M-1)/2}{\overset{(M-1)/2}{\Sigma }}\underset{j=-(N-1)/2}{\overset{(N-1)/2}{\Sigma }}\left|H_{j,k}(m+i,n+j)\right|;$所述m，n为M×N窗口中像素点的位置；步骤4非下采样Contourlet变换重构：对融合后生成的融合系数进行非下采样Contourlet逆变换，得到第i帧的融合图像F_i。