基于彩色传递及熵信息的红外与彩色可见光图像融合方法

摘要

本发明公开了一种基于彩色传递与熵信息的红外与彩色可见光图像融合方法。其过程为：对彩色可见光图像的R、G、B三个通道图像求均值，得到灰度可见光图像；采用非采样Contourlet变换对灰度可见光图像及红外图像进行分解；构建基于红外图像与可见光物理特征的低频子带系数融合规则，和基于局部区域方向信息熵与区域能量相结合的带通方向子带系数融合规则，对源图像的变换系数进行组合，并对组合后的变换系数进行非采样Contourlet逆变换得到灰度融合图像；采用基于1αβ颜色空间的彩色传递方法将可见光图像的彩色信息传递到融合图像中，得到彩色融合图像。本发明既可有效提取可见光图像中的丰富背景信息及红外图像中的目标信息，又能够保持可见光图像中的自然彩色信息。

主权项

1.一种基于彩色传递及熵信息的红外与彩色可见光图像融合方法，包括如下步骤：(1).对彩色可见光图像Ivi_c的R、G、B三个颜色通道图像求均值得到其灰度分量Ivi_g；(2).对灰度图像Ivi_g和红外图像Iir分别进行非采样Contourlet变换分解，得到图像Ivi_g、Iir各自的非采样Contourlet变换系数；(3).对所述变换系数中的低频子带系数，利用构建的基于红外图像与可见光图像物理特征的低频融合公式进行组合：$C_{j_0}^F(k_1,k_2)=\frac{C_{j_0}^{\mathrm{Ivi}\_g}(k_1,k_2)\times w_{\mathrm{Ivi}}(k_1,k_2)+C_{j_0}^{\mathrm{Iir}}(k_1,k_2)\times w_{\mathrm{Iir}}(k_1,k_2)}{w_{\mathrm{Ivi}}(k_1,k_2)+w_{\mathrm{Iir}}(k_1,k_2)}$其中，C_j0^Ivi_g(k₁，k₂)、C_j0^Iir(k₁，k₂)、C_j0^F(k₁，k₂)分别表示图像Ivi_g、Iir以及融合图像IF_g的非采样Contourlet变换低频子带系数，w_Ivi(k₁，k₂)、w_Iir(k₁，k₂)分别表示图像Ivi_g和Iir的权系数，所述图像Iir的权系数计算公式为：$w_{\mathrm{Iir}}(k_1,k_2)=\frac{{\bar{m}}_{\mathrm{ir}}^L(k_1,k_2)\times (1+{\mathrm{LAE}}_{\mathrm{ir}}^L(k_1,k_2))}{\underset{(m,n)}{\max }({\bar{m}}_{\mathrm{ir}}^L(k_1,k_2)\times (1+{\mathrm{LAE}}_{\mathrm{ir}}^L(k_1,k_2)))}$其中，m_ir^L(k₁，k₂)表示红外图像Iir的低频子带系数C_j0^Iir(k₁，k₂)在位置(k₁，k₂)处的局部区域均值，LAE_ir^L(k₁，k₂)表示红外图像相应区域的局部信息熵LAE，所述图像Ivi_g的权系数计算公式为：$w_{\mathrm{Ivi}}(k_1,k_2)=\frac{{\bar{m}}_{\mathrm{vi}}^L(k_1,k_2)/(1+{\mathrm{LAE}}_{\mathrm{vi}}^L(k_1,k_2))}{\underset{(m,n)}{\max }({\bar{m}}_{\mathrm{vi}}^L(k_1,k_2)/(1+{\mathrm{LAE}}_{\mathrm{vi}}^L(k_1,k_2)))}$其中，m_vi^L(k₁，k₂)表示可见光图像Ivi_g的低频子带系数C_j0^Ivi_g(k₁，k₂)位置(k₁，k₂)处的局部区域均值，LAE_vi^L(k₁，k₂)分别表示可见光图像Ivi_g相应区域的局部信息熵LAE；(4).对所述变换系数中的各带通方向子带系数，利用构建的基于局部区域方向信息熵与区域能量相结合的带通融合公式进行组合：$C_{j,l}^F(k_1,k_2)=\left\{\begin{array}{cc}{C}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2),& {\mathrm{ES}}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2)\ge {\mathrm{ES}}_{j,l}^{\mathrm{Iir}}(k_1,k_2)\\ C_{j,l}^{\mathrm{Iir}}(k_1,k_2),& {\mathrm{ES}}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2)<{\mathrm{ES}}_{j,l}^{\mathrm{Iir}}(k_1,k_2)\end{array}\right.$其中，C_j，l^Ivi_g(k₁，k₂)、C_j，l^Iir(k₁，k₂)、C_j，l^F(k₁，k₂)分别表示图像Ivi_g、Iir以及融合图像IF_g在j尺度、l方向处的非采样Contourlet变换带通方向子带系数，ES_j，l(k₁，k₂)为显著性度量因子S_j，l(k₁，k₂)在位置(k₁，k₂)处局部区域能量；所述的基于局部区域方向信息熵与区域能量相结合的带通方向融合公式，按如下过程构建：(4a).在尺度j下，位置(k₁，k₂)处引入维方向向量V_j(k₁，k₂)，以表示图像在该尺度下各方向上的能量强度：$V_j(k_1,k_2)={\left(\right|C_{j,1}(k_1,k_2)|,|C_{j,2}(k_1,k_2)|,···,|C_{{j,2}^{l_j}}(k_1,k_2)\left|\right)}^T;$其中，C_j，l(k₁，k₂)表示图像在尺度j、方向l、位置(k₁，k₂)处方向带通子带系数，l_j为j尺度下方向分解级数，|·|表示模值；(4b).将方向向量V_j(k₁，k₂)用局部能量归一化，得到局部方向能量密度分布：$P_j(k_1,k_2)=V_j(k_1,k_2)/E_j(k_1,k_2)={(p_{j,1}(k_1,k_2),p_{j,2}(k_1,k_2),···,p_{j,2^{l_j}}(k_1,k_2))}^T$其中，局部能量E_j(k₁，k₂)定义为该尺度下所有方向子带中系数模值之和，即：$E_j(k_1,k_2)=\underset{l=1}{\overset{2^{l_j}}{\Sigma }}\left|C_{j,l}(k_1,k_2)\right|;$(4c).计算尺度j下，位置(k₁，k₂)处方向信息熵DE_j(k₁，k₂)：${\mathrm{DE}}_j(k_1,k_2)=-\underset{l=1}{\overset{2^{l_j}}{\Sigma }}{p}_{j,l}(k_1,k_2)\log \left(p_{j,l}(k_1,k_2)\right)$规定，0log0＝0；(4d).在尺度j、方向l下，位置(k₁，k₂)处定义显著性因子S_j，l(k₁，k₂)：S_j，l(k₁，k₂)＝|C_j，l(k₁，k₂)|/(1+DE_j(k₁，k₂))；(4e).对步骤(4d)中显著性因子S_j，l(k₁，k₂)进行局部区域能量求和，得到带通方向子带系数融合公式：$C_{j,l}^F(k_1,k_2)=\left\{\begin{array}{cc}{C}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2),& {\mathrm{ES}}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2)\ge {\mathrm{ES}}_{j,l}^{\mathrm{Iir}}(k_1,k_2)\\ C_{j,l}^{\mathrm{Iir}}(k_1,k_2),& {\mathrm{ES}}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2)<{\mathrm{ES}}_{j,l}^{\mathrm{Iir}}(k_1,k_2)\end{array}\right.$其中，C_j，l^Iir_g(k₁，k₂)、C_j，l^Iir(k₁，k₂)、C_j，l^F(k₁，k₂)分别表示可见光图像Ivi_g、红外图像Ivi和灰度融合图像IF_g在尺度j、方向l处的非采样Contourlet变换带通方向子带系数，M×N为局部区域尺寸大小；(5).对组合后的变换系数进行非采样Contourlet逆变换，得到灰度融合图像IF_g；(6).采用基于lαβ颜色空间的彩色传递方法将源彩色可见光图像Iir_c中的自然彩色信息传递到灰度融合图像Iir_g中，得到最终的彩色融合图像IF_c。