多尺度梯度域图像融合算法

摘要

本发明提供一种多尺度梯度域图像融合算法，将红外热像图和可见光图像相融合，其特征在于，包括以下步骤：构造梯度场步骤；修正梯度融合权重步骤；重建梯度场步骤；以及透明度法图像融合步骤。本发明所提供的多尺度梯度域图像融合算法能够同时保留红外热像图和可见光图像的温升区域和细节信息，去除图像之间相互作用产生的光晕伪影现象和冗余信息，并避免了红外热像图温升区域的颜色失真。

主权项

一种多尺度梯度域图像融合算法，将红外热像图和可见光图像相融合，其特征在于，包括以下步骤：构造梯度场步骤，设灰度图像为I(x,y)，该灰度图像的特征信息由梯度表示为：$▿I={[\frac{\partial I}{\partial x},\frac{\partial I}{\partial y}]}^T---\left(1\right),$(x,y)是所述灰度图像的像素坐标，|▽I|是所述灰度图像的灰度的变化大小，▽I/|▽I|是所述梯度的方向，▽I^⊥/|▽I|表示垂直于所述梯度的方向，将所述红外热像图和所述可见光图像都作为源图像，设多通道图像I_m(x₁,x₂):Ω→[1,M]^N的各个标量通道来自于多个所述源图像I_n(x₁,x₂),n＝1,...,N，式中(x₁,x₂)表示所述多通道图像某一像素点的灰度值，设所述多通道图像中存在点a＝(x₁,x₂)和点b＝(y₁,y₂)，所述点a和所述点b的差分为I_m(x₁,x₂)‑I_m(y₁,y₂)，当所述点a和所述点b的距离趋近于无穷小，所述差分可以用微分代替，表示为：${\mathrm{dI}}_m=\frac{\partial I_m}{\partial x_1}d{x}_1-\frac{\partial I_m}{\partial x_2}{\mathrm{dx}}_2---\left(2\right),$所述微分dI_m的平方范数为：${\left|{\mathrm{dI}}_m\right|}^2={\left(\frac{\partial I_m}{\partial x_1}\right)}^2{\mathrm{dx}}_1{\mathrm{dx}}_1+2(\frac{\partial I_m}{\partial x_1}·\frac{\partial I_m}{\partial x_2}){\mathrm{dx}}_1{\mathrm{dx}}_2+{\left(\frac{\partial I_m}{\partial x_1}\right)}^2{\mathrm{dx}}_2{\mathrm{dx}}_2---\left(3\right),$定义矩阵G，该矩阵G的各个元素的结构形式为：$G_{\mathrm{ij}}=\frac{\partial I_m}{\partial x_i}·\frac{\partial I_m}{\partial x_j},(i,j=\mathrm{1,2})---\left(4\right),$则所述平方范数等价于：${\left|d{I}_m\right|}^2=\left(\begin{array}{cc}{\mathrm{dx}}_1& {\mathrm{dx}}_2\end{array}\right)G_{\mathrm{ij}}\left(\begin{array}{c}{\mathrm{dx}}_1\\ {\mathrm{dx}}_2\end{array}\right)---\left(5\right),$所述公式(5)在微分几何曲面中为第一基本形式，所述矩阵G为结构张量，将该结构张量G转换到梯度场表示为：$G=\underset{n=1}{\overset{N}{\Sigma }}▿I_n·▿{I_n}^T=\left(\begin{array}{cc}\underset{n=1}{\overset{N}{\Sigma }}{I_{\mathrm{nx}}}^2& \underset{n=1}{\overset{N}{\Sigma }}{I}_{\mathrm{nx}}·I_{\mathrm{ny}}\\ \underset{n=1}{\overset{N}{\Sigma }}{I}_{\mathrm{nx}}·I_{\mathrm{ny}}& \underset{n=1}{\overset{N}{\Sigma }}{I_{\mathrm{ny}}}^2\end{array}\right)=\left(\begin{array}{cc}\underset{n=1}{\overset{N}{\Sigma }}{\left(\frac{\partial I_n}{\partial x}\right)}^2& \underset{n=1}{\overset{N}{\Sigma }}\frac{\partial I_n}{\partial x}·\frac{\partial I_n}{\partial y}\\ \underset{n=1}{\overset{N}{\Sigma }}\frac{\partial I_n}{\partial x}·\frac{\partial I_n}{\partial y}& \underset{n=1}{\overset{N}{\Sigma }}{\left(\frac{\partial I_n}{\partial y}\right)}^2\end{array}\right)---\left(6\right),$修正梯度融合权重步骤，采用均值法提取所述红外热像图中的温升区域，设所述源图像的特征图为S_n，梯度融合权重为：$w_n=\frac{s_n}{{\Sigma }_{k=1}^N{s}_k}---\left(7\right),$将高斯滤波G_σ(x₁,x₂,σ)的多尺度变换与所述红外热像图的图像梯度协方差C相结合，对所述图像梯度协方差C进行多尺度变换，有：$C_{\sigma }=\left(\begin{array}{cc}{I_{{\mathrm{nx}}_1}}^2*G_{\sigma }(x_1,x_2,\sigma )& \left(I_{{\mathrm{nx}}_1}{I}_{{\mathrm{nx}}_2}\right)*G_{\sigma }(x_1,x_2,\sigma )\\ \left(I_{{\mathrm{nx}}_1}{I}_{{\mathrm{nx}}_2}\right)*G_{\sigma }(x_1,x_2,\sigma )& {I_{{\mathrm{nx}}_2}}^2*G_{\sigma }(x_1,x_2,\sigma )\end{array}\right)---\left(8\right),$式中，*代表卷积运算，σ是尺度因子，将图像衔接处的结构特征设计为：$S^2={(\sqrt{{\lambda }_1}+\sqrt{{\lambda }_2})}^2+0.5{(\sqrt{{\lambda }_1}-\sqrt{{\lambda }_2})}^2---\left(9\right),$式中，λ₁和λ₂是经过所述多尺度变换后的所述红外热像图的图像梯度协方差的特征值，采用soft‑max函数修正所述特征图边缘区域的梯度权重：$w_n=\frac{1}{1+{\exp }^{(S_n^{\prime }-S_n)/(S_n^{\prime }+S_n)}}---\left(10\right),$式中，S_n是所述特征图边缘区域的多尺度结构特征，且最终的带有梯度权重的结构张量G为：$G=\left(\begin{array}{cc}\underset{n=1}{\overset{N}{\Sigma }}{\left(w_n\frac{\partial I_n}{\partial x_1}\right)}^2& \underset{n=1}{\overset{N}{\Sigma }}{w_n}^2\frac{\partial I_n}{\partial x_1}·\frac{\partial I_n}{\partial x_2}\\ \underset{n=1}{\overset{N}{\Sigma }}{w_n}^2\frac{\partial I_n}{\partial x_1}·\frac{\partial I_n}{\partial x_2}& \underset{n=1}{\overset{N}{\Sigma }}{\left(w_n\frac{\partial I_n}{\partial x_2}\right)}^2\end{array}\right)---\left(11\right);$重建梯度场步骤，所述结构张量G是半正定矩阵，特征值为λ₁和λ₂，其中最大特征值λ₁表示所述源图像在某一点的最大变化率，最小特征值λ₂代表该点的最小变化率，对应所述最大变化率和所述最小变化率的方向分别用特征向量e₁和e₂表示，将所述结构张量G对角化为：$G={\mathrm{Q\Lambda Q}}^T=Q\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]Q^T---\left(12\right),$式中，Q为正交矩阵，结合所述公式(11)和所述公式(12)得到：Det(G)＝λ₁·λ₂   (13)，$\mathrm{Trace}\left(G\right)={\lambda }_1+{\lambda }_2=\underset{n=1}{\overset{N}{\Sigma }}{|▿I_n|}^2---\left(14\right),$为保持所述源图像的基本几何性质，所述重建图像I_re的二阶矩阵应尽可能接近所述源图像的结构张量G＝QΛQ^T，于是有$\tilde{\Lambda }=\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& 0\end{array}\right],$则所述重建图像的结构张量为重建梯度场为所述特征向量e₁由决定，所述重建图像I_re的梯度场▽I_re要尽可能地接近所述重建梯度场使目标函数h(I_re)最小：$h\left(I_{\mathrm{re}}\right)={\int \int }_{\Omega }H(▿I_{\mathrm{re}},▿\tilde{I})\mathrm{dxdy}---\left(15\right),$式中$H(▿I_{\mathrm{re}},▿\tilde{I})={|▿I_{\mathrm{re}}-▿\tilde{I}|}^2={(I_{\mathrm{rex}}-▿\tilde{I})}^2+{(I_{\mathrm{rey}}-▿\tilde{I})}^2---\left(16\right),$所述目标函数h(I_re)取极值时有$H_{I_{\mathrm{re}}}-\frac{\partial }{\partial x}\left(\frac{\partial H}{\partial I_{\mathrm{rex}}}\right)-\frac{\partial }{\partial y}\left(\frac{\partial H}{\partial I_{\mathrm{rey}}}\right)=0---\left(17\right),$所述公式(12)的拉格朗日方程为$2(\frac{{\partial }^2{I}_{\mathrm{re}}}{\partial x^2}-\frac{\partial ▿\tilde{I}}{\partial x})+2\left(\frac{{\partial }^2{I}_{\mathrm{re}}}{\partial y^2}\frac{\partial ▿\tilde{I}}{\partial y}\right)---\left(18\right),$简化为$\Delta I_{\mathrm{re}}=\mathrm{div}(▿\tilde{I})---\left(19\right),$式中Δ是拉普拉斯算子，求该解泊松方程即可得到所述重建图像I_re；透明度法图像融合步骤，采用R、G、B三通道方式处理所述重建图像和所述可见光图像，然后采用透明度法将所述重建图像和所述可见光图像融合，用公示表示为：I_F＝f(I_re,I_v,τ)＝(1‑τ)I_re+τI_v   (20)，式中，I_v是所述可见光图像，I_F是融合图像，τ是浑浊因子，且τ∈(0,1)，计算所述公式(20)得到所述融合图像I_F。