基于Surfacelet变换的红外与可见光视频图像融合方法

摘要

本发明公开了一种基于Surfacelet变换的红外与可见光视频图像融合方法，主要解决现有技术中融合视频图像时间一致性和稳定性差的问题。其过程为：首先，采用Surfacelet变换对输入视频图像进行多尺度、多方向分解得到不同频域子带系数；然后，通过基于3维局部空-时区域能量匹配的“选择”和“加权平均”相结合的融合方法和通过基于3维局部空-时区域能量和方向向量标准方差相结合的融合方法，分别对输入视频图像的低频子带系数和带通方向子带系数进行组合，得到融合视频图像的低频子带系数和带通方向子带系数；最后，对组合得到的各子带系数进行Surfacelet逆变换得到融合视频图像。本发明具有融合效果好，时间一致性和稳定性高，噪声敏感度低的优点，可用于场景安全监控。

主权项

1.一种基于Surfacelet变换的红外与可见光视频图像融合方法，包括如下步骤：(1)对已经经过严格空间和时间配准的红外视频图像Vir(x，y，t)和可见光视频图像Vvi(x，y，t)分别进行Surfacelet变换，得到各自的变换系数和$\{Y_{\mathrm{Vvi}}^{(S+1)}(x,y,t),Y_{\mathrm{Vvi}}^{(s,j,t)}(x,y,t)\},$其中，和分别表示红外视频图像和可见光视频图像在最粗糙尺度S下的低频子带系数，和分别表示红外视频图像和可见光视频图像在尺度s(s＝1，2，...，S)、方向(j，k)及空-时位置(x，y，t)处的带通方向子带系数，其中j＝1，2，3，S表示尺度分解级数，该级数取3～5，j值对应于Surfacelet变换中3个沙漏滤波器的支持方向分别沿频率轴ω₁，ω₂，ω₃方向，l_j1、l_j2表示每一尺度下经第j个沙漏滤波器滤波后进一步采用两个二维方向滤波器组进行方向分解的级数，该级数取1～3；(2)对变换系数中的低频子带系数和利用基于3维局部空-时区域能量匹配的“选择”和“加权平均”相结合的低频子带系数融合方法进行组合，得到融合视频图像Vf的低频子带系数为：其中，E_Vir(x，y，t)和E_Vvi(x，y，t)分别表示低频子带系数和的局部空-时区域能量，S(x，y，t)为E_Vir(x，y，t)和E_Vvi(x，y，t)之间的匹配度，α为能量匹配度阈值，ω_min和ω_max为权值系数，分别定义为：${\omega }_{\min }(x,y,t)=\frac{1}{2}-\frac{1}{2}\left[\frac{1-S(x,y,t)}{1-\alpha }\right],$ω_max(x，y，t)＝1-ω_min；(3)对变换系数中的各带通方向子带系数和利用基于3维局部空-时区域能量和方向向量方差相结合的带通方向子带系数融合方法进行组合，得到融合视频图像Vf在尺度s、方向(j，k)及空-时位置(x，y，t)处的带通方向子带系数$Y_{\mathrm{Vf}}^{(s,j,k)}(x,y,t)$为：$Y_{\mathrm{Vf}}^{(s,j,k)}(x,y,t)=\left\{\begin{array}{cc}{Y}_{\mathrm{Vir}}^{(s,j,k)}(x,y,t),& {\gamma }_{\mathrm{Vir}}^{(s,j,k)}(x,y,t)>{\gamma }_{\mathrm{Vvi}}^{(s,j,k)}(x,y,t)\\ Y_{\mathrm{Vvi}}^{(s,j,k)}(x,y,t),& {\gamma }_{\mathrm{Vir}}^{(s,j,k)}(x,y,t)\le {\gamma }_{\mathrm{Vvi}}^{(s,j,k)}(x,y,t)\end{array}\right.$其中，和分别为红外输入视频图像的带通方向子带系数和可见光输入视频图像的带通方向子带系数在尺度s、方向(j，k)及空-时位置(x，y，t)处的显著性度量因子；(4)对组合后的低频子带系数和带通方向子带系数进行Surfacelet逆变换，得到融合视频图像Vf。