基于3维Log-Gabor变换的视频图像融合性能评价方法

摘要

本发明公开了一种基于3维Log-Gabor变换的视频图像融合性能评价方法，主要解决输入视频有噪声或背景运动情况下，现有技术不能准确评价融合算法性能的问题。其实现步骤是：利用3维Log-Gabor变换对输入视频和融合后视频进行多方向，多尺度分解；用视频图像的3维相位一致性构建时-空相位一致性评价因子；用视频图像的3维Log-Gabor变换系数幅值构建时-空信息提取评价因子；将时-空一致性评价因子和时-空信息提取评价因子结合，构建全局时-空性能评价因子，根据该因子的计算结果评价视频融合算法性能；结合人眼视觉ST-CSF公式、3维梯度结构张量设计局部和全局参数。本发明能准确评价有噪声或背景运动情况下融合算法性能，可用于评价视频图像融合算法性能。

主权项

一种基于3维Log‑Gabor变换的视频图像融合性能评价方法，包括如下步骤：(1)在3维频域球坐标系中，构建3维Log‑Gabor滤波器：其中，k＝1,2,..,N表示第k通道的Log‑Gabor滤波器，N为总的通道数，ρ_k表示该通道滤波器的中心径向频率，θ_k和分别为相应通道滤波器的方向角和仰角，θ_k和共同决定了滤波器的中心方向，σ_k,ρ和σ_k,ζ分别决定该滤波器的径向带宽和角度带宽，为球坐标系中某一点与该滤波器中心频点之间的夹角；(2)采用3维Log‑Gabor滤波器对两个输入视频Va、Vb和两个输入视频融合后的视频Vf分别进行多尺度，多方向分解，得到第一个输入视频Va的复数分解系数第二个输入视频Vb的复数分解系数和融合后的视频Vf的复数分解系数(3)把两个输入视频Va、Vb和两个输入视频融合后视频Vf分别分成M个大小相同且互补重叠的3维时‑空子块R(j)，其中j＝1,2,...,M；(4)针对第j个子块R(j)，构建时‑空一致性融合性能评价因子Q_STC(Va,Vb,Vf|R_j)：$Q_{\mathrm{STC}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)=\left\{\begin{array}{cc}\frac{{\omega }_a\left(j\right)·Z_{\mathrm{fa}}\left(j\right)+{\omega }_b\left(j\right)·Z_{\mathrm{fb}}\left(j\right)}{{\omega }_a\left(j\right)+{\omega }_b\left(j\right)},& Z_{\mathrm{ab}}\left(j\right)>=\mathrm{Th}1\\ \max (Z_{\mathrm{fa}}\left(j\right),Z_{\mathrm{fb}}\left(j\right)),& Z_{\mathrm{ab}}\left(j\right)<\mathrm{Th}1\end{array}\right.$其中，ω_a(j)和ω_b(j)分别为输入视频Va和输入视频Vb相应子块R(j)的权值，Z_fa(j)是PC_f(x,y,t)和PC_a(x,y,t)在子块R(j)内的去均值归一化互相关系数，Z_fb(j)是PC_f(x,y,t)和PC_b(x,y,t)在子块R(j)内的去均值归一化互相关系数，Z_ab(j)是PC_a(j)和PC_b(x,y,t)在子块R(j)内的去均值归一化互相关系数，PC_a(x,y,t)、PC_b(x,y,t)和PC_f(x,y,t)分别为两个输入视频Va、Vb和两个输入视频融合后视频Vf的时‑空相位一致性特征，Th1为用于判断输入视频图像在该区域内相似度关系的阈值，$\mathrm{Th}1=\frac{1}{M}\underset{j=1}{\overset{M}{\Sigma }}{Z}_{\mathrm{ab}}\left(j\right);$(5)针对第j个子块R(j)，构建时‑空信息提取融合性能评价因子Q_STE(Va,Vb,Vf|R_j)：$Q_{\mathrm{STE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)=\frac{\underset{k=1}{\overset{N}{\Sigma }}{\chi }_k{Q}_{\mathrm{STE}}^k(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)}{\underset{k=1}{\overset{N}{\Sigma }}{\chi }_k}$其中，N表示滤波器通道总数,χ_k是第k通道下局部区域R(j)对应的权系数，是第k通道下子块R(j)的时‑空信息提取融合性能评价因子，“|”为参与运算各个视频与指定运算区域的分隔线；(6)按照如下方式对时‑空一致性融合性能评价因子Q_STC(Va,Vb,Vf|R_j)和时‑空信息提取融合性能评价因子Q_STE(Va,Vb,Vf|R_j)进行组合，构建第j个子块R(j)的局部时‑空融合性能评价因子：其中，表示一种非负操作，当操作数为正数时，输出结果为原数，否则为0；参数δ取值范围为[0,1]；(7)构建全局时‑空融合性能评价因子Q_{ST_CE}(Va,Vb,Vf)为：$Q_{\mathrm{ST}\_\mathrm{CE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf})=\frac{\underset{j=1}{\overset{M}{\Sigma }}\gamma \left(j\right)Q_{\mathrm{ST}\_\mathrm{CE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)}{\underset{j=1}{\overset{M}{\Sigma }}\gamma \left(j\right)},$其中，γ(j)为第j个子块R(j)的全局权系数，γ(j)＝max(ω_a(j),ω_b(j))，式中，ω_a(j)和ω_b(j)为构建局部时‑空一致性客观评价因子Q_STC(Va,Vb,Vf|R_j)过程中所采用的局部权系数；(8)根据全局时‑空融合性能评价因子Q_{ST_CE}(Va,Vb,Vf)的计算结果，判断视频融合算法性能，计算结果越大则表明视频融合性能越好。