基于3维Log-Gabor变换的视频图像融合性能评价方法

摘要

本发明公开了一种基于3维Log-Gabor变换的视频图像融合性能评价方法，主要解决输入视频有噪声或背景运动情况下，现有技术不能准确评价融合算法性能的问题。其实现步骤是：利用3维Log-Gabor变换对输入视频和融合后视频进行多方向，多尺度分解；用视频图像的3维相位一致性构建时-空相位一致性评价因子；用视频图像的3维Log-Gabor变换系数幅值构建时-空信息提取评价因子；将时-空一致性评价因子和时-空信息提取评价因子结合，构建全局时-空性能评价因子，根据该因子的计算结果评价视频融合算法性能；结合人眼视觉ST-CSF公式、3维梯度结构张量设计局部和全局参数。本发明能准确评价有噪声或背景运动情况下融合算法性能，可用于评价视频图像融合算法性能。

主权项

1.一种基于3维Log-Gabor变换的视频图像融合性能评价方法，包括如下步骤：(1)在3维频域球坐标系中，构建3维Log-Gabor滤波器：其中，k=1,2,..,N表示第k通道的Log-Gabor滤波器，N为总的通道数，ρ_k表示该通道滤波器的中心径向频率，θ_k和分别为相应通道滤波器的方向角和仰角，θ_k和共同决定了滤波器的中心方向，σ_k,ρ和σ_k，ζ分别决定该滤波器的径向带宽和角度带宽，为球坐标系中某一点与该滤波器中心频点之间的夹角；(2)采用3维Log-Gabor滤波器对两个输入视频Va、Vb和两个输入视频融合后的视频vf分别进行多尺度，多方向分解，得到第一个输入视频Va的复数分解系数第二个输入视频Vb的复数分解系数和融合后的视频Vf的复数分解系数(3)把两个输入视频Va、Vb和两个输入视频融合后视频Vf均分成M个大小相同且互补重叠的3维时-空子块R(j)，其中j=1,2,...,M；(4)针对第j个子块R(j)，构建时-空一致性融合性能评价因子Q_STC(Va,Vb,Vf|R_j)：$Q_{\mathrm{STC}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)=\left\{\begin{array}{c}\frac{{\omega }_a\left(j\right)·Z_{\mathrm{fa}}\left(j\right)+{\omega }_b\left(j\right)·Z_{\mathrm{fb}}\left(j\right)}{{\omega }_a\left(j\right)+{\omega }_b\left(j\right)},Z_{\mathrm{ab}}\left(j\right)>=\mathrm{Th}1\\ \max (Z_{\mathrm{fa}}\left(j\right),Z_{\mathrm{fb}}\left(j\right)),Z_{\mathrm{ab}}\left(j\right)<\mathrm{Th}1\end{array}\right.$其中，ω_a(j)和ω_b(j)分别为输入视频Va和输入视频Vb相应子块R(j)的权值，Z_fa(j)是PC_f(x,y,t)和PC_a(x,y,t)在子块R(j)内的去均值归一化互相关系数，Z_fb(j)是PC_f(x,y,t)和PC_b(x,y,t)在子块R(j)内的去均值归一化互相关系数，Z_ab(j)是PC_a(j)和PC_b(x,y,t)在子块R(j)内的去均值归一化互相关系数，PC_a(x,y,t)、PC_b(x,y,t)和PC_f(x,y,t)分别为两个输入视频Va、vb和两个输入视频融合后视频Vf的时-空相位一致性特征，Th1为用于判断输入视频图像在该区域内相似度关系的阈值，$\mathrm{Th}1=\frac{1}{M}\underset{j=1}{\overset{M}{\Sigma }}{Z}_{\mathrm{ab}}\left(j\right);$(5)针对第j个子块R(j)，构建时-空信息提取融合性能评价因子Q_STE(Va,Vb,Vf|R_j)：$Q_{\mathrm{STE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)=\frac{\underset{k=1}{\overset{N}{\Sigma }}{\chi }_k{Q}_{\mathrm{STE}}^k(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)}{\underset{k=1}{\overset{N}{\Sigma }}{\chi }_k}$其中，N表示滤波器通道总数,χ_k是第k通道下局部区域R(j)对应的权系数，是第k通道下子块R(j)的时-空信息提取融合性能评价因子，“|”为参与运算各个视频与指定运算区域的分隔线；(6)按照如下方式对时-空一致性融合性能评价因子Q_STC(va,Vb,Vf|R_j)和时-空信息提取融合性能评价因子Q_STE(Va,Vb,Vf|R_j)进行组合，构建第j个子块R(j)的局部时-空融合性能评价因子：其中，表示一种非负操作，当操作数为正数时，输出结果为原数，否则为0；参数δ取值范围为[0,1]；(7)构建全局时-空融合性能评价因子Q_{ST_CE}(Va,Vb,Vf)为：$Q_{\mathrm{ST}\_\mathrm{CE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf})=\frac{\underset{j=1}{\overset{M}{\Sigma }}\gamma \left(j\right)Q_{\mathrm{ST}\_\mathrm{CE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)}{\underset{j=1}{\overset{M}{\Sigma }}\gamma \left(j\right)},$其中，γ(j)为第j个子块R(j)的全局权系数。（8）根据全局时-空融合性能评价因子Q_{ST_CE}(Va,Vb,Vf)的计算结果，判断视频融合算法性能，计算结果越大则表明视频融合性能越好。