基于结构相似度和人眼视觉的视频图像融合性能评价方法

摘要

本发明公开了一种基于结构相似度和人眼视觉的视频图像融合性能评价方法，主要解决现有技术的评价结果与主观评价结果不一致的问题。其实现步骤是：根据融合视频各帧图像与输入视频各帧图像之间的结构相似度值，构建空间性能评价指标；根据融合视频图像与输入视频图像各帧差图像之间的结构相似度值，构建时间性能评价指标；将空间性能评价指标和时间性能评价指标结合作为空间-时间性能评价指标；根据人眼视觉感知特性，采用输入视频图像空间对比度和时间运动信息制定指标所需参数。本发明具有评价结果准确且符合人眼视觉主观评价的特性，可用于评价视频图像融合算法性能。

主权项

1.一种基于结构相似度和人眼视觉的视频图像融合性能评价方法，以两个参考输入视频Va、Vb和融合后视频Vf为例，包括如下步骤：(1)针对融合后视频图像Vf与输入视频图像Va和Vb之间的当前帧图像构建相应的单帧空间性能评价指标Q_S,t(Va,Vb,Vf)：$Q_{S,t}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf})=\frac{\underset{m=1}{\overset{M}{\Sigma }}\underset{n=1}{\overset{N}{\Sigma }}({\lambda }_a\left(w_{m,n,t}\right)\left(\mathrm{SSIM}(\mathrm{Va},\mathrm{Vf}|w_{m,n,t})\right)+{\lambda }_b\left(w_{m,n,t}\right)\left(\mathrm{SSIM}(\mathrm{Vb},\mathrm{Vf}|w_{m,n,t})\right)}{\underset{m=1}{\overset{M}{\Sigma }}\underset{n=1}{\overset{N}{\Sigma }}({\lambda }_a\left(w_{m,n,t}\right)+{\lambda }_b\left(w_{m,n,t}\right))}$其中，M×N为各视频每一帧图像的大小，w_m，n，t表示第t帧图像中空间位置为(m,n)处的局部窗口，λ_a(w_m，n，t)为输入视频图像Va在当前窗口下的权值，λ_b(w_m，n，t)为输入视频图像Vb在当前窗口下的权值，SSIM(Va,Vf|w_m，n，t)表示融合后视频图像Vf与输入视频图像Va在当前局部窗口下的结构相似度值，SSIM(Vb,Vf|w_m，n，t)表示融合后视频图像Vf与输入视频图像Vb在当前局部窗口下的结构相似度值；所述$\mathrm{SSIM}(\mathrm{Va},\mathrm{Vf}|w_{m,n,t})=\frac{(2{\mu }_{\mathrm{Va}}\left(w_{m,n,t}\right){\mu }_{\mathrm{Vf}}\left(w_{m,n,t}\right)+C_1)}{({\mu }_{\mathrm{Va}}^2\left(w_{m,n,t}\right)+{\mu }_{\mathrm{Vf}}^2\left(w_{m,n,t}\right)+C_1)}·\frac{(2{\sigma }_{\mathrm{VaVf}}\left(w_{m,n,t}\right)+C_2)}{({\sigma }_{\mathrm{Va}}^2\left(w_{m,n,t}\right)+{\sigma }_{\mathrm{Vf}}^2\left(w_{m,n,t}\right)+C_2)}$所述$\mathrm{SSIM}(\mathrm{Vb},\mathrm{Vf}|w_{m,n,t})=\frac{(2{\mu }_{\mathrm{Vb}}\left(w_{m,n,t}\right){\mu }_{\mathrm{Vf}}\left(w_{m,n,t}\right)+C_1)}{({\mu }_{\mathrm{Vb}}^2\left(w_{m,n,t}\right)+{\mu }_{\mathrm{Vf}}^2\left(w_{m,n,t}\right)+C_1)}·\frac{(2{\sigma }_{\mathrm{VbVf}}\left(w_{m,n,t}\right)+C_2)}{({\sigma }_{\mathrm{Vb}}^2\left(w_{m,n,t}\right)+{\sigma }_{\mathrm{Vf}}^2\left(w_{m,n,t}\right)+C_2)}$其中，μ_Va(w_m，n，t)、μ_Vb(w_m，n，t)和μ_Vf(w_m，n，t)分别表示视频图像Va、Vb和Vf在局部窗口下的均值，和分别表示视频图像Va、Vb和Vf在局部窗口下的方差，σ_VaVf(w_m，n，t)表示视频图像Vf与Va在当前窗口下的协方差值，σ_VbVf(w_m，n，t)表示视频图像Vf与Vb在当前窗口下的协方差值，C₁和C₂为常值，以避免运算错误；(2)针对融合后视频图像Vf与输入视频图像Va和Vb各帧差视频图像之间的当前帧图像，构建相应的单帧时间性能评价指标Q_T,t(Da,Db,Df)：$Q_{T,t}(\mathrm{Da},\mathrm{Db},\mathrm{Df})=\frac{\underset{m=1}{\overset{M}{\Sigma }}\underset{n=1}{\overset{N}{\Sigma }}({\xi }_a\left(w_{m,n,t}\right)\left(\mathrm{SSIM}(\mathrm{Da},\mathrm{Df}|w_{m,n,t})\right)+{\xi }_b\left(w_{m,n,t}\right)\left(\mathrm{SSIM}(\mathrm{Db},\mathrm{Df}|w_{m,n,t})\right)}{\underset{m=1}{\overset{M}{\Sigma }}\underset{n=1}{\overset{N}{\Sigma }}({\xi }_a\left(w_{m,n,t}\right)+{\xi }_b\left(w_{m,n,t}\right))}$其中，Da、Db和Df分别为视频图像Va、Vb和Vf对应的帧差视频图像，ξ_a(w_m，n，t)为输入帧差视频图像Da在当前窗口下的权值，ξ_b(w_m，n，t)为输入帧差视频图像Db在当前窗口下的权值，SSIM(Da,Df|w_m，n，t)表示融合后帧差视频图像Df与输入帧差视频图像Da在当前局部窗口下的结构相似度值，SSIM(Db,Df|w_m，n，t)表示融合后帧差视频图像Df与输入帧差视频图像Db在当前局部窗口下的结构相似度值；所述$\mathrm{SSIM}(\mathrm{Da},\mathrm{Df}|w_{m,n,t})=\frac{(2{\mu }_{\mathrm{Da}}\left(w_{m,n,t}\right){\mu }_{\mathrm{Df}}\left(w_{m,n,t}\right)+C_1)}{({\mu }_{\mathrm{Da}}^2\left(w_{m,n,t}\right)+{\mu }_{\mathrm{Df}}^2\left(w_{m,n,t}\right)+C_1)}·\frac{(2{\sigma }_{\mathrm{DaDf}}\left(w_{m,n,t}\right)+C_2)}{({\sigma }_{\mathrm{Da}}^2\left(w_{m,n,t}\right)+{\sigma }_{\mathrm{Df}}^2\left(w_{m,n,t}\right)+C_2)}$所述$\mathrm{SSIM}(\mathrm{Db},\mathrm{Df}|w_{m,n,t})=\frac{(2{\mu }_{\mathrm{Db}}\left(w_{m,n,t}\right){\mu }_{\mathrm{Df}}\left(w_{m,n,t}\right)+C_1)}{({\mu }_{\mathrm{Db}}^2\left(w_{m,n,t}\right)+{\mu }_{\mathrm{Df}}^2\left(w_{m,n,t}\right)+C_1)}·\frac{(2{\sigma }_{\mathrm{DbDf}}\left(w_{m,n,t}\right)+C_2)}{({\sigma }_{\mathrm{Db}}^2\left(w_{m,n,t}\right)+{\sigma }_{\mathrm{Df}}^2\left(w_{m,n,t}\right)+C_2)}$其中，μ_Da(w_m，n，t)、μ_Db(w_m，n，t)和μ_Df(w_m，n，t)分别表示视频图像Da、Db和Df在局部窗口下的均值；和分别表示视频图像Da、Db和Df在局部窗口下的方差；σ_DaDf(w_m，n，t)表示视频图像Vf与Va在当前窗口下的协方差值，σ_DbDf(w_m，n，t)表示视频图像Vf与Vb在当前窗口下的协方差值，C₁和C₂为常值，以避免运算错误；(3)针对融合后视频图像Vf与输入视频图像Va和Vb之间的当前帧图像，构建相应的单帧空间-时间性能评价指标Q_t(Va,Vb,Vf)：其中，取值范围为[0,1]；(4)构建全局空间-时间性能评价指标Q(Va,Vb,Vf)：$Q(\mathrm{Va},\mathrm{Vb},\mathrm{Vf})=\frac{\underset{t=1}{\overset{T}{\Sigma }}{Q}_t(\mathrm{Va},\mathrm{Vb},\mathrm{Vf})·\rho \left(t\right)}{\underset{t=1}{\overset{T}{\Sigma }}\rho \left(t\right)}$其中，T表示视频图像所含的帧数，ρ(t)为全局帧权系数。