基于时空显著性检测的视频融合性能评价方法

摘要

本发明公开了一种基于时空显著性检测的视频融合性能评价方法，主要解决现有技术不能有效对含噪声视频的融合性能进行评价的问题。其实现步骤为：分别输入已配准的两个参考视频和一个融合视频；对参考视频利用三维时空结构张量进行时空显著性检测，将视频划分为时空特征区域和噪声区域，然后针对时空特征区域和噪声区域分别设计不同的评价指标进行评价；最后通过取平均构建出整体性能评价指标，从而实现对含噪声视频整体融合性能的评价。本发明能够对含噪声视频的融合性能进行有效、准确和客观地评价，可用于监控融合视频图像质量或设定视频融合算法的最佳参数。

主权项

1.一种基于时空显著性检测的视频融合性能评价方法，包括如下步骤：(1)分别输入两幅参考视频a、b以及融合视频f，并分别构建第一参考视频a每个像素点处的三维时空结构张量矩阵S_a(x,y,t)、第二参考视频b每个像素点处的三维时空结构张量矩阵S_b(x,y,t)和融合视频f每个像素点处的三维时空结构张量矩阵S_f(x,y,t)；(2)利用两幅参考视频的三维时空结构张量矩阵进行时空显著性检测，得到每幅参考视频的时空特征区域R₁和噪声区域R₂；(3)对时空特征区域像素的融合性能进行评价：3.1)分别计算第一参考视频a、第二参考视频b、融合视频f在每个像素点处的三维时空结构张量矩阵的最大特征值，得到第一参考视频a的结构张量最大特征值视频λ_a、第二参考视频b的结构张量最大特征值视频λ_b、融合视频f的结构张量最大特征值视频λ_f；3.2)根据第一参考视频a的结构张量最大特征值视频λ_a和融合视频f的结构张量最大特征值视频λ_f，得到第一参考视频a和融合视频f对应时空特征区域像素的时空特征评价指标Q_af(x,y,t)：$Q_{\mathrm{af}}(x,y,t)=\frac{{4\sigma }_{\mathrm{af}}(x,y,t)\overline{{\lambda }_a(x,y,t)}\overline{{\lambda }_f(x,y,t)}}{({\sigma }_a^2(x,y,t)+{\sigma }_f^2(x,y,t))[{\left(\overline{{\lambda }_a(x,y,t)}\right)}^2+{\left(\overline{{\lambda }_f(x,y,t)}\right)}^2]},$其中，和σ_a(x,y,t)分别表示第一参考视频a的结构张量最大特征值视频λ_a中，以当前被评价的时空特征区域像素为中心的3×3×3局部区域内的灰度平均值和标准差；和σ_f(x,y,t)分别表示融合视频f的结构张量最大特征值视频λ_f中，以当前被评价的时空特征区域像素为中心的3×3×3局部区域内的灰度平均值和标准差；σ_af(x,y,t)表示第一参考视频a的结构张量最大特征值视频λ_a和融合视频f的结构张量最大特征值视频λ_f中，以当前被评价的时空特征区域像素为中心的3×3×3局部区域内的灰度协方差，(x,y)表示空间坐标，t表示时间坐标；3.3)根据第二参考视频b的结构张量最大特征值视频λ_b和融合视频f的结构张量最大特征值视频λ_f，得到第二参考视频b和融合视频f对应时空特征区域像素的时空特征评价指标Q_bf(x,y,t)：$Q_{\mathrm{bf}}(x,y,t)=\frac{{4\sigma }_{\mathrm{bf}}(x,y,t)\overline{{\lambda }_b(x,y,t)}\overline{{\lambda }_f(x,y,t)}}{({\sigma }_b^2(x,y,t)+{\sigma }_f^2(x,y,t))[{\left(\overline{{\lambda }_b(x,y,t)}\right)}^2+{\left(\overline{{\lambda }_f(x,y,t)}\right)}^2]},$其中，和σ_b(x,y,t)分别表示第二参考视频b的结构张量最大特征值视频λ_b中，以当前被评价的时空特征区域像素为中心的3×3×3局部区域内的灰度平均值和标准差；和σ_f(x,y,t)分别表示融合视频f的结构张量最大特征值视频λ_f中，以当前被评价的时空特征区域像素为中心的3×3×3局部区域内的灰度平均值和标准差；σ_bf(x,y,t)表示第二参考视频b的结构张量最大特征值视频λ_b和融合视频f的结构张量最大特征值视频λ_f中，以当前被评价的时空特征区域像素为中心的3×3×3局部区域内的灰度协方差；(x,y)表示空间坐标，t表示时间坐标；3.4)将上述两个参考视频的时空特征评价指标Q_af(x,y,t)和Q_bf(x,y,t)进行加权平均，得到时空特征区域像素的时空特征融合性能评价指标Q_f(x,y,t)；(4)对噪声区域像素的融合性能进行评价：4.1)分别计算第一参考视频a、第二参考视频b、融合视频f在每个像素点处的三维时空结构张量矩阵的最小特征值，得到第一参考视频a的结构张量最小特征值视频η_a、第二参考视频b的结构张量最小特征值视频η_b、融合视频f的结构张量最小特征值视频η_f；4.2)根据第一参考视频a的结构张量最小特征值视频η_a和融合视频f的结构张量最小特征值视频η_f，得到第一参考视频a和融合视频f对应噪声区域像素的噪声评价指标N_af(x,y,t)：$N_{\mathrm{af}}(x,y,t)=\frac{{4\delta }_{\mathrm{af}}(x,y,t)\overline{{\eta }_a(x,y,t)}\overline{{\eta }_f(x,y,t)}}{({\delta }_a^2(x,y,t)+{\delta }_f^2(x,y,t))[{\left(\overline{{\eta }_a(x,y,t)}\right)}^2+{\left(\overline{{\eta }_f(x,y,t)}\right)}^2]},$其中，和δ_a(x,y,t)分别表示第一参考视频a的结构张量最小特征值视频η_a中，以当前被评价的噪声区域像素为中心的3×3×3局部区域内的灰度平均值和标准差；和δ_f(x,y,t)分别表示融合视频f的结构张量最小特征值视频η_f中，以当前被评价的噪声区域像素为中心的3×3×3局部区域内的灰度平均值和标准差；δ_af(x,y,t)表示第一参考视频a的结构张量最小特征值视频η_a和融合视频f的结构张量最小特征值视频η_f中，以当前被评价的噪声区域像素为中心的3×3×3局部区域内的灰度协方差；(x,y)表示空间坐标，t表示时间坐标；4.3)根据第二参考视频b的结构张量最小特征值视频η_b和融合视频f的结构张量最小特征值视频η_f，得到第二参考视频b和融合视频f对应噪声区域像素的噪声评价指标N_bf(x,y,t)：$N_{\mathrm{bf}}(x,y,t)=\frac{{4\delta }_{\mathrm{bf}}(x,y,t)\overline{{\eta }_b(x,y,t)}\overline{{\eta }_f(x,y,t)}}{({\delta }_b^2(x,y,t)+{\delta }_f^2(x,y,t))[{\left(\overline{{\eta }_b(x,y,t)}\right)}^2+{\left(\overline{{\eta }_f(x,y,t)}\right)}^2]},$其中，和δ_b(x,y,t)分别表示第二参考视频b的结构张量最小特征值视频η_b中，以当前被评价的噪声区域像素为中心的3×3×3局部区域内的灰度平均值和标准差；和δ_f(x,y,t)分别表示融合视频f的结构张量最小特征值视频η_f中，以当前被评价的噪声区域像素为中心的3×3×3局部区域内的灰度平均值和标准差；δ_bf(x,y,t)表示第二参考视频b的结构张量最小特征值视频η_b和融合视频f的结构张量最小特征值视频η_f中，以当前被评价的噪声区域像素为中心的3×3×3局部区域内的灰度协方差；(x,y)表示空间坐标，t表示时间坐标；4.4)将上述两个参考视频的噪声评价指标N_af(x,y,t)和N_bf(x,y,t)按如下方式结合，得到噪声区域像素的噪声抑制评价指标Q_n(x,y,t)：$Q_n(x,y,t)=1-\frac{N_{\mathrm{af}}(x,y,t)+N_{\mathrm{bf}}(x,y,t)}{2},$其中，(x,y)表示空间坐标，t表示时间坐标；(5)将时空特征区域像素的时空特征融合性能评价指标Q_f(x,y,t)与噪声区域像素的噪声抑制评价指标Q_n(x,y,t)结合，得到视频融合的整体融合性能评价指标Q_stfn：$Q_{\mathrm{stfn}}=\frac{1}{T}·\underset{t=1}{\overset{T}{\Sigma }}\frac{({\Sigma }_{(x,y)\in R_1}{Q}_f(x,y,t)+{\Sigma }_{(x,y)\in R_2}{Q}_n(x,y,t))}{K\left(t\right)},$其中，(x,y)表示空间坐标，t表示时间坐标，K(t)表示第t帧图像中时空特征区域像素和噪声区域像素个数之和，T表示处理的视频图像帧数。