一种基于空域和时域结构相似性的视频质量客观评价方法

摘要

本发明公开了一种基于空域和时域结构相似性的视频质量客观评价方法，其从空域和时域两个方面评价失真视频和参考视频之间的结构相似度，其中空域评价包括亮度和色度的结构相似性，而时域评价则使用帧间残差的结构相似性来表示，计算简单快捷；然后利用四元数矩阵来建立结构相似度评价模型；再采用奇异值分解方法求解结构相似度四元数矩阵，得到最终的客观质量评价值；优点是计算复杂度低，且能够有效地提高客观评价结果与主观感知的相关性。

主权项

一种基于空域和时域结构相似性的视频质量客观评价方法，其特征在于包括以下步骤：①假设参考视频中的所有参考图像和失真视频中的所有失真图像的尺寸大小均为W×H，其中，W表示参考视频中的所有参考图像和失真视频中的所有失真图像的宽，H表示参考视频中的所有参考图像和失真视频中的所有失真图像的高；②将参考视频中当前待处理的参考图像定义为当前参考图像，并将失真视频中当前待处理的失真图像定义为当前失真图像；③假设当前参考图像为参考视频中的第m帧参考图像，并记为同样假设当前失真图像为失真视频中的第m帧失真图像，并记为其中，pre+1≤m≤M，m的初始值为pre+1，pre表示参考视频中时域上先于的参考图像的总帧数，pre亦表示失真视频中时域上先于的参考图像的总帧数，1≤pre≤9，M表示参考视频中包含的参考图像的总帧数，亦表示失真视频中包含的失真图像的总帧数；④假设和的尺寸大小刚好能够被8×8整除，分别将和分割成个互不重叠的尺寸大小为8×8的图像块；⑤计算和中所有坐标位置相同的两个图像块之间的以四元数表示的基于空域和时域的结构相似度，将中的第n个图像块和中的第n个图像块之间的以四元数表示的基于空域和时域的结构相似度记为$Q_m^{\mathrm{org},\mathrm{dis}}\left(n\right)={\mathrm{residual}}_m^{\mathrm{org},\mathrm{dis}}\left(n\right)+i\left({\mathrm{ch}}_m^{\mathrm{org},\mathrm{dis}}\left(n\right)\right)+j\left(c_m^{\mathrm{org},\mathrm{dis}}\left(n\right)\right)+k\left(s_m^{\mathrm{org},\mathrm{dis}}\left(n\right)\right),$其中，n的初始值为1，表示中的第n个图像块和中的第n个图像块之间的基于时域的结构相似度，${\mathrm{residual}}_m^{\mathrm{org},\mathrm{dis}}\left(n\right)=\alpha \times {\mathrm{compare}}_{\mathrm{lumi}}+\beta \times {\mathrm{compare}}_{\mathrm{chro}},$compare_lumi表示中的第n个图像块的亮度残差和中的第n个图像块的亮度残差的比较值，compare_chro表示中的第n个图像块的色度残差和中的第n个图像块的色度残差的比较值，α表示compare_lumi的权重，β表示compare_chro的权重，α+β＝1，i,j,k均为四元数中的虚数单位，构成中的第n个图像块和中的第n个图像块之间的基于空域的结构相似度，${\mathrm{ch}}_m^{\mathrm{org},\mathrm{dis}}\left(n\right)=\frac{2\times {\mu }_m^{\mathrm{org}}\left(n\right)\times {\mu }_m^{\mathrm{dis}}\left(n\right)}{{\left({\mu }_m^{\mathrm{org}}\left(n\right)\right)}^2+{\left({\mu }_m^{\mathrm{dis}}\left(n\right)\right)}^2},$表示中的第n个图像块中的所有像素点的色度值的平均值，表示中的第n个图像块中的所有像素点的色度值的平均值，$c_m^{\mathrm{org},\mathrm{dis}}\left(n\right)=\frac{2\times {\sigma }_m^{\mathrm{org}}\left(n\right)\times {\sigma }_m^{\mathrm{dis}}\left(n\right)+C_2}{{\left({\sigma }_m^{\mathrm{org}}\left(n\right)\right)}^2+{\left({\sigma }_m^{\mathrm{dis}}\left(n\right)\right)}^2+C_2},$表示中的第n个图像块的亮度标准差，表示中的第n个图像块的亮度标准差，C₂＝(K₂×L)²，K₂为值较小的常数，L表示参考图像中的像素点和失真图像中的像素点的像素值的动态范围，$s_m^{\mathrm{org},\mathrm{dis}}\left(n\right)=\frac{2\times {\sigma }_m^{\mathrm{org},\mathrm{dis}}\left(n\right)+C_3}{{{\sigma }_m^{\mathrm{org}}\left(n\right)\times \sigma }_m^{\mathrm{dis}}\left(n\right)+C_3},$表示中的第n个图像块与中的第n个图像块的亮度协方差，⑥将和中所有坐标位置相同的两个图像块之间的以四元数表示的基于空域和时域的结构相似度组成一个用于表示和之间的基于空域和时域的结构相似度且维数为维的四元数矩阵；然后对该四元数矩阵进行奇异值分解，得到一个奇异值向量，记为Q_m；⑦将参考视频中下一帧待处理的参考图像作为当前参考图像，并将失真视频中下一帧待处理的失真图像作为当前失真图像，然后返回步骤③继续执行，直至参考视频中的最后一帧参考图像和失真视频中的最后一帧失真图像处理完毕，得到失真视频中除前pre帧失真图像外的每帧失真图像对应的奇异值向量；⑧根据失真视频中除前pre帧失真图像外的每帧失真图像对应的奇异值向量，计算失真视频的客观质量评价值，记为QSSIM，其中，${\mathrm{wg}}_m=\frac{\underset{u=1}{\overset{W}{\Sigma }}\underset{v=1}{\overset{H}{\Sigma }}(P_m^{\mathrm{dis}}(u,v)\times P_{m-1}^{\mathrm{dis}}(u,v))}{\underset{u=1}{\overset{W}{\Sigma }}\underset{v=1}{\overset{H}{\Sigma }}{\left(P_m^{\mathrm{dis}}(u,v)\right)}^2\times \underset{u=1}{\overset{W}{\Sigma }}\underset{v=1}{\overset{H}{\Sigma }}{\left(P_{m-1}^{\mathrm{dis}}(u,v)\right)}^2},$1≤u≤W，1≤v≤H，表示中坐标位置为(u,v)的像素点的亮度值，表示失真视频中的第m‑1帧失真图像中坐标位置为(u,v)的像素点的亮度值，Q_m(n)表示Q_m中的第n个分量。