一种面向压缩失真的立体视频质量客观评价方法

摘要

本发明公开了一种面向压缩失真的立体视频质量客观评价方法，其将立体视频质量分为左右视点质量和深度感知质量两部分，在左右视点质量评价部分，考虑到视频图像受到压缩失真会产生块效应和模糊的特点，提取梯度信息作为图像特征，同时考虑到人眼的时空域视觉特性，从而得到左视点质量和右视点质量；在深度感知质量评价部分，通过三维小波变换提取三维视差空间图中的低频成分，并将其质量作为立体视频的深度感知质量；最后，将左视点质量、右视点质量和深度感知质量相结合，得到最终的失真立体视频质量；优点是从左右视点平面视频质量的角度和立体视频深度感的角度完成对立体视频的客观质量评价，有效地提高了客观评价结果与主观感知之间的相关性。

主权项

一种面向压缩失真的立体视频质量客观评价方法，其特征在于包括以下步骤：①令V_org表示原始的无失真的立体视频，令V_dis表示待评价的失真的立体视频，将V_org中的第f帧立体图像记为将的左视点图像和右视点图像对应记为和将V_dis中的第f帧立体图像记为将的左视点图像和右视点图像对应记为和其中，1≤f≤N_f，N_f表示V_org和V_dis各自所包含的立体图像的数量；②利用水平Sobel算子，计算V_org中的每帧立体图像的左视点图像的水平梯度图，将的水平梯度图记为同样，利用水平Sobel算子，计算V_dis中的每帧立体图像的左视点图像的水平梯度图，将的水平梯度图记为并，利用垂直Sobel算子，计算V_org中的每帧立体图像的左视点图像的垂直梯度图，将的垂直梯度图记为同样，利用垂直Sobel算子，计算V_dis中的每帧立体图像的左视点图像的垂直梯度图，将的垂直梯度图记为③计算V_org中的每帧立体图像的左视点图像中的每个像素点的梯度场，将中坐标位置为(u,v)的像素点的梯度场记为$G_{L,\mathrm{org}}^f(u,v)=\sqrt{{\left({\mathrm{Gh}}_{L,\mathrm{org}}^f(u,v)\right)}^2+{\left({\mathrm{Gv}}_{L,\mathrm{org}}^f(u,v)\right)}^2};$同样，计算V_dis中的每帧立体图像的左视点图像中的每个像素点的梯度场，将中坐标位置为(u,v)的像素点的梯度场记为$G_{L,\mathrm{dis}}^f(u,v)=\sqrt{{\left({\mathrm{Gh}}_{L,\mathrm{dis}}^f(u,v)\right)}^2+{\left({\mathrm{Gv}}_{L,\mathrm{dis}}^f(u,v)\right)}^2};$其中，u表示像素点的水平坐标位置，v表示像素点的垂直坐标位置，1≤u≤U，1≤v≤V，U表示V_org和V_dis中的立体图像水平方向上的像素点的数量，V表示V_org和V_dis中的立体图像垂直方向上的像素点的数量，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值；④根据V_org中的每帧立体图像的左视点图像中的每个像素点的梯度场和V_dis中对应的一帧立体图像的左视点图像中对应坐标位置的像素点的梯度场，确定V_org中的每帧立体图像的左视点图像中的每个像素点为显著点还是为非显著点，同时确定V_dis中的每帧立体图像的左视点图像中的每个像素点为显著点还是为非显著点，然后获取V_org中的每帧立体图像的左视点图像的显著点图和V_dis中的每帧立体图像的左视点图像的显著点图，将的显著点图记为将的显著点图记为⑤计算V_org中的每帧立体图像的左视点图像的显著点图与V_dis中对应的一帧立体图像的左视点图像的显著点图之间的差值图，将与之间的差值图记为然后利用恰可觉察失真模型，根据V_org中的每帧立体图像的左视点图像的显著点图与V_dis中对应的一帧立体图像的左视点图像的显著点图之间的差值图，确定V_org中的每帧立体图像的左视点图像中的每个像素点为可见失真点还是为不可见失真点，同时确定V_dis中的每帧立体图像的左视点图像中的每个像素点为可见失真点还是为不可见失真点；其中，符号“||”为取绝对值符号；⑥将V_org中的每帧立体图像的左视点图像中的所有可见失真点构成该帧立体图像的左视点图像的感兴趣区域，将V_org中的每帧立体图像的左视点图像中的所有不可见失真点构成该帧立体图像的左视点图像的不感兴趣区域，将的感兴趣区域记为由中的所有可见失真点构成，将的不感兴趣区域记为由中的所有不可见失真点构成；同样，将V_dis中的每帧立体图像的左视点图像中的所有可见失真点构成该帧立体图像的左视点图像的感兴趣区域，将V_dis中的每帧立体图像的左视点图像中的所有不可见失真点构成该帧立体图像的左视点图像的不感兴趣区域，将的感兴趣区域记为由中的所有可见失真点构成，将的不感兴趣区域记为由中的所有不可见失真点构成；⑦根据V_org中的每帧立体图像的左视点图像的感兴趣区域与V_dis中对应的一帧立体图像的左视点图像的感兴趣区域，计算V_dis中的每帧立体图像的左视点图像的感兴趣区域质量，将的感兴趣区域质量记为其中，SSIM()为结构相似度计算函数；同样，根据V_org中的每帧立体图像的左视点图像的不感兴趣区域与V_dis中对应的一帧立体图像的左视点图像的不感兴趣区域，计算V_dis中的每帧立体图像的左视点图像的不感兴趣区域质量，将的不感兴趣区域质量记为⑧计算V_dis中的每帧立体图像的左视点图像相对于V_org中对应的一帧立体图像的左视点图像的初级质量，将相对于的初级质量记为然后计算V_dis中的每帧立体图像的左视点图像相对于V_org中对应的一帧立体图像的左视点图像的最终质量，将相对于的最终质量记为再计算V_dis的左视点质量，记为Q_L，其中，λ为感知加权因子，表示V_dis中的第f‑1帧立体图像的左视点图像相对于V_org中的第f‑1帧立体图像的左视点图像的初级质量，a_‑表示相对于下降时的下降质量调节因子，a₊表示相对于上升时的上升质量调节因子，表示与之间的差异，$d_q^f=q_L^{\prime f}-q_L^{\prime f-1},$在$d_q^f=q_L^{\prime f-1}-q_L^{\prime f-2}$中$2\le f\le N_f;$⑨按照步骤②至步骤⑧的操作，以相同的操作方式对V_org中的每帧立体图像的右视点图像和V_dis中的每帧立体图像的右视点图像进行处理，获取V_dis的右视点质量，记为Q_R；⑩根据Q_L和Q_R，计算V_dis相对于V_org的左右视点质量，记为Q_LR，Q_LR＝w_s×Q_L+(1‑w_s)×Q_R，其中，w_s表示Q_L在Q_LR中所占的权重；获取V_org中的每帧立体图像的三维视差空间图，将的三维视差空间图记为${\mathrm{DSI}}_{\mathrm{org}}^f(u,v,d)={\left|\right|L_{\mathrm{org}}^f(u,v)-R_{\mathrm{org}}^f(u-d,v)\left|\right|}^2,$其中，表示中坐标位置为(u,v)的像素点在视差偏移量为d时的视差空间值，d取[1,d_max]中的所有整数，d_max为最大视差搜索范围，符号“|| ||”为欧氏距离计算符号，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u‑d,v)的像素点的像素值，为U×V×d_max的三维矩阵；同样，获取V_dis中的每帧立体图像的三维视差空间图，将的三维视差空间图记为${\mathrm{DSI}}_{\mathrm{dis}}^f(u,v,d)={\left|\right|L_{\mathrm{dis}}^f(u,v)-R_{\mathrm{dis}}^f(u-d,v)\left|\right|}^2,$其中，表示中坐标位置为(u,v)的像素点在视差偏移量为d时的视差空间值，d取[1,d_max]中的所有整数，d_max为最大视差搜索范围，符号“|| ||”为欧氏距离计算符号，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u‑d,v)的像素点的像素值，为U×V×d_max的三维矩阵；对V_org中的每帧立体图像的三维视差空间图进行一级三维小波变换，得到V_org中的每帧立体图像对应的八组子带矩阵，然后将V_org中的每帧立体图像对应的最低频的一组子带矩阵作为该帧立体图像的低频视差空间图，将的低频视差空间图记为其中，为的三维矩阵；同样，对V_dis中的每帧立体图像的三维视差空间图进行一级三维小波变换，得到V_dis中的每帧立体图像对应的八组子带矩阵，然后将V_dis中的每帧立体图像对应的最低频的一组子带矩阵作为该帧立体图像的低频视差空间图，将的低频视差空间图记为其中，为的三维矩阵；根据V_org中的每帧立体图像的低频视差空间图和V_dis中对应的一帧立体图像的低频视差空间图，计算V_dis中的每帧立体图像相对于V_org中对应的一帧立体图像的深度感知质量，将相对于的深度感知质量记为其中，SSIM()为结构相似度计算函数；根据V_dis中的每帧立体图像相对于V_org中对应的一帧立体图像的深度感知质量，计算V_dis相对于V_org的深度感知质量，记为Q_d，根据Q_LR和Q_d，计算V_dis相对于V_org的失真立体视频质量，记为Q，Q＝w_LR×Q_LR+(1‑w_LR)×Q_d，其中，w_LR为Q_LR在Q中所占的权重。