一种基于时空域结构的高效视频质量客观评价方法

摘要

本发明公开了一种基于时空域结构的高效视频质量客观评价方法，其首先通过时空域梯度结合颜色信息计算时空域局部相似度，然后在空域融合阶段采用方差融合，将时空域局部相似度融合成帧级的客观质量值，再通过模拟人类视觉系统中三个重要的全局时域效应，即平滑效应、不对称追踪效应和时近效应，建立时域融合模型，对帧级的客观质量值进行时域融合，最终得到失真视频序列的客观质量值，通过对人类视觉时域效应建模，使得本发明的时域加权方法可以准确高效的评价失真视频的客观质量。

主权项

一种基于时空域结构的高效视频质量客观评价方法，其特征在于包括以下步骤：①令S_r表示无失真参考视频序列，令S_d表示S_r经失真后得到的失真视频序列，其中，S_r中包含的图像的总帧数和S_d中包含的图像的总帧数均为F帧，F>1，S_r中包含的图像和S_d中包含的图像的宽度均为W且高度均为H；将S_r中的所有图像各自的亮度分量构成的序列定义为S_r的亮度分量序列，并记为Y_r；将S_r中的所有图像各自的第一色度分量构成的序列定义为S_r的第一色度分量序列，并记为U_r；将S_r中的所有图像各自的第二色度分量构成的序列定义为S_r的第二色度分量序列，并记为V_r；将S_d中的所有图像各自的亮度分量构成的序列定义为S_d的亮度分量序列，并记为Y_d；将S_d中的所有图像各自的第一色度分量构成的序列定义为S_d的第一色度分量序列，并记为U_d；将S_d中的所有图像各自的第二色度分量构成的序列定义为S_d的第二色度分量序列，并记为V_d；上述，Y_r、U_r、V_r、Y_d、U_d、V_d中包含的图像的宽度均为W且高度均为H；②采用三维Prewitt算子计算Y_r的时空域梯度幅值序列，记为G_r，将G_r中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为G_r(x,y,t)，同样，采用三维Prewitt算子计算Y_d的时空域梯度幅值序列，记为G_d，将G_d中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为G_d(x,y,t)，其中，t的初始值为1，1≤t≤F，1≤x≤W,1≤y≤H，Y_rx(x,y,t)表示Y_r的水平方向梯度幅值序列Y_rx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Y_ry(x,y,t)表示Y_r的竖直方向梯度幅值序列Y_ry中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Y_rt(x,y,t)表示Y_r的时间轴方向梯度幅值序列Y_rt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Y_dx(x,y,t)表示Y_d的水平方向梯度幅值序列Y_dx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Y_dy(x,y,t)表示Y_d的竖直方向梯度幅值序列Y_dy中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Y_dt(x,y,t)表示Y_d的时间轴方向梯度幅值序列Y_dt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，符号表示补零截断的卷积运算符号，经卷积运算得到的Y_rx、Y_ry、Y_rt的维度与Y_r的维度相同，经卷积运算得到的Y_dx、Y_dy、Y_dt的维度与Y_d的维度相同，F_x、F_y、F_t对应表示三维Prewitt算子的水平方向模板、竖直方向模板和时间轴方向模板；③计算S_r中的每帧图像中的每个像素点与S_d中对应图像中的对应像素点之间的时空域局部梯度相似度，将S_r中的第t帧图像中坐标位置为(x,y)的像素点与S_d中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部梯度相似度记为G_sim(x,y,t)，其中，c₁为防止分式无意义的正常数；④计算S_r中的每帧图像中的每个像素点与S_d中对应图像中的对应像素点之间的时空域局部颜色相似度，将S_r中的第t帧图像中坐标位置为(x,y)的像素点与S_d中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部颜色相似度记为C_sim(x,y,t)，其中，U_r(x,y,t)表示U_r中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即S_r中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，V_r(x,y,t)表示V_r中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即S_r中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，U_d(x,y,t)表示U_d中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即S_d中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，V_d(x,y,t)表示V_d中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即S_d中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，c₂和c₃为防止分式无意义的正常数；⑤根据S_r中的每帧图像中的每个像素点与S_d中对应图像中的对应像素点之间的时空域局部梯度相似度，及S_r中的每帧图像中的每个像素点与S_d中对应图像中的对应像素点之间的时空域局部颜色相似度，计算S_r中的每帧图像中的每个像素点与S_d中对应图像中的对应像素点之间的时空域局部相似度，将S_r中的第t帧图像中坐标位置为(x,y)的像素点与S_d中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部相似度记为Q_LS(x,y,t)，Q_LS(x,y,t)＝G_sim(x,y,t)×(C_sim(x,y,t))^λ，其中，λ用于调整颜色分量所占的权重，λ>0；⑥采用方差融合方法计算S_d中的每帧图像的客观质量值，将S_d中的第t帧图像的客观质量值记为Q_frame(t)，其中，Q_mean(t)表示S_r中的第t帧图像中的所有像素点与S_d中的第t帧图像中对应像素点之间的时空域局部相似度的平均值，⑦采用时域加权方法计算S_d的客观质量值，记为Q，其中，ΔQ_frame(t)＝Q_frame(t)‑Q_LP(t‑1)，α表示质量上升时的权重，β表示质量下降时的权重，γ用于调整时近效应的强度。