基于视觉阈值与通道融合的立体图像客观质量评价方法

摘要

本发明公开了一种基于视觉阈值与通道融合的立体图像客观质量评价方法，其通过对无失真的立体图像和失真的立体图像的左视点图像和右视点图像分通道进行视觉阈值分析和奇异值分解；然后通过对无失真的立体图像和失真的立体图像的左右视点图像的绝对视差图像的差值图像分通道进行视觉阈值分析和奇异值分解，采用线性组合方式得到立体感知评价度量；最后将客观评价尺度度量和立体感知评价度量两者进行线性加权结合，得到立体图像的总体质量评价客观值，不仅有效利用了恰可察觉失真的视觉阈值、视觉掩盖效应以及立体感知等人眼视觉特性，而且在评价左右视点图像质量的基础上，同时评价了立体感知，因此提高了客观质量评价结果与主观感知之间的相关性。

主权项

一种基于视觉阈值与通道融合的立体图像客观质量评价方法，其特征在于具体包括以下步骤：①令S_org为原始的无失真的立体图像，令S_dis为失真的立体图像，将原始的无失真的立体图像S_org的左视点图像记为L_org，将原始的无失真的立体图像S_org的右视点图像记为R_org，将失真的立体图像S_dis的左视点图像记为L_dis，将失真的立体图像S_dis的右视点图像记为R_dis；②计算L_org与L_dis的差值图，记为D_l，D_l＝|L_org‑L_dis|,并计算R_org与R_dis的差值图，记为D_r，D_r＝|R_org‑R_dis|，然后计算L_org与R_org的差值图，记为D_org，D_org＝|L_org‑R_org|，并计算L_dis与R_dis的差值图，记为D_dis，D_dis＝|L_dis‑R_dis|，再计算D_org与D_dis的差值图，记为DD，DD＝|D_org‑D_dis|，其中，“||”为取绝对值符号；③获取L_org的视觉阈值图，记为将L_org的视觉阈值图中坐标位置为(i,j)的像素点的视觉阈值记为${\mathrm{JND}}_{\mathrm{org}}^l(i,j)=T^l(i,j)+T^t(i,j)-C\times \min \{T^l(i,j),T^t(i,j)\},$其中，1≤i≤W,1≤j≤H,W表示立体图像的宽度,H表示立体图像的高度,T^l(i,j)表示L_org中坐标位置为(i,j)的像素点对应的亮度阈值，表示L_org中坐标位置为(i,j)的像素点的亮度值的均值，I(i,j)表示L_org中坐标位置为(i,j)的像素点的亮度值，I(i‑3+m,j‑3+n)表示L_org中坐标位置为(i‑3+m,j‑3+n)的像素点的亮度值，B(m,n)表示5×5的低通滤波器中坐标位置为(m,n)处的值，T^t(i,j)表示L_org中坐标位置为(i,j)的像素点对应的纹理阈值，T^t(i,j)＝α(i,j)×G(i,j)+β(i,j)，$\alpha (i,j)=0.0001\times \overline{I(i,j)}+0.115,$G(i,j)表示L_org中坐标位置为(i,j)的像素点分别通过水平方向、垂直方向、45°方向和135°方向的高通滤波器滤波后得到的四个值中的最大值，C为加权系数，min()为取最小值函数；获取R_org的视觉阈值图，记为将R_org的视觉阈值图中坐标位置为(i,j)的像素点的视觉阈值记为${\mathrm{JND}}_{\mathrm{org}}^r(i,j)=T^r(i,j)+T^{t\prime }(i,j)-C\times \min \{T^r(i,j),T^{t\prime }(i,j)\},$其中，1≤i≤W,1≤j≤H,W表示立体图像的宽度,H表示立体图像的高度,T^r(i,j)表示R_org中坐标位置为(i,j)的像素点对应的亮度阈值，表示R_org中坐标位置为(i,j)的像素点的亮度值的均值，I'(i,j)表示R_org中坐标位置为(i,j)的像素点的亮度值，I'(i‑3+m,j‑3+n)表示R_org中坐标位置为(i‑3+m,j‑3+n)的像素点的亮度值，B(m,n)表示5×5的低通滤波器中坐标位置为(m,n)处的值，T^t'(i,j)表示R_org中坐标位置为(i,j)的像素点对应的纹理阈值，T^t'(i,j)＝α'(i,j)×G'(i,j)+β'(i,j)，${\alpha }^{\prime }(i,j)=0.0001\times \overline{I^{\prime }(i,j)}+0.115,$G'(i,j)表示R_org中坐标位置为(i,j)的像素点分别通过水平方向、垂直方向、45°方向和135°方向的高通滤波器滤波后得到的四个值中的最大值，C为加权系数，min()为取最小值函数；④将L_org与L_dis的差值图D_l分成RGB三个通道的图像，并将L_org与L_dis的差值图D_l的第u个通道的图像记为D_{l_u}；将R_org与R_dis的差值图D_r分成RGB三个通道的图像，并将R_org与R_dis的差值图D_r的第u个通道的图像记为D_{r_u}；将L_org的视觉阈值图分成RGB三个通道的图像，并将L_org的视觉阈值图的第u个通道的图像记为将R_org的视觉阈值图分成RGB三个通道的图像，并将R_org的视觉阈值图的第u个通道的图像记为其中，u＝1,2,3,u＝1表示R通道，u＝2表示G通道，u＝3表示B通道；⑤将D_l的RGB三个通道的图像、D_r的RGB三个通道的图像、的RGB三个通道的图像、的RGB三个通道的图像分别分割成个互不重叠的尺寸大小为8×8的图像块，然后对D_l的RGB三个通道的图像、D_r的RGB三个通道的图像、的RGB三个通道的图像、的RGB三个通道的图像中的每个图像块进行奇异值分解，得到每个图像块各自对应的奇异值矩阵，将D_l的第u个通道的图像D_{l_u}中的第k个图像块的奇异值矩阵记为S_{l_u_k},将D_r的第u个通道的图像D_{r_u}中的第k个图像块的奇异值矩阵记为S_{r_u_k}，将的第u个通道的图像中的第k个图像块的奇异值矩阵记为将的第u个通道的图像中的第k个图像块的奇异值矩阵记为其中，为向下取整符号,⑥计算D_l的每个通道的图像中的每个图像块与的对应通道的图像中的对应图像块之间的奇异值距离，将D_l的第u个通道的图像D_{l_u}中的第k个图像块与的第u个通道的图像中的第k个图像块之间的奇异值距离记为$d_{u,k}^l=\sqrt{\underset{x=1}{\overset{8}{\Sigma }}\underset{y=1}{\overset{8}{\Sigma }}{(w\times (S_{l\_u\_k}(x,y)-S_{\mathrm{org}\_u\_k}^l(x,y)))}^2},$然后计算L_dis的每个通道的全局失真程度值，将L_dis的第u个通道的全局失真程度值记为Q_l,u，其中，w表示失真判断值，w＝1时表示D_l的第u个通道的图像D_{l_u}中的第k个图像块中坐标位置为(x,y)的像素点失真，w＝0时表示D_l的第u个通道的图像D_{l_u}中的第k个图像块中坐标位置为(x,y)的像素点不失真，S_{l_u_k}(x,y)表示S_{l_u_k}中坐标位置为(x,y)处的奇异值，表示中坐标位置为(x,y)处的奇异值，“||”为取绝对值符号，D_{median_l,u}表示D_l的第u个通道的图像中的所有图像块与的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值；⑦计算D_r的每个通道的图像中的每个图像块与的对应通道的图像中的对应图像块之间的奇异值距离，将D_r的第u个通道的图像D_{r_u}中的第k个图像块与的第u个通道的图像中的第k个图像块之间的奇异值距离记为$d_{u,k}^r=\sqrt{\underset{x=1}{\overset{8}{\Sigma }}\underset{y=1}{\overset{8}{\Sigma }}{(w\times (S_{r\_u\_k}(x,y)-S_{\mathrm{org}\_u\_k}^r(x,y)))}^2},$然后计算R_dis的每个通道的全局失真程度值，将R_dis的第u个通道的全局失真程度值记为Q_r,u，其中，w表示失真判断值，w＝1时表示D_r的第u个通道的图像D_{r_u}中的第k个图像块中坐标位置为(x,y)的像素点失真，w＝0时表示D_r的第u个通道的图像D_{r_u}中的第k个图像块中坐标位置为(x,y)的像素点不失真，S_{r_u_k}(x,y)表示S_{r_u_k}中坐标位置为(x,y)处的奇异值，表示中坐标位置为(x,y)处的奇异值，“||”为取绝对值符号，D_{median_r,u}表示D_r的第u个通道的图像中的所有图像块与的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值；⑧根据L_dis的每个通道的全局失真程度值和R_dis的每个通道的全局失真程度值，计算S_dis相对于S_org的客观评价尺度度量，记为Q_s，其中，b_u表示第u个通道的权重值，w_l表示在一种失真类型下左视点图像质量在立体图像质量中所占的权重，w_r表示在同一种失真类型下右视点图像质量在立体图像质量中所占的权重，w_l+w_r＝1；⑨获取R_org的背景亮度图像和边缘强度图像，分别记为bg_org和eh_org；然后根据R_org的背景亮度图像bg_org和边缘强度图像eh_org，以R_org为参考图像，获取L_org的全局双目恰可觉察失真阈值图，记为将L_org的全局双目恰可觉察失真阈值图中坐标位置为(i,j)的像素点的全局双目恰可觉察失真阈值记为${\mathrm{BJND}}_{\mathrm{org}}^l(i,j)=T_{C,\lim }(i,j^{\prime })\times {(1-{\left(\frac{n_r(i,j^{\prime })}{T_{C,\lim }(i,j^{\prime })}\right)}^{\lambda })}^{1/\lambda },$其中，j'＝j+d(i,j)，d(i,j)表示L_org中坐标位置为(i,j)的像素点相对于R_org中坐标位置为(i,j)的像素点的水平视差值，L_org中坐标位置为(i,j')的像素点为通过坐标位置为(i,j)的像素点在水平方向上向右移动d(i,j)个像素点获得，T_C,lim(i,j')表示L_org中坐标位置为(i,j')的像素点的对比度掩蔽效应的最大失真阈值，T_C,lim(i,j')＝T_C(bg_org(i,j'))+K(bg_org(i,j'))×eh_org(i,j')，T_C(bg_org(i,j'))表示右视点图像在给定bg_org(i,j')的情况下引发感知差异的最小噪声幅值，K(bg_org(i,j'))表示依据主观实验结果建立的增大因子拟合函数，K(bg_org(i,j'))＝‑10^(‑6)×(0.7×bg_org(i,j')²+32×bg_org(i,j'))+0.07，bg_org(i,j')表示bg_org中坐标位置为(i,j')的像素点的像素值，eh_org(i,j')表示eh_org中坐标位置为(i,j')的像素点的像素值，n_r(i,j')表示R_org中坐标位置为(i,j')的像素点上的噪声幅值，λ为控制主观亮度掩蔽对实验结果影响的参数；⑩将DD分成RGB三个通道的图像，并将DD的第u个通道的图像记为DD_u；将分成RGB三个通道的图像，并将的第u个通道的图像记为其中，u＝1,2,3,u＝1表示R通道，u＝2表示G通道，u＝3表示B通道；将DD的RGB三个通道的图像、的RGB三个通道的图像分别分割成个互不重叠的尺寸大小为8×8的图像块，然后对DD的RGB三个通道的图像、的RGB三个通道的图像中的每个图像块进行奇异值分解，得到每个图像块各自对应的奇异值矩阵，将DD的第u个通道的图像DD_u中的第k个图像块的奇异值矩阵记为S_{DD_u_k},将的第u个通道的图像中的第k个图像块的奇异值矩阵记为其中，为向下取整符号,计算DD的每个通道的图像中的每个图像块与的对应通道的图像中的对应图像块之间的奇异值距离，将DD的第u个通道的图像DD_u中的第k个图像块与的第u个通道的图像中的第k个图像块之间的奇异值距离记为$d_{u,k}^{\mathrm{DD}}=\sqrt{\underset{x=1}{\overset{8}{\Sigma }}\underset{y=1}{\overset{8}{\Sigma }}{(w^{\prime }\times (S_{\mathrm{DD}\_u\_k}(x,y)-S_{\mathrm{org}\_u\_k}^l(x,y)))}^2},$然后计算S_dis相对于S_org的立体感知评价度量，记为Q_d，$Q_d=\underset{u=1}{\overset{3}{\Sigma }}{b}_u\times \left(\frac{1}{K}\underset{k=1}{\overset{K}{\Sigma }}\right|d_{u,k}^{\mathrm{DD}}-D_{\mathrm{median}\_\mathrm{DD},u}\left|\right),$其中，w'表示失真判断值，w'＝1时表示DD的第u个通道的图像DD_u中的第k个图像块中坐标位置为(x,y)的像素点失真，w'＝0时表示DD的第u个通道的图像DD_u中的第k个图像块中坐标位置为(x,y)的像素点不失真，S_{DD_u_k}(x,y)表示S_{DD_u_k}中坐标位置为(x,y)处的奇异值，表示中坐标位置为(x,y)处的奇异值，“||”为取绝对值符号，b_u表示第u个通道的权重值，D_{median_DD,u}表示DD的第u个通道的图像DD_u中的所有图像块与的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值；根据S_dis相对于S_org的客观评价尺度度量Q_s和S_dis相对于S_org的立体感知评价度量Q_d，计算S_dis的总体质量评价客观值，记为Q，Q＝W_type×Q_s+(1‑W_type)×Q_d，其中，W_type表示在同一种失真类型下Q_s的权重值。