一种基于矩阵分解的立体图像客观质量评价方法

摘要

本发明公开了一种基于矩阵分解的立体图像客观质量评价方法，其从结构失真的角度出发，有效地利用了奇异值稳定，能较好地表征立体图像的结构信息的特性，利用了海赛矩阵能较好地表征图像的纹理或凹凸特性，利用了奇异值能较好地表征绝对差值图的结构信息特性，以及充分地考虑了人眼对区域的敏感度，融合了立体图像画质质量以及深度感知质量，从而有效地提高了立体图像客观质量评价结果与主观感知之间的相关性，并准确衡量了立体图像的失真程度，为立体系统中的各种编码方法、绘制方法、错误隐藏方法等提供了性能优劣的评判准则。

主权项

一种基于矩阵分解的立体图像客观质量评价方法，其特征在于包括以下步骤：①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为L_org，将S_org的右视点图像记为R_org，将S_dis的左视点图像记为L_dis，将S_dis的右视点图像记为R_dis；②将L_org、R_org、L_dis和R_dis4幅图像分别分割成(W‑3)×(H‑3)个尺寸大小为4×4的相互重叠的图像块；然后对L_org、R_org、L_dis和R_dis4幅图像中的每个图像块实施海赛矩阵分解，得到L_org、R_org、L_dis和R_dis4幅图像中的每个图像块对应的用于表示图像块凹凸特性的海赛系数矩阵，将L_org中坐标位置为(x,y)的图像块实施海赛矩阵分解后得到的海赛系数矩阵记为将R_org中坐标位置为(x,y)的图像块实施海赛矩阵分解后得到的海赛系数矩阵记为将L_dis中坐标位置为(x,y)的图像块实施海赛矩阵分解后得到的海赛系数矩阵记为将R_dis中坐标位置为(x,y)的图像块实施海赛矩阵分解后得到的海赛系数矩阵记为再对L_org、R_org、L_dis和R_dis 4幅图像中的每个图像块对应的海赛系数矩阵实施奇异值矩阵分解，得到L_org、R_org、L_dis和R_dis 4幅图像中的每个图像块对应的海赛系数矩阵对应的奇异值系数矩阵，将实施奇异值矩阵分解后得到的奇异值系数矩阵记为将实施奇异值矩阵分解后得到的奇异值系数矩阵记为将实施奇异值矩阵分解后得到的奇异值系数矩阵记为将实施奇异值矩阵分解后得到的奇异值系数矩阵记为其中，W表示L_org、R_org、L_dis和R_dis的宽度，H表示L_org、R_org、L_dis和R_dis的高度，0<x≤W‑3，0<y≤H‑3；③根据L_org和L_dis中的每个图像块对应的海赛系数矩阵对应的奇异值系数矩阵，计算L_org和L_dis中所有坐标位置相同的两个图像块之间的结构失真程度值，将L_org和L_dis中左上角坐标位置均为(x,y)的两个图像块之间的结构失真程度值记为其中，0<x≤W‑3，0<y≤H‑3，表示内坐标位置为(i,j)处的奇异值系数，表示内坐标位置为(i,j)处的奇异值系数，0≤i ≤3，0≤j ≤3；根据R_org和R_dis中的每个图像块对应的海赛系数矩阵对应的奇异值系数矩阵，计算R_org和R_dis中所有坐标位置相同的两个图像块之间的结构失真程度值，将R_org和R_dis中左上角坐标位置均为(x,y)的两个图像块之间的结构失真程度值记为其中，0<x≤W‑3，0<y≤H‑3，表示内坐标位置为(i,j)处的奇异值系数，表示内坐标位置为(i,j)处的奇异值系数，0≤i ≤3，0≤j ≤3；④对L_org实施区域划分，得到L_org对应的区域划分系数矩阵，记为Z^L，将Z^L中坐标位置为(p,q)处的区域划分系数记为Z^L(p,q)，如果L_org中坐标位置为(p,q)的像素点属于非边缘区域，则Z^L(p,q)=0，如果L_org中坐标位置为(p,q)的像素点属于边缘区域，则Z^L(p,q)=1，其中，0<p≤W，0<q≤H；对R_org实施区域划分，得到R_org对应的区域划分系数矩阵，记为Z^R，将Z^R中坐标位置为(p,q)处的区域划分系数记为Z^R(p,q)，如果R_org中坐标位置为(p,q)的像素点属于非边缘区域，则Z^R(p,q)=0，如果R_org中坐标位置为(p,q)的像素点属于边缘区域，则Z^R(p,q)=1，其中，0<p≤W，0<q≤H；⑤将Z^L划分成(W‑3)×(H‑3)个均包含有4×4个区域划分系数的相互重叠的单元矩阵，将Z^L中坐标位置为(x,y)的单元矩阵记为其中，0<x≤W‑3，0<y≤H‑3；然后根据L_org和L_dis中所有坐标位置相同的两个图像块之间的结构失真程度值和Z^L中的所有单元矩阵，计算L_org和L_dis之间的左视点图像质量评价指标，记为Q^L，Q^L＝ω×Q^e,L+(1‑ω)×Q^n，L，其中，ω表示Q^e，L的权值，表示内坐标位置为(i,j)处的区域划分系数；将Z^R划分成(W‑3)×(H‑3)个均包含有4×4个区域划分系数的相互重叠的单元矩阵，将Z^R中坐标位置为(x,y)的单元矩阵记为其中，0<x≤W‑3，0<y≤H‑3；然后根据R_org和R_dis中所有坐标位置相同的两个图像块之间的结构失真程度值和Z^R中的所有单元矩阵，计算R_org和R_dis之间的右视点图像质量评价指标，记为Q^R，Q^R＝ω'×Q^e,R+（1‑ω'）×Q^n，R，其中，ω'表示Q^e，R的权值，表示内坐标位置为(i,j)处的区域划分系数；⑥根据Q^L和Q^R，计算待评价的失真的立体图像S_dis相对于原始的无失真的立体图像S_org的左右视点图像质量评价指标，记为Q_s，Q_s=ω_l×Q^L+(1‑ω_l)×Q^R，其中，ω_l表示Q^L的权值；⑦计算L_org与R_org的绝对差值图像，记为D^org，LR，D^org，LR=|R_org‑L_org|，计算L_dis与R_dis的绝对差值图像，记为D^dis，LR，D^dis,LR=|R_dis‑L_dis|，其中，“||”为取绝对值符号；⑧对D^org，LR和D^dis，LR分别实施区域划分，得到D^org，LR和D^dis，LR对应的区域划分系数矩阵，记为Z^LR，将Z^LR中坐标位置为(p,q)处的区域划分系数记为Z^LR(p,q)，如果D^org，LR和D^dis，LR中坐标位置均为(p,q)的像素点均属于非边缘区域，则Z^LR(p,q)=0，如果D^org，LR和D^dis,LR中坐标位置均为(p,q)的像素点均属于边缘区域，则Z^LR(p,q)=1，其中，0<p≤W，0<q≤H；⑨将D^org，LR和D^dis,LR分别分割成(W‑3)×(H‑3)个尺寸大小为4×4的相互重叠的图像块，然后对D^org，LR和D^dis,LR中的每个图像块实施特征值分解，得到D^org，LR和D^dis,LR中每个图像块的特征值矩阵和特征向量矩阵，将D^org，LR中坐标位置为(x,y)的图像块实施特征值分解后得到的特征值矩阵和特征向量矩阵分别记为和将D^dis，LR中坐标位置为(x,y)的图像块实施特征值分解后得到的特征值矩阵和特征向量矩阵分别记为和其中，0<x≤W‑3，0<y≤H‑3；⑩计算D^org，LR和D^dis,LR中所有坐标位置相同的两个图像块的特征值失真指标和特征向量失真指标，将D^org，LR和D^dis,LR中坐标位置均为(x,y)的两个图像块的特征值失真指标和特征向量失真指标分别记为和$F_{x,y}^{\mathrm{LR}}=\sqrt{\underset{i=0}{\overset{3}{\Sigma }}\underset{j=0}{\overset{3}{\Sigma }}{(E_{x,y}^{\mathrm{org},\mathrm{LR}}(i,j)-E_{x,y}^{\mathrm{dis},\mathrm{LR}}(i,j))}^2},$$K_{x,y}^{\mathrm{LR}}=1-\frac{1}{4}\underset{i=0}{\overset{3}{\Sigma }}\frac{\underset{j=0}{\overset{3}{\Sigma }}(V_{x,y}^{\mathrm{org},\mathrm{LR}}(i,j)\times V_{x,y}^{\mathrm{dis},\mathrm{LR}}(i,j))}{\sqrt{\underset{j=0}{\overset{3}{\Sigma }}{\left(V_{x,y}^{\mathrm{org},\mathrm{LR}}(i,j)\right)}^2}\times \sqrt{\underset{j=0}{\overset{3}{\Sigma }}{\left(V_{x,y}^{\mathrm{dis},\mathrm{LR}}(i,j)\right)}^2}},$其中，表示内坐标位置为(i,j)处的特征值，表示内坐标位置为(i,j)处的特征向量，表示内坐标位置为(i,j)处的特征值，表示内坐标位置为(i,j)处的特征向量；将Z^LR划分成(W‑3)×(H‑3)个均包含有4×4个区域划分系数的相互重叠的单元矩阵，将Z^LR中坐标位置为(x,y)的单元矩阵记为其中，0<x≤W‑3，0<y≤H‑3；然后根据D^org，LR和D^dis,LR中所有坐标位置相同的两个图像块的特征值失真指标和特征向量失真指标及Z^LR中的所有单元矩阵，计算待评价的失真的立体图像S_dis相对于原始的无失真的立体图像S_org的立体感知评价度量，记为Q_d，其中，表示内坐标位置为(i,j)处的区域划分系数；根据待评价的失真的立体图像S_dis相对于原始的无失真的立体图像S_org的左右视点图像质量评价指标Q_s和立体感知评价度量Q_d，计算待评价的失真的立体图像S_dis的图像质量评价分值，记为Q，Q=Q_s×(Q_d)^‑λ，其中，λ为常数，且λ>0。