基于字典学和机器学的无参考立体图像质量评价方法

摘要

本发明公开了一种基于字典学和机器学的无参考立体图像质量评价方法，其首先对左、右视点图像实施log-Gabor滤波，得到各自的幅值和相位信息，然后对幅值和相位信息进行局部二值化操作，得到左、右视点图像的局部二值化模式特征图像；其次，采用双目能量模型对左、右视点图像的幅值和相位信息进行融合，得到双目能量信息，并获取双目能量信息的局部二值化模式特征图像；接着，采用协作表示算法，对左、右视点图像和双目能量信息的局部二值化模式特征图像进行字典学，得到双目视觉感知稀疏特征信息，最后获得待评价的失真立体图像的客观质量评价预测值；优点是其能够充分考虑到立体视觉感知特性，能够有效地提高客观评价结果与主观感知之间的相关性。

主权项

一种基于字典学习和机器学习的无参考立体图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段的具体步骤为：①‑1、选取K幅原始的无失真立体图像，将第k幅原始的无失真立体图像的左视点图像和右视点图像对应记为{L_org,k(x,y)}和{R_org,k(x,y)}，其中，K≥1，1≤k≤K，1≤x≤W,1≤y≤H，在此W表示原始的无失真立体图像的宽度，在此H表示原始的无失真立体图像的高度，L_org,k(x,y)表示{L_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org,k(x,y)表示{R_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①‑2、对每幅原始的无失真立体图像的左视点图像实施log‑Gabor滤波，得到每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像，将{L_org,k(x,y)}的幅值图像和相位图像对应记为{G_{L_org,k}(x,y)}和{P_{L_org,k}(x,y)}，其中，G_{L_org,k}(x,y)表示{G_{L_org,k}(x,y)}中坐标位置为(x,y)的像素点的像素值，P_{L_org,k}(x,y)表示{P_{L_org,k}(x,y)}中坐标位置为(x,y)的像素点的像素值；同样，对每幅原始的无失真立体图像的右视点图像实施log‑Gabor滤波，得到每幅原始的无失真立体图像的右视点图像的幅值图像和相位图像，将{R_org,k(x,y)}的幅值图像和相位图像对应记为{G_{R_org,k}(x,y)}和{P_{R_org,k}(x,y)}，其中，G_{R_org,k}(x,y)表示{G_{R_org,k}(x,y)}中坐标位置为(x,y)的像素点的像素值，P_{R_org,k}(x,y)表示{P_{R_org,k}(x,y)}中坐标位置为(x,y)的像素点的像素值；①‑3、采用块匹配方法计算每幅原始的无失真立体图像的左视点图像与右视点图像之间的视差图像，将{L_org,k(x,y)}与{R_org,k(x,y)}之间的视差图像记为{d_org,k(x,y)}，其中，d_org,k(x,y)表示{d_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①‑4、根据每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像、右视点图像的幅值图像和相位图像、左视点图像与右视点图像之间的视差图像，计算每幅原始的无失真立体图像的左右视点特征融合图像，将第k幅原始的无失真立体图像的左右视点特征融合图像记为{F_org,k(x,y)}，其中，F_org,k(x,y)表示{F_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①‑5、采用局部二值化模式操作对每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像、右视点图像的幅值图像和相位图像、左右视点特征融合图像进行处理，得到各自的局部二值化模式特征图像，将{G_{L_org,k}(x,y)}的局部二值化模式特征图像记为{LMP_{L_org,k}(x,y)}，将{P_{L_org,k}(x,y)}的局部二值化模式特征图像记为{LPP_{L_org,k}(x,y)}，将{G_{R_org,k}(x,y)}的局部二值化模式特征图像记为{LMP_{R_org,k}(x,y)}，将{P_{R_org,k}(x,y)}的局部二值化模式特征图像记为{LPP_{R_org,k}(x,y)}，将{F_org,k(x,y)}的局部二值化模式特征图像记为{LEP_{L_R_org,k}(x,y)}，其中，LMP_{L_org,k}(x,y)表示{LMP_{L_org,k}(x,y)}中坐标位置为(x,y)的像素点的像素值，LMP_{L_org,k}(x,y)∈[0,P+1]，LPP_{L_org.k}(x,y)表示{LPP_{L_org,k}(x,y)}中坐标位置为(x,y)的像素点的像素值，LPP_{L_org,k}(x,y)∈[0,P+1]，LMP_{R_org,k}(x,y)表示{LMP_{R_org,k}(x,y)}中坐标位置为(x,y)的像素点的像素值，LMP_{R_org,k}(x,y)∈[0,P+1]，LPP_{R_org,k}(x,y)表示{LPP_{R_org,k}(x,y)}中坐标位置为(x,y)的像素点的像素值，LPP_{R_org,k}(x,y)∈[0,P+1]，LEP_{L_R_org,k}(x,y)表示{LEP_{L_R_org,k}(x,y)}中坐标位置为(x,y)的像素点的像素值，LEP_{L_R_org,k}(x,y)∈[0,P+1]，P表示局部二值化模式操作中的领域参数；①‑6、采用直方图统计方法对每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像、右视点图像的幅值图像和相位图像、左右视点特征融合图像各自的局部二值化模式特征图像进行统计操作，得到各自的直方图统计特征向量，将{G_{L_org,k}(x,y)}的直方图统计特征向量记为H_{L_M_org,k}，将{P_{L_org,k}(x,y)}的直方图统计特征向量记为H_{L_P_org,k}，将{G_{R_org,k}(x,y)}的直方图统计特征向量记为H_{R_M_org,k}，将{P_{R_org,k}(x,y)}的直方图统计特征向量记为H_{R_P_org,k}，将{F_org,k(x,y)}的直方图统计特征向量记为H_{L_R_E_org,k}；然后采用双目竞争算法，对每幅原始的无失真立体图像的左视点图像的幅值图像的直方图统计特征向量和右视点图像的幅值图像的直方图统计特征向量进行融合，得到每幅原始的无失真立体图像的双目竞争幅值特性统计向量，将对H_{L_M_org,k}和H_{R_M_org,k}进行融合后得到的第k幅原始的无失真立体图像的双目竞争幅值特性统计向量记为H_{L_R_M_org,k}；同样，采用双目竞争算法，对每幅原始的无失真立体图像的左视点图像的相位图像的直方图统计特征向量和右视点图像的相位图像的直方图统计特征向量进行融合，得到每幅原始的无失真立体图像的双目竞争相位特性统计向量，将对H_{L_P_org,k}和H_{R_P_org,k}进行融合后得到的第k幅原始的无失真立体图像的双目竞争相位特性统计向量记为H_{L_R_P_org,k}；其中，H_{L_M_org,k}、H_{L_P_org,k}、H_{R_M_org,k}、H_{R_P_org,k}、H_{L_R_E_org,k}的维数均为m'×1维，H_{L_M_org,k}中的第m个元素为H_{L_M_org,k}(m)，H_{L_P_org,k}中的第m个元素为H_{L_P_org,k}(m)，H_{R_M_org,k}中的第m个元素为H_{R_M_org,k}(m)，H_{R_P_org,k}中的第m个元素为H_{R_P_org,k}(m)，H_{L_R_E_org,k}中的第m个元素为H_{L_R_E_org,k}(m)，1≤m≤m'，m'＝P+2，H_{L_R_M_org,k}和H_{L_R_P_org,k}的维数均为m'×1维，H_{L_R_M_org,k}中的第m个元素为H_{L_R_M_org,k}(m)，H_{L_R_P_org,k}中的第m个元素为H_{L_R_P_org,k}(m)；①‑7、将所有原始的无失真立体图像的双目竞争幅值特性统计向量、双目竞争相位特性统计向量、左右视点特征融合图像的直方图统计特征向量组成字典学习特征矩阵，记为H_org，其中，H_org的维数为3m'×K，H_org中第k列的3m'个元素依次为H_{L_R_M_org,k}中的m'个元素、H_{L_R_P_org,k}中的m'个元素、H_{L_R_E_org,k}中的m'个元素；所述的测试阶段的具体步骤为：②‑1、对于任意一幅尺寸大小与步骤①‑1中选取的原始的无失真立体图像的尺寸大小一致的失真立体图像，将该失真立体图像作为待评价的失真立体图像，并记为S_dis，将S_dis的左视点图像和右视点图像对应记为{L_dis(x,y)}和{R_dis(x,y)}，其中，1≤x≤W,1≤y≤H，在此W表示S_dis的宽度，在此H表示S_dis的高度，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；②‑2、对{L_dis(x,y)}和{R_dis(x,y)}两幅图像分别实施log‑Gabor滤波，得到{L_dis(x,y)}和{R_dis(x,y)}各自的幅值图像和相位图像，将{L_dis(x,y)}的幅值图像和相位图像对应记为{G_{L_dis}(x,y)}和{P_{L_dis}(x,y)}，将{R_dis(x,y)}的幅值图像和相位图像对应记为{G_{R_dis}(x,y)}和{P_{R_dis}(x,y)}，其中，G_{L_dis}(x,y)表示{G_{L_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值，P_{L_dis}(x,y)表示{P_{L_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值，G_{R_dis}(x,y)表示{G_{R_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值，P_{R_dis}(x,y)表示{P_{R_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值；②‑3、采用块匹配方法计算{L_dis(x,y)}与{R_dis(x,y)}之间的视差图像，记为{d_dis(x,y)}，其中，d_dis(x,y)表示{d_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；②‑4、根据{G_{L_dis}(x,y)}和{P_{L_dis}(x,y)}、{G_{R_dis}(x,y)}和{P_{R_dis}(x,y)}、{d_dis(x,y)}，计算S_dis的左右视点特征融合图像，记为{F_dis(x,y)}，其中，F_dis(x,y)表示{F_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；②‑5、采用局部二值化模式操作对{G_{L_dis}(x,y)}和{P_{L_dis}(x,y)}、{G_{R_dis}(x,y)}和{P_{R_dis}(x,y)}、{F_dis(x,y)}进行处理，得到{G_{L_dis}(x,y)}和{P_{L_dis}(x,y)}、{G_{R_dis}(x,y)}和{P_{R_dis}(x,y)}、{F_dis(x,y)}各自的局部二值化模式特征图像，对应记为{LMP_{L_dis}(x,y)}、{LPP_{L_dis}(x,y)}、{LMP_{R_dis}(x,y)}、{LPP_{R_dis}(x,y)}、{LEP_{L_R_dis}(x,y)}，其中，LMP_{L_dis}(x,y)表示{LMP_{L_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值，LMP_{L_dis}(x,y)∈[0,P+1]，LPP_{L_dis}(x,y)表示{LPP_{L_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值，LPP_{L_dis}(x,y)∈[0,P+1]，LMP_{R_dis}(x,y)表示{LMP_{R_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值，LMP_{R_dis}(x,y)∈[0,P+1]，LPP_{R_dis}(x,y)表示{LPP_{R_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值，LPP_{R_dis}(x,y)∈[0,P+1]，LEP_{L_R_dis}(x,y)表示{LEP_{L_R_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值，LEP_{L_R_dis}(x,y)∈[0,P+1]，P表示局部二值化模式操作中的领域参数；②‑6、采用直方图统计方法分别对{LMP_{L_dis}(x,y)}、{LPP_{L_dis}(x,y)}、{LMP_{R_dis}(x,y)}、{LPP_{R_dis}(x,y)}、{LEP_{L_R_dis}(x,y)}进行统计操作，得到{G_{L_dis}(x,y)}、{P_{L_dis}(x,y)}、{G_{R_dis}(x,y)}、{P_{R_dis}(x,y)}、{F_dis(x,y)}各自的直方图统计特征向量，对应记为H_{L_M_dis}、H_{L_P_dis}、H_{R_M_dis}、H_{R_P_dis}、H_{L_R_E_dis}；然后采用双目竞争算法，对H_{L_M_dis}和H_{R_M_dis}进行融合，得到S_dis的双目竞争幅值特性统计向量，记为H_{L_R_M_dis}；同样，采用双目竞争算法，对H_{L_P_dis}和H_{R_P_dis}进行融合，得到S_dis的双目竞争相位特性统计向量，记为H_{L_R_P_dis}；其中，H_{L_M_dis}、H_{L_P_dis}、H_{R_M_dis}、H_{R_P_dis}、H_{L_R_E_dis}的维数均为m'×1维，H_{L_M_dis}中的第m个元素为H_{L_M_dis}(m)，H_{L_P_dis}中的第m个元素为H_{L_P_dis}(m)，H_{R_M_dis}中的第m个元素为H_{R_M_dis}(m)，H_{R_P_dis}中的第m个元素为H_{R_P_dis}(m)，H_{L_R_E_dis}中的第m个元素为H_{L_R_E_dis}(m)，1≤m≤m'，m'＝P+2，H_{L_R_M_dis}和H_{L_R_P_dis}的维数均为m'×1维，H_{L_R_M_dis}中的第m个元素为H_{L_R_M_dis}(m)，H_{L_R_P_dis}中的第m个元素为H_{L_R_P_dis}(m)；②‑7、将H_{L_R_M_dis}、H_{L_R_P_dis}、H_{L_R_E_dis}组成S_dis的特征向量，记为H_dis，其中，H_dis的维数为3m'×1；②‑8、根据H_org和H_dis，利用协作表示算法，获取S_dis的双目视觉感知稀疏特征向量，记为X，X＝((H_org)^TH_org+λ×I)^‑1(H_org)^TH_dis，其中，X的维数为K×1，(H_org)^T为H_org的转置矩阵，λ为常数，I为K×K维的单位矩阵；②‑9、采用n”幅宽度为W且高度为H的原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后利用主观质量评价方法评价出训练集中的每幅失真立体图像的平均主观评分值，将训练集中的第j幅失真立体图像的平均主观评分值记为DMOS_j；再按照步骤②‑1至步骤②‑8的操作，以相同的方式获取训练集中的每幅失真立体图像的双目视觉感知稀疏特征向量，将训练集中的第j幅失真立体图像的双目视觉感知稀疏特征向量记为X_j；其中，n”>1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOS_j≤100，X_j的维数为K×1；②‑10、计算S_dis的双目视觉感知稀疏特征向量X与训练集中的每幅失真立体图像的双目视觉感知稀疏特征向量之间的距离，将S_dis的双目视觉感知稀疏特征向量X与训练集中的第j幅失真立体图像的双目视觉感知稀疏特征向量X_j之间的距离记为D_dis,j，D_dis,j＝|X‑X_j|，并将这N'个距离构成的集合记为{D_dis,j|1≤j≤N'}，其中，符号“| |”为取绝对值符号；然后对{D_dis,j|1≤j≤N'}中的所有距离按从小到大的顺序排列，将排列后的集合记为{D'_dis,j|1≤j≤N'}；接着获取{D'_dis,j|1≤j≤N'}中的前K'个距离各自对应的训练集中的失真立体图像的平均主观评分值，并将这K'个平均主观评分值构成的集合记为{DMOS'₁,DMOS'₂,…,DMOS'_K'}，其中，1≤K'≤N'，DMOS'₁,DMOS'₂,…,DMOS'_K'对应表示{D'_dis,j|1≤j≤N'}中的第1个距离对应的训练集中的失真立体图像的平均主观评分值、第2个距离对应的训练集中的失真立体图像的平均主观评分值、…、第K'个距离对应的训练集中的失真立体图像的平均主观评分值；②‑11、计算S_dis的客观质量评价预测值，记为Q_dis，其中，D'_dis,k'表示{D'_dis,j|1≤j≤N'}中的第k'个距离，DMOS'_k'表示D'_dis,k'对应的训练集中的失真立体图像的平均主观评分值。