一种基于机器学的无参考立体图像质量客观评价方法

摘要

本发明公开了一种基于机器学的无参考立体图像质量客观评价方法，其通过在训练阶段构造视觉字典表，对于任意一幅失真立体图像的左视点图像和右视点图像，根据已构造的视觉字典表，计算左视点图像和右视点图像各自中的每个子块的稀疏系数矩阵，并通过最大池化方法得到左视点图像和右视点图像各自的特征矢量，特征提取简单，计算复杂度低；通过构造左视点图像和右视点图像的支持向量回归训练模型，预测得到测试样本数据集合中的每个特征矢量对应的左视点图像和右视点图像各自的客观质量评价预测值，并根据特征矢量信息进行加权，得到立体图像的客观质量评价预测值，客观评价结果与主观感知之间的相关性高。

主权项

一种基于机器学习的无参考立体图像质量客观评价方法，其特征在于包括以下步骤：①选取N幅原始的无失真立体图像的左视点图像构成训练图像集，记为{L_i,org|1≤i≤N}，其中，N≥1，L_i,org表示{L_i,org|1≤i≤N}中的第i幅图像；②利用高斯差分滤波器对{L_i,org|1≤i≤N}中的每幅图像实施高斯差分滤波，得到{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像；③对{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像进行非重叠的分块处理；然后采用K‑SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作，获得每个尺度下的目标训练字典；再将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表，构造得到{L_i,org|1≤i≤N}的视觉字典表，记为D，D＝{D^j|1≤j≤S}，其中，j的初始值为1，S表示高斯差分滤波器的尺度个数，D^j表示第j个尺度下的目标训练字典，D^j亦表示第j个尺度下的N幅滤波图像的视觉字典表，D^j亦表示D中的第j个视觉字典；④将待评价的失真立体图像的左视点图像记为{I_L(x,y)}，将待评价的立体图像的右视点图像记为{I_R(x,y)}，其中，此处(x,y)表示{I_L(x,y)}和{I_R(x,y)}中的像素点的坐标位置，1≤x≤W'，1≤y≤H'，W'表示待评价的失真立体图像的宽度，H'表示待评价的失真立体图像的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值；⑤利用高斯差分滤波器对{I_L(x,y)}实施高斯差分滤波，得到{I_L(x,y)}在不同尺度下的滤波图像；然后对{I_L(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理；接着根据{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵；再采用最大池化方法，获取{I_L(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵；最后根据{I_L(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵，获得{I_L(x,y)}的特征矢量，记为F_L，其中，j的初始值为1，S表示高斯差分滤波器的尺度个数，在此M'表示{I_L(x,y)}在每个尺度下的滤波图像中包含的子块的总个数，表示由{I_L(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t'个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵；同样，利用高斯差分滤波器对{I_R(x,y)}实施高斯差分滤波，得到{I_R(x,y)}在不同尺度下的滤波图像；然后对{I_R(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理；接着根据{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵；再采用最大池化方法，获取{I_R(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵；最后根据{I_R(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵，获得{I_R(x,y)}的特征矢量，记为F_R，其中，在此M'表示{I_R(x,y)}在每个尺度下的滤波图像中包含的子块的总个数，表示由{I_R(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t'个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵；⑥采用n幅失真立体图像建立失真立体图像集合，利用主观质量评价方法获取失真立体图像集合中的每幅失真立体图像的平均主观评分差值，记为DMOS，DMOS＝100‑MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1；然后按照步骤⑤中计算待评价的失真立体图像的左视点图像的特征矢量F_L和右视点图像的特征矢量F_R的操作，以相同的方式计算失真立体图像集合中的每幅立体图像的左视点图像和右视点图像各自的特征矢量，将失真立体图像集合中的第i幅立体图像的左视点图像的特征矢量和右视点图像的特征矢量对应记为F_i,L和F_i,R，其中，1≤i≤n，n表示失真立体图像集合中包含的失真立体图像的幅数；⑦随机选择失真立体图像集合中的m幅失真立体图像构成训练集，将失真立体图像集合中剩余的n‑m幅失真立体图像构成测试集；接着将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合；然后采用支持向量回归作为机器学习的方法，对左视点训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造左视点图像的支持向量回归训练模型，记为f_L(F_inp)，其中，f_L( )为函数表示形式，在此F_inp表示左视点图像的支持向量回归训练模型的输入矢量，为的转置矩阵，表示左视点图像的支持向量回归训练模型的输入矢量F_inp的线性函数；同样，将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合；然后采用支持向量回归作为机器学习的方法，对右视点训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造右视点图像的支持向量回归训练模型，记为f_R(F_inp)，其中，f_R( )为函数表示形式，在此F_inp表示右视点图像的支持向量回归训练模型的输入矢量，为的转置矩阵，表示右视点图像的支持向量回归训练模型的输入矢量F_inp的线性函数；⑧将测试集中的所有失真立体图像各自的左视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成左视点测试样本数据集合；然后根据左视点图像的支持向量回归训练模型，对左视点测试样本数据集合中的每个特征矢量进行测试，预测得到左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值，将左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值记为Q_L,q，Q_L,q＝f_L(F_L,q)，其中，1≤q≤n‑m，m表示训练集中包含的失真立体图像的幅数，F_L,q表示左视点测试样本数据集合中的第q个特征矢量，表示左视点测试样本数据集合中的第q个特征矢量的线性函数；同样，将测试集中的所有失真立体图像各自的右视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成右视点测试样本数据集合；然后根据右视点图像的支持向量回归训练模型，对右视点测试样本数据集合中的每个特征矢量进行测试，预测得到右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值，将右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值记为Q_R,q，Q_R,q＝f_R(F_R,q)，其中，F_R,q表示右视点测试样本数据集合中的第q个特征矢量，表示右视点测试样本数据集合中的第q个特征矢量的线性函数；⑨根据左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值和右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值，计算测试集中的每幅失真立体图像的客观质量评价预测值，将测试集中的第q幅失真立体图像的客观质量评价预测值记为Q_q，Q_q＝w_L,q×Q_L,q+w_R,q×Q_R,q，其中，Q_L,q表示左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值，Q_L,q亦表示测试集中的第q幅失真立体图像的左视点图像的客观质量评价预测值，Q_R,q表示右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值，Q_R,q亦表示测试集中的第q幅失真立体图像的右视点图像的客观质量评价预测值，w_L,q表示Q_L,q的权重，w_R,q表示Q_R,q的权重，符号“|| ||₂”为求取矩阵的2‑范数符号，符号“< >”为求内积符号；⑩重复执行步骤⑦至步骤⑨P次，并使失真立体图像集合中的每幅失真立体图像至少有一次属于测试集，经过P次执行后计算失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值，再将失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值作为该幅失真立体图像的最终的客观质量评价预测值，其中，P的取值大于100。