一种立体图像视觉舒适度评价方法

摘要

本发明公开了一种立体图像视觉舒适度评价方法，其首先通过提取右视点图像的图像显著图和右视差图像的深度显著图，得到右视点图像的立体显著图，然后根据立体显著图加权提取出视差幅度、视差梯度和空间频率特征，得到立体图像的特征矢量，再利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练，最后利用训练得到的支持向量回归训练模型对立体图像集合中的每幅立体图像进行测试，得到每幅立体图像的客观视觉舒适度评价预测值，优点是获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的视觉舒适度变化情况，从而有效地提高了客观评价结果与主观感知的相关性。

主权项

1.一种立体图像视觉舒适度评价方法，其特征在于包括以下步骤：①将待评价的立体图像的左视点图像记为{I_L(x,y)}，将待评价的立体图像的右视点图像记为{I_R(x,y)}，将待评价的立体图像的右视差图像记为{d_R(x,y)}，其中，此处(x,y)表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的宽度，H表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_R(x,y)表示{d_R(x,y)}中坐标位置为(x,y)的像素点的像素值；②采用多个不同尺度对{I_R(x,y)}进行分块处理，然后获取{I_R(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{I_R(x,y)}在不同尺度下的每个子块的特征矢量，获取{I_R(x,y)}在不同尺度下的每个子块的显著值，进而获得{I_R(x,y)}在不同尺度下的图像显著图，最后将{I_R(x,y)}在不同尺度下的图像显著图进行融合，得到{I_R(x,y)}的最终的图像显著图，记为{SM_img(x,y)}，其中，SM_img(x,y)表示{SM_img(x,y)}中坐标位置为(x,y)的像素点的像素值；③采用多个不同尺度对{d_R(x,y)}进行分块处理，然后获取{d_R(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{d_R(x,y)}在不同尺度下的每个子块的特征矢量，获取{d_R(x,y)}在不同尺度下的每个子块的显著值，进而获得{d_R(x,y)}在不同尺度下的深度显著图，最后将{d_R(x,y)}在不同尺度下的深度显著图进行融合，得到{d_R(x,y)}的最终的深度显著图，记为{SM_dep(x,y)}，其中，SM_dep(x,y)表示{SM_dep(x,y)}中坐标位置为(x,y)的像素点的像素值；④根据{I_R(x,y)}的图像显著图{SM_img(x,y)}和{d_R(x,y)}的深度显著图{SM_dep(x,y)}，获取{I_R(x,y)}的立体显著图，记为{SM_3D(x,y)}，将{SM_3D(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM_3D(x,y)，其中，表示SM_img(x,y)的权重，表示SM_dep(x,y)的权重，⑤根据{d_R(x,y)}和{SM_3D(x,y)}，计算{d_R(x,y)}中立体显著图加权的视差幅值和视差梯度，对应记为ξ₁和ξ₂；并根据{I_R(x,y)}和{SM_3D(x,y)}，计算{I_R(x,y)}中立体显著图加权的空间频率，记为ξ₃；然后将ξ₁、ξ₂和ξ₃按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X=[ξ₁,ξ₂,ξ₃]，其中，此处符号“[]”为矢量表示符号；⑥采用n副各不相同的立体图像以及每幅立体图像对应的右视差图像建立一个立体图像集合，其中，n≥1；然后利用主观质量评价方法分别获取立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值，将立体图像集合中的第i幅立体图像的视觉舒适度的平均主观评分均值记为MOS_i，其中，1≤i≤n，MOS_i∈[1,5]；再按照步骤①至步骤⑤获取待评价的立体图像的特征矢量X的操作，以相同的方式分别获取立体图像集合中的每幅立体图像的特征矢量，将立体图像集合中的第i幅立体图像的特征矢量记为X_i；⑦将立体图像集合中的所有立体图像分成训练集和测试集，将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，训练得到最优的权重矢量w^opt和最优的偏置项b^opt，接着利用w^opt和b^opt构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k′幅立体图像的客观视觉舒适度评价预测值记为Q_k′，Q_k′=f(X_k′)，其中，1≤k′≤K′，K′表示测试样本数据集合中包含的立体图像的幅数，f()为函数表示形式，X_k′表示测试样本数据集合中的第k′幅立体图像的特征矢量，(w^opt)^T为w^opt的转置矢量，表示X_k′的线性函数；之后通过重新分配训练集和测试集，重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，经过N次迭代后计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。