一种基于机器学的立体图像视觉舒适度评价方法

摘要

本发明公开了一种基于机器学的立体图像视觉舒适度评价方法，其首先通过右视点图像的显著图和右视差图像提取出立体图像的视觉重要区域掩膜，然后利用视觉重要区域掩膜提取出用于反映视差幅度特征、视差梯度特征的特征矢量及用于反映空间频率特征的特征矢量，得到立体图像的特征矢量，再利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练，最后利用训练得到的支持向量回归训练模型对立体图像集合中的每幅立体图像进行测试，得到每幅立体图像的视觉舒适度评价预测值，优点是获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的视觉舒适度变化情况，从而有效地提高了客观评价情况与主观感知的相关性。

主权项

一种基于机器学习的立体图像视觉舒适度评价方法，其特征在于包括以下步骤：①将待评价的立体图像的左视点图像记为{I_L(x,y)}，将待评价的立体图像的右视点图像记为{I_R(x,y)}，将待评价的立体图像的右视差图像记为{d_R(x,y)}，其中，此处(x,y)表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的宽度，H表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_R(x,y)表示{d_R(x,y)}中坐标位置为(x,y)的像素点的像素值；②提取出{I_R(x,y)}的显著图；然后根据{I_R(x,y)}的显著图和{d_R(x,y)}，获取{I_R(x,y)}的视觉显著图；再将{I_R(x,y)}的视觉显著图划分为视觉重要区域和非视觉重要区域；最后根据{I_R(x,y)}的视觉显著图的视觉重要区域和非视觉重要区域，获取待评价的立体图像的视觉重要区域掩膜，记为{M(x,y)}，其中，M(x,y)表示{M(x,y)}中坐标位置为(x,y)的像素点的像素值；③根据{d_R(x,y)}和{M(x,y)}，获取{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的视差均值μ、视差方差δ、最大负视差视差范围χ，的值为{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1％像素点的视差均值，χ＝d_max‑d_min，d_max表示{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最大的1％像素点的视差均值，d_min表示{d_R(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1％像素点的视差均值，然后将μ、δ、和χ按顺序进行排列构成用于反映{d_R(x,y)}的视差幅度特征的特征矢量，记为F₁，④通过计算{d_R(x,y)}的视差梯度幅值图像和视差梯度方向图像，计算{d_R(x,y)}的视差梯度边缘图像；然后根据{d_R(x,y)}的视差梯度边缘图像和{M(x,y)}，计算{d_R(x,y)}的视差梯度边缘图像中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的梯度均值ψ；最后将ψ作为用于反映{d_R(x,y)}的视差梯度特征的特征矢量，记为F₂；⑤获取{I_R(x,y)}的空间频率图像；然后根据{I_R(x,y)}的空间频率图像和{M(x,y)}，获取{I_R(x,y)}的空间频率图像中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率均值ν、空间频率方差ρ、空间频率范围空间频率敏感因子τ；再将ν、ρ、和τ按顺序进行排列构成用于反映{I_R(x,y)}的空间频率特征的特征矢量，记为F₃，所述的步骤⑤的具体过程为：⑤‑1、计算{I_R(x,y)}的空间频率图像，记为{SF(x,y)}，将{SF(x,y)}中坐标位置为(x,y)的像素点的空间频率值记为SF(x,y)，$\mathrm{SF}(x,y)=\sqrt{{\left(\mathrm{HF}(x,y)\right)}^2+{\left(\mathrm{VF}(x,y)\right)}^2+{\left(\mathrm{DF}(x,y)\right)}^2},$其中，HF(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的水平方向频率值，$\mathrm{HF}(x,y)=\sqrt{\frac{\underset{m=-1}{\overset{1}{\Sigma }}\underset{n=0}{\overset{1}{\Sigma }}{(I_R(x+m,y+n)-I_R(x+m,y+n-1))}^2}{3\times 2}},$VF(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的垂直方向频率值，$\mathrm{VF}(x,y)=\sqrt{\frac{\underset{m=0}{\overset{1}{\Sigma }}\underset{n=-1}{\overset{1}{\Sigma }}{(I_R(x+m,y+n)-I_R(x+m-1,y+n))}^2}{2\times 3}},$DF(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的对角方向频率值，$\mathrm{DF}(x,y)=\sqrt{\frac{\underset{m=0}{\overset{1}{\Sigma }}\underset{n=0}{\overset{1}{\Sigma }}{(I_R(x+m,y+n)-I_R(x+m-1,y+n-1))}^2}{2\times 2}}+\sqrt{\frac{\underset{m=-1}{\overset{0}{\Sigma }}\underset{n=0}{\overset{1}{\Sigma }}{(I_R(x+m,y+n)-I_R(x+m+1,y+n-1))}^2}{2\times 2}},$I_R(x+m,y+n)表示{I_R(x,y)}中坐标位置为(x+m,y+n)的像素点的像素值，I_R(x+m,y+n‑1)表示{I_R(x,y)}中坐标位置为(x+m,y+n‑1)的像素点的像素值，I_R(x+m‑1,y+n)表示{I_R(x,y)}中坐标位置为(x+m‑1,y+n)的像素点的像素值，I_R(x+m‑1,y+n‑1)表示{I_R(x,y)}中坐标位置为(x+m‑1,y+n‑1)的像素点的像素值，I_R(x+m+1,y+n‑1)表示{I_R(x,y)}中坐标位置为(x+m+1,y+n‑1)的像素点的像素值，如果x+m＜1，则I_R(x+m,y+n)的值由I_R(1,y+n)的值替代，I_R(x+m,y+n‑1)的值由I_R(1,y+n‑1)的值替代；如果x+m‑1＜1，则I_R(x+m‑1,y+n)的值由I_R(1,y+n)的值替代，I_R(x+m‑1,y+n‑1)的值由I_R(1,y+n‑1)的值替代；如果x+m＞W，则I_R(x+m,y+n)的值由I_R(W,y+n)的值替代，I_R(x+m,y+n‑1)的值由I_R(W,y+n‑1)的值替代；如果x+m+1＞W，则I_R(x+m+1,y+n‑1)的值由I_R(W,y+n‑1)的值替代；如果y+n＜1，则I_R(x+m,y+n)的值由I_R(x+m,1)的值替代，I_R(x+m‑1,y+n)的值由I_R(x+m‑1,1)的值替代；如果y+n‑1＜1，则I_R(x+m,y+n‑1)的值由I_R(x+m,1)的值替代，I_R(x+m‑1,y+n‑1)的值由I_R(x+m‑1,1)的值替代，I_R(x+m+1,y+n‑1)的值由I_R(x+m+1,1)的值替代；如果y+n＞H，则I_R(x+m,y+n)的值由I_R(x+m,H)的值替代，I_R(x+m‑1,y+n)的值由I_R(x+m‑1,H)的值替代；⑤‑2、根据{SF(x,y)}和{M(x,y)}，计算{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的空间频率均值，记为ν，$v=\frac{\underset{(x,y)\in \Omega }{\Sigma }\mathrm{SF}(x,y)\times M(x,y)}{\underset{(x,y)\in \Omega }{\Sigma }M(x,y)},$其中，Ω表示图像域范围；⑤‑3、根据{SF(x,y)}和{M(x,y)}及ν，计算{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的空间频率方差，记为ρ，$\rho =\frac{\underset{(x,y)\in \Omega }{\Sigma }{(\mathrm{SF}(x,y)-v)}^2\times M(x,y)}{\underset{(x,y)\in \Omega }{\Sigma }M(x,y)};$⑤‑4、计算{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率范围，记为其中，SF_max表示{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内空间频率值最大的1％像素点的空间频率均值，SF_min表示{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内空间频率值最小的1％像素点的空间频率均值；⑤‑5、计算{SF(x,y)}中与{I_R(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率敏感因子，记为τ，τ＝ν/μ；⑤‑6、将ν、ρ、和τ按顺序进行排列构成用于反映{I_R(x,y)}的空间频率特征的特征矢量，记为F₃，F₃的维数为4；⑥将F₁、F₂及F₃构成一个新的特征矢量，记为X，X＝[F₁,F₂,F₃]，然后将X作为待评价的立体图像的特征矢量，其中，符号“[]”为矢量表示符号，[F₁,F₂,F₃]表示将F₁、F₂和F₃连接起来形成一个新的特征矢量；⑦采用n副不同的立体图像以及对应的右视差图像建立立体图像集合，利用主观质量评价方法分别计算立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值，记为MOS，其中，n≥1，MOS∈[1,5]；然后按照步骤①至步骤⑥计算待评价的立体图像的特征矢量X的操作，以相同的方式分别计算立体图像集合中的每幅立体图像的特征矢量，将立体图像集合中的第i幅立体图像的特征矢量记为X_i，其中，1≤i≤n，n表示立体图像集合中包含的立体图像的幅数；⑧将立体图像集合中的所有立体图像分成训练集和测试集，将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，拟合得到最优的权重矢量w^opt和最优的偏置项b^opt，接着利用w^opt和b^opt构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Q_k'，Q_k'＝f(X_k')，其中，f()为函数表示形式，X_k'表示测试样本数据集合中的第k'幅立体图像的特征矢量，(w^opt)^T为w^opt的转置矩阵，表示测试样本数据集合中的第k'幅立体图像的线性函数，1≤k'≤n‑t，t表示训练集中包含的立体图像的幅数；之后通过重新分配训练集和测试集，重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，经过N次迭代后计算立体图像中的每幅立体图像的客观视觉舒适度评价预测值的平均值，并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度预测值，其中，N的值取大于100。