一种立体图像视觉舒适度评价方法

摘要

本发明公开了一种立体图像视觉舒适度评价方法，其首先通过提取右视点图像的图像显著图和右视差图像的深度显著图，得到右视点图像的立体显著图，然后根据立体显著图加权提取出视差幅度、视差梯度和空间频率特征，得到立体图像的特征矢量，再利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练，最后利用训练得到的支持向量回归训练模型对立体图像集合中的每幅立体图像进行测试，得到每幅立体图像的客观视觉舒适度评价预测值，优点是获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的视觉舒适度变化情况，从而有效地提高了客观评价结果与主观感知的相关性。

主权项

一种立体图像视觉舒适度评价方法，其特征在于包括以下步骤：①将待评价的立体图像的左视点图像记为{I_L(x,y)}，将待评价的立体图像的右视点图像记为{I_R(x,y)}，将待评价的立体图像的右视差图像记为{d_R(x,y)}，其中，此处(x,y)表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的宽度，H表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_R(x,y)表示{d_R(x,y)}中坐标位置为(x,y)的像素点的像素值；②采用多个不同尺度对{I_R(x,y)}进行分块处理，然后获取{I_R(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{I_R(x,y)}在不同尺度下的每个子块的特征矢量，获取{I_R(x,y)}在不同尺度下的每个子块的显著值，进而获得{I_R(x,y)}在不同尺度下的图像显著图，最后将{I_R(x,y)}在不同尺度下的图像显著图进行融合，得到{I_R(x,y)}的最终的图像显著图，记为{SM_img(x,y)}，其中，SM_img(x,y)表示{SM_img(x,y)}中坐标位置为(x,y)的像素点的像素值；所述的步骤②的具体过程为：②‑1、采用J个不同尺度对{I_R(x,y)}进行分块处理，在第j个尺度h_j下将{I_R(x,y)}划分成个互不重叠的尺寸大小为h_j×h_j的子块，其中，1≤j≤J，2≤J≤5，符号为向下取整符号；②‑2、将{I_R(x,y)}在第j个尺度h_j下当前待处理的第l个子块定义为当前第一子块，其中，②‑3、将当前第一子块记为{f_j,l(x₂,y₂)}，其中，(x₂,y₂)表示当前第一子块{f_j,l(x₂,y₂)}中的像素点的坐标位置，1≤x₂≤h_j,1≤y₂≤h_j，f_j,l(x₂,y₂)表示当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的像素值；②‑4、获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的水平梯度值和垂直梯度值，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的红‑绿颜色分量及蓝‑黄颜色分量，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点经Log‑Gabor滤波后得到的振幅；②‑5、根据步骤②‑4获取的当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的多个图像感知特征，以及当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的坐标位置，获取当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的特征矢量，将当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的特征矢量记为$X_{j,l}^f(x_2,y_2),$$\begin{array}{c}{X}_{j,l}^f(x_2,y_2)=\\ [{\mathrm{GX}}^f(x_2,y_2),{\mathrm{GY}}^f(x_2,y_2),L(x_2,y_2),a(x_2,y_2),b(x_2,y_2),\mathrm{\Delta RG}(x_2,y_2),\mathrm{\Delta BY}(x_2,y_2),\mathrm{LG}(x_2,y_2),x_2,y_2]\end{array}$，其中，符号“[]”为矢量表示符号，的维数为10，GX^f(x₂,y₂)和GY^f(x₂,y₂)对应为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的水平梯度值和垂直梯度值，L(x₂,y₂)、a(x₂,y₂)及b(x₂,y₂)对应为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值，ΔRG(x₂,y₂)和ΔBY(x₂,y₂)对应为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的红‑绿颜色分量和蓝‑黄颜色分量，LG(x₂,y₂)为当前第一子块{f_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点经Log‑Gabor滤波后得到的振幅；②‑6、根据当前第一子块{f_j,l(x₂,y₂)}中的每个像素点的特征矢量，计算当前第一子块{f_j,l(x₂,y₂)}的协方差矩阵，记为$C_{j,l}^f,$$C_{j,l}^f=\frac{1}{h_j\times h_j-1}\underset{x_2=1}{\overset{h_j}{\Sigma }}\underset{y_2=1}{\overset{h_j}{\Sigma }}(X_{j,l}^f(x_2,y_2)-{\mu }_{j,l}^f){(X_{j,l}^f(x_2,y_2)-{\mu }_{j,l}^f)}^T,$其中，表示当前第一子块{f_j,l(x₂,y₂)}中的所有像素点的特征矢量的均值矢量，为的转置矢量，的维数为10×10；②‑7、对当前第一子块{f_j,l(x₂,y₂)}的协方差矩阵进行Cholesky分解，得到当前第一子块{f_j,l(x₂,y₂)}的Sigma特征集，记为$S_{j,l}^f=[\sqrt{10}\times L^{\left(1\right)},...,\sqrt{10}\times L^{\left(i^{\prime }\right)},...,\sqrt{10}\times L^{\left(10\right)},-\sqrt{10}{\times L}^{\left(1\right)},...,-\sqrt{10}\times L^{\left(i^{\prime }\right)},...,-\sqrt{10}\times L^{\left(10\right)},{\mu }_{j,l}^f],$其中，L^T为L的转置矩阵，此处1≤i'≤10，L⁽¹⁾表示L的第1列向量，L^(i')表示L的第i'列向量，L⁽¹⁰⁾表示L的第10列向量，的维数为10×21；②‑8、计算当前第一子块{f_j,l(x₂,y₂)}的显著值，记为${\mathrm{SM}}_{j,l}^f=\frac{\underset{l^{\prime }\in N\left(l\right)}{\Sigma }k(y_{j,l^{\prime }}^f,y_{j,\min }^f)·y_{j,l^{\prime }}^f}{\underset{l^{\prime }\in N\left(l\right)}{\Sigma }k(y_{j,l^{\prime }}^f,y_{j,\min }^f)},$其中，N(l)表示以当前第一子块{f_j,l(x₂,y₂)}为中心的邻域窗口，表示当前第一子块{f_j,l(x₂,y₂)}的Sigma特征集与相邻的第l'个子块的Sigma特征集之间的欧式距离，符号“||||”为求欧式距离符号，此处x_l表示当前第一子块{f_j,l(x₂,y₂)}的中心像素点的坐标位置，此处x_l'表示与当前第一子块{f_j,l(x₂,y₂)}相邻的第l'个子块的中心像素点的坐标位置，表示N(l)内的所有子块的Sigma特征集与当前第一子块{f_j,l(x₂,y₂)}的Sigma特征集之间的欧氏距离中的最小值，h为控制系数；②‑9、根据人眼的中心偏移特性，计算当前第一子块{f_j,l(x₂,y₂)}的最终的显著值，记为其中，符号“||||”为求欧式距离符号，x_c表示{I_R(x,y)}的中心像素点的坐标位置，Z为控制系数；②‑10、将当前第一子块{f_j,l(x₂,y₂)}的最终的显著值作为当前第一子块{f_j,l(x₂,y₂)}中的所有像素点的显著值，然后令l＝l+1，将{I_R(x,y)}在第j个尺度h_j下下一个待处理的子块作为当前第一子块，再返回步骤②‑3继续执行，直至{I_R(x,y)}在第j个尺度h_j下的所有子块均处理完毕，得到在第j个尺度h_j下{I_R(x,y)}的图像显著图，记为其中，l＝l+1中的“＝”为赋值符号，表示中坐标位置为(x,y)的像素点的像素值；②‑11、令j＝j+1，然后返回步骤②‑2继续执行，直至得到{I_R(x,y)}在J个不同尺度下的图像显著图，再将{I_R(x,y)}在J个不同尺度下的图像显著图进行融合，得到{I_R(x,y)}的最终的图像显著图，记为{SM_img(x,y)}，将{SM_img(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM_img(x,y)，其中，j＝j+1中“＝”为赋值符号，“*”为卷积操作符号，G_σ(x,y)表示标准差为σ的高斯函数；③采用多个不同尺度对{d_R(x,y)}进行分块处理，然后获取{d_R(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{d_R(x,y)}在不同尺度下的每个子块的特征矢量，获取{d_R(x,y)}在不同尺度下的每个子块的显著值，进而获得{d_R(x,y)}在不同尺度下的深度显著图，最后将{d_R(x,y)}在不同尺度下的深度显著图进行融合，得到{d_R(x,y)}的最终的深度显著图，记为{SM_dep(x,y)}，其中，SM_dep(x,y)表示{SM_dep(x,y)}中坐标位置为(x,y)的像素点的像素值；所述的步骤③的具体过程为：③‑1、采用J个不同尺度对{d_R(x,y)}进行分块处理，在第j个尺度h_j下将{d_R(x,y)}划分成个互不重叠的尺寸大小为h_j×h_j的子块，其中，1≤j≤J，2≤J≤5，符号为向下取整符号；③‑2、将{d_R(x,y)}在第j个尺度h_j下当前待处理的第l个子块定义为当前第二子块，其中，③‑3、将当前第二子块记为{g_j,l(x₂,y₂)}，其中，(x₂,y₂)表示当前第二子块{g_j,l(x₂,y₂)}中的像素点的坐标位置，1≤x₂≤h_j,1≤y₂≤h_j，g_j,l(x₂,y₂)表示当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的像素值；③‑4、获取当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的像素值、水平梯度值和垂直梯度值，获取当前第二子块{g_j,l(x₂,y₂)}中的每个像素点经高斯差分算子后得到的响应值；③‑5、根据步骤③‑4获取的当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的多个深度感知特征，获取当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的特征矢量，将当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的特征矢量记为$X_{j,l}^g(x_2,y_2)=[d_R(x_2,y_2),{\mathrm{GX}}^g(x_2,y_2),{\mathrm{GY}}^g(x_2,y_2),\mathrm{DoG}(x_2,y_2)],$其中，符号“[]”为矢量表示符号，的维数为4，d_R(x₂,y₂)为当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的像素值，GX^g(x₂,y₂)和GY^g(x₂,y₂)对应为当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点的水平梯度值和垂直梯度值，DoG(x₂,y₂)为当前第二子块{g_j,l(x₂,y₂)}中坐标位置为(x₂,y₂)的像素点经高斯差分算子后得到的响应值；③‑6、根据当前第二子块{g_j,l(x₂,y₂)}中的每个像素点的特征矢量，计算当前第二子块{g_j,l(x₂,y₂)}的协方差矩阵，记为$C_{j,l}^g,$$C_{j,l}^g=\frac{1}{h_j\times h_j-1}\underset{x_2=1}{\overset{h_j}{\Sigma }}\underset{y_2=1}{\overset{h_j}{\Sigma }}(X_{j,l}^g(x_2,y_2)-{\mu }_{j,l}^g){(X_{j,l}^g(x_2,y_2)-{\mu }_{j,l}^g)}^T,$其中，表示当前第二子块{g_j,l(x₂,y₂)}中的所有像素点的特征矢量的均值矢量，为的转置矢量，的维数为4×4；③‑7、对当前第二子块{g_j,l(x₂,y₂)}的协方差矩阵进行Cholesky分解，得到当前第二子块{g_j,l(x₂,y₂)}的Sigma特征集，记为$S_{j,l}^g=[\sqrt{4}\times L^{\prime \left(1\right)},...,\sqrt{4}\times L^{\prime \left(i^{\prime }\right)},...,\sqrt{4}\times L^{\prime \left(4\right)},-\sqrt{4}{\times L}^{\prime \left(1\right)},...,-\sqrt{4}\times L^{\prime \left(i^{\prime }\right)},...,-\sqrt{4}\times L^{\prime \left(4\right)},{\mu }_{j,l}^g],$其中，L'^T为L'的转置矩阵，此处1≤i'≤4，L'⁽¹⁾表示L'的第1列向量，L'^(i')表示L'的第i'列向量，L'⁽⁴⁾表示L'的第4列向量，的维数为4×9；③‑8、计算当前第二子块{g_j,l(x₂,y₂)}的显著值，记为${\mathrm{SM}}_{j,l}^g,$${\mathrm{SM}}_{j,l}^g=\frac{\underset{l^{\prime }\in N^{\prime }\left(l\right)}{\Sigma }k(y_{j,l^{\prime }}^g,y_{j,\min }^g)·y_{j,l^{\prime }}^g}{\underset{l^{\prime }\in N^{\prime }\left(l\right)}{\Sigma }k(y_{j,l^{\prime }}^g,y_{j,\min }^g)},$其中，N'(l)表示以当前第二子块{g_j,l(x₂,y₂)}为中心的邻域窗口，表示当前第二子块{g_j,l(x₂,y₂)}的Sigma特征集与相邻的第l'个子块的Sigma特征集之间的欧式距离，符号“||||”为求欧式距离符号，此处x_l表示当前第二子块{g_j,l(x₂,y₂)}的中心像素点的坐标位置，此处x_l'表示与当前第二子块{g_j,l(x₂,y₂)}相邻的第l'个子块的中心像素点的坐标位置，表示N'(l)内的所有子块的Sigma特征集与当前第二子块{g_j,l(x₂,y₂)}的Sigma特征集之间的欧氏距离中的最小值，h为控制系数；③‑9、将当前第二子块{g_j,l(x₂,y₂)}的显著值作为当前第二子块{g_j,l(x₂,y₂)}中的所有像素点的显著值，然后令l＝l+1，将{d_R(x,y)}在第j个尺度h_j下下一个待处理的子块作为当前第二子块，再返回步骤③‑3继续执行，直至{d_R(x,y)}在第j个尺度h_j下的所有子块均处理完毕，得到在第j个尺度h_j下{d_R(x,y)}的深度显著图，记为其中，l＝l+1中的“＝”为赋值符号，表示中坐标位置为(x,y)的像素点的像素值；③‑10、令j＝j+1，然后返回步骤③‑2继续执行，直至得到{d_R(x,y)}在J个不同尺度下的深度显著图，再将{d_R(x,y)}在J个不同尺度下的深度显著图进行融合，得到{d_R(x,y)}的最终的深度显著图，记为{SM_dep(x,y)}，将{SM_dep(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM_dep(x,y)，其中，j＝j+1中“＝”为赋值符号，“*”为卷积操作符号，G_σ(x,y)表示标准差为σ的高斯函数；④根据{I_R(x,y)}的图像显著图{SM_img(x,y)}和{d_R(x,y)}的深度显著图{SM_dep(x,y)}，获取{I_R(x,y)}的立体显著图，记为{SM_3D(x,y)}，将{SM_3D(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM_3D(x,y)，其中，表示SM_img(x,y)的权重，表示SM_dep(x,y)的权重，⑤根据{d_R(x,y)}和{SM_3D(x,y)}，计算{d_R(x,y)}中立体显著图加权的视差幅值和视差梯度，对应记为ξ₁和ξ₂；并根据{I_R(x,y)}和{SM_3D(x,y)}，计算{I_R(x,y)}中立体显著图加权的空间频率，记为ξ₃；然后将ξ₁、ξ₂和ξ₃按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X＝[ξ₁,ξ₂,ξ₃]，其中，此处符号“[]”为矢量表示符号；所述的步骤⑤的具体过程为：⑤‑1、根据{d_R(x,y)}和{SM_3D(x,y)}，计算{d_R(x,y)}中立体显著图加权的视差幅值，记为ξ₁，其中，符号“||”为取绝对值符号；⑤‑2、根据{d_R(x,y)}和{SM_3D(x,y)}，计算{d_R(x,y)}中立体显著图加权的视差梯度，记为ξ₂，${\xi }_2\text{=}\frac{\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}{\mathrm{SM}}_{3D}(x,y)·\left|\Delta d_R(x,y)\right|}{\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}{\mathrm{SM}}_{3D}(x,y)},$Δd_R(x,y)＝(d_R(x+1,y)+d_R(x‑1,y)+d_R(x,y+1)+d_R(x,y‑1))/4‑d_R(x,y)，其中，符号“||”为取绝对值符号，d_R(x+1,y)表示{d_R(x,y)}中坐标位置为(x+1,y)的像素点的像素值，d_R(x‑1,y)表示{d_R(x,y)}中坐标位置为(x‑1,y)的像素点的像素值，d_R(x,y+1)表示{d_R(x,y)}中坐标位置为(x,y+1)的像素点的像素值，d_R(x,y‑1)表示{d_R(x,y)}中坐标位置为(x,y‑1)的像素点的像素值，如果x+1>W，则d_R(x+1,y)的值由d_R(W,y)的值替代，如果x‑1<1，则d_R(x‑1,y)的值由d_R(1,y)的值替代，如果y+1>H，则d_R(x,y+1)的值由d_R(x,H)的值替代，如果y‑1<1，则d_R(x,y‑1)的值由d_R(x,1)的值替代；⑤‑3、根据{I_R(x,y)}和{SM_3D(x,y)}，计算{I_R(x,y)}中立体显著图加权的空间频率，记为ξ₃，${\xi }_3\text{=}\frac{\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}{\mathrm{SM}}_{3D}(x,y)·c(x,y)}{\underset{x=1}{\overset{W}{\Sigma }}\underset{y=1}{\overset{H}{\Sigma }}{\mathrm{SM}}_{3D}(x,y)},$$c(x,y)=\sqrt{{(I_R(x,y)-I_R(x-1,y))}^2+{(I_R(x,y)-I_R(x,y-1))}^2},$其中，I_R(x‑1,y)表示{I_R(x,y)}中坐标位置为(x‑1,y)的像素点的像素值，I_R(x,y‑1)表示{I_R(x,y)}中坐标位置为(x,y‑1)的像素点的像素值，如果x‑1<1，则I_R(x‑1,y)的值由I_R(1,y)的值替代，如果y‑1<1，则I_R(x,y‑1)的值由I_R(x,1)的值替代；⑤‑4、将ξ₁、ξ₂和ξ₃按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X＝[ξ₁,ξ₂,ξ₃]，其中，此处符号“[]”为矢量表示符号，X的维数为3；⑥采用n副各不相同的立体图像以及每幅立体图像对应的右视差图像建立一个立体图像集合，其中，n≥1；然后利用主观质量评价方法分别获取立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值，将立体图像集合中的第i幅立体图像的视觉舒适度的平均主观评分均值记为MOS_i，其中，1≤i≤n，MOS_i∈[1,5]；再按照步骤①至步骤⑤获取待评价的立体图像的特征矢量X的操作，以相同的方式分别获取立体图像集合中的每幅立体图像的特征矢量，将立体图像集合中的第i幅立体图像的特征矢量记为X_i；⑦将立体图像集合中的所有立体图像分成训练集和测试集，将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，训练得到最优的权重矢量w^opt和最优的偏置项b^opt，接着利用w^opt和b^opt构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Q_k'，其中，1≤k'≤K'，K'表示测试样本数据集合中包含的立体图像的幅数，f()为函数表示形式，X_k'表示测试样本数据集合中的第k'幅立体图像的特征矢量，(w^opt)^T为w^opt的转置矢量，表示X_k'的线性函数；之后通过重新分配训练集和测试集，重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，经过N次迭代后计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。