一种立体图像显著图提取方法

摘要

本发明公开了一种立体图像显著图提取方法，其包括训练阶段和测试阶段两个过程，在训练阶段，提取多幅立体图像各自的右视点图像中的每个区域的对比度、深度和纹理特征矢量，并分别构造基于不同核函数的弱分类器，再通过AdaBoosting模型构造使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小的强分类器；在测试阶段，计算测试立体图像的右视点图像中的每个区域的对比度、深度和纹理特征矢量，并利用已训练得到的强分类器来预测测试立体图像的右视点图像中的每个区域的三维视觉显著值，从而得到测试立体图像的立体显著图；优点是所训练得到的强分类器较好地反映了不同特征和不同核对显著的影响，从而有效地提高了三维视觉显著值的预测准确性。

主权项

一种立体图像显著图提取方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：①‑1、将选取的N副各不相同的立体图像以及每幅立体图像的右视差图像和右视点图像的真实眼动图构成一个集合，记为{L_i,R_i,d_i,F_i|1≤i≤N}，其中，N≥1，L_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的左视点图像，R_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的右视点图像，d_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的右视差图像，F_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的右视点图像的真实眼动图；①‑2、采用超像素分割技术将{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像分割成M个互不重叠的区域，将R_i中的第h个区域记为SP_i,h，其中，M≥1，1≤h≤M；①‑3、计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量，将SP_i,h的对比度特征矢量记为其中，的维数为6，符号“[]”为矢量表示符号，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离，表示SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离，表示SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离，表示SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离，R_i中的背景区域是指R_i中位于最左边、最右边、最上边、最下边的区域，SP_i,h的相邻区域是指R_i中与SP_i,h左相邻、右相邻、上相邻、下相邻的区域；①‑4、计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的深度特征矢量，将SP_i,h的深度特征矢量记为其中，的维数为3，符号“[]”为矢量表示符号，表示SP_i,h中的所有像素点的视差幅值的均值，表示SP_i,h中的所有像素点的视差幅值与R_i中的背景区域中的所有像素点的视差幅值的距离，表示SP_i,h中的所有像素点的视差幅值与SP_i,h的相邻区域中的所有像素点的视差幅值的距离；①‑5、计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域中的所有像素点的LBP特征统计直方图，将以矢量形式表示的LBP特征统计直方图作为对应区域的纹理特征矢量，将SP_i,h的纹理特征矢量记为其中，的维数为59；①‑6、按{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的M个互不重叠的区域，将{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图对应分割成M个互不重叠的区域；然后计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图中的每个区域的平均眼动值；接着按平均眼动值的大小对{L_i,R_i,d_i,F_i|1≤i≤N}中的所有N副立体图像的右视点图像的真实眼动图中的M×N个区域进行排序；之后从排序后的M×N个区域中取平均眼动值最高的20％区域，并将{L_i,R_i,d_i,F_i|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为正样本区域，同时从排序后的M×N个区域中取平均眼动值最低的40％区域，并将{L_i,R_i,d_i,F_i|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为负样本区域；再将所有正样本区域的特征矢量集的集合作为{L_i,R_i,d_i,F_i|1≤i≤N}的正样本集合，记为并将所有负样本区域的特征矢量集的集合作为{L_i,R_i,d_i,F_i|1≤i≤N}的负样本集合，记为最后将和$\left\{S_k^{-}\right|1\le k\le T_2\}$构成初始的样本训练集，记为$\left\{S_r^{\pm }\right|1\le r\le T\},$$\left\{S_r^{\pm }\right\}=\{S_j^{+},S_k^{-}\};$其中，表示第j个正样本区域的特征矢量集，表示第j个正样本区域的对比度特征矢量，表示第j个正样本区域的深度特征矢量，表示第j个正样本区域的纹理特征矢量，L_j表示第j个正样本区域的标签值，L_j＝+1，T₁表示正样本区域的总个数，T₁＝0.2×M×N，表示第k个负样本区域的特征矢量集，表示第k个负样本区域的对比度特征矢量，表示第k个负样本区域的深度特征矢量，表示第k个负样本区域的纹理特征矢量，L_k'表示第k个负样本区域的标签值，L_k'＝‑1，T₂表示负样本区域的总个数，T₂＝0.4×M×N，表示中的第r个样本，为正样本或为负样本，若中的标签值为+1，则为正样本，若中的标签值为‑1，则为负样本，T＝0.6×M×N，T＝T₁+T₂；①‑7、采用AdaBoosting模型作为机器学习的方法，对中的所有正样本和所有负样本进行训练，使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小，得到中的每个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，将中的任意一个样本的第m个弱分类器的回归函数的最优的权重矢量和最优的偏置项及权重系数对应记为和及然后根据中的任意一个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，构造一个强分类器，将根据的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数构造的强分类器记为φ(r)，$\phi \left(r\right)=\underset{m=1}{\overset{L}{\Sigma }}{\beta }_m^{opt}\left({\left(w_m^{opt}\right)}^T{k}_m\right(r)+b_m^{opt});$其中，1≤m≤L，L表示$\left\{S_r^{\pm }\right|1\le r\le T\}$中的任意一个样本的弱分类器的总个数，L＝N_f×N_k，N_f表示中的任意一个样本中的特征矢量的总个数，N_f＝3，N_k表示中的任意一个样本的任意一个弱分类器的回归函数的核的总个数，N_k≥2，为的转置矢量，k_m(r)表示的第m个弱分类器的回归函数的核函数；所述的测试阶段过程的具体步骤如下：②‑1、对于任意一副测试立体图像S_test，将S_test的左视点图像、右视点图像、右视差图像对应记为L_test、R_test、d_test；然后采用超像素分割技术将R_test分割成M'个互不重叠的区域，将R_test中的第h个区域记为SP_h'，其中，M'≥1，1≤h≤M'；②‑2、按照步骤①‑3至步骤①‑5的过程，以相同的操作方式获取R_test中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量；然后将R_test中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量构成的集合作为输入样本；再计算R_test中的每个区域对应的输入样本的每个弱分类器的回归函数的核函数，将SP_h'对应的输入样本的第m个弱分类器的回归函数的核函数记为k_m(h)；②‑3、根据训练阶段构造的强分类器φ(r)，获取R_test中的每个区域的三维视觉显著值，将SP_h'的三维视觉显著值记为S_3D,h，S_3D,h＝φ(h)，再将R_test中的每个区域的三维视觉显著值作为对应区域中的所有像素点的显著值，对于SP_h'，将SP_h'的三维视觉显著值作为SP_h'中的所有像素点的显著值，从而得到S_test的立体显著图，记为{S_3D(x',y')}，其中，(x',y')表示S_test中的像素点的坐标位置，1≤x'≤W',1≤y'≤H'，W'和H'对应表示S_test的宽度和高度，S_3D(x',y')表示{S_3D(x',y')}中坐标位置为(x',y')的像素点的像素值，S_3D(x',y')亦表示R_test中坐标位置为(x',y')的像素点的显著值。