一种立体图像显著图提取方法

摘要

本发明公开了一种立体图像显著图提取方法，其在训练阶段，提取多幅训练立体图像的右视点图像中的每个区域的对比度特征矢量、通用特征矢量和背景先验特征矢量，并融合得到每幅立体图像的右视点图像中的每个区域的用于反映视觉显著性的特征矢量，建立特征矢量与平均眼动值之间的随机森林回归训练模型；在测试阶段，计算测试立体图像的右视点图像中的每个区域的用于反映视觉显著性的特征矢量，并根据已训练得到的随机森林回归训练模型，预测得到测试立体图像的三维显著图；优点是所提取的特征能够较好地反映各种因素的显著变化情况，从而有效地提高了视觉显著值的预测准确性。

主权项

一种立体图像显著图提取方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段的具体步骤如下：①‑1、将选取的N副各不相同的立体图像以及每幅立体图像的右视差图像构成一个集合，记为{L_i,R_i,d_i|1≤i≤N}，其中，N≥1，L_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的左视点图像，R_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的右视点图像，d_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的右视差图像；①‑2、采用超像素分割技术将{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像分割成M个互不重叠的区域，将R_i中的第h个区域记为SP_i,h，其中，M≥1，1≤h≤M；①‑3、计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量，将R_i中的第h个区域SP_i,h的对比度特征矢量记为其中，的维数为36，此处符号“[]”为矢量表示符号，d_i,h表示SP_i,h的第一特征矢量u_i,h与相邻区域的第一特征矢量的距离，f_i,h的维数为20，f_i,h表示SP_i,h中的所有像素点的频率响应特征矢量的均值，c_i,h的维数为9，c_i,h表示SP_i,h中的所有像素点的颜色特征矢量的均值，表示SP_i,h的视差幅值的均值，表示SP_i,h中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS 颜色空间的S分量的颜色直方图与SP_i,h的相邻区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，表示SP_i,h中的所有像素点的LBP特征统计直方图与SP_i,h的相邻区域中的所有像素点的LBP特征统计直方图的距离，表示SP_i,h中的所有像素点的视差统计直方图与SP_i,h的相邻区域中的所有像素点的视差统计直方图的距离，此处的相邻区域是指R_i中与SP_i,h相邻的区域；①‑4、计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的通用特征矢量，将R_i中的第h个区域SP_i,h的通用特征矢量记为其中，的维数为33，此处符号“[]”为矢量表示符号，的维数为20，表示SP_i,h中的所有像素点的频率响应特征矢量的方差，的维数为9，表示SP_i,h中的所有像素点的颜色特征矢量的方差，表示SP_i,h的视差幅值的方差，x_i,h的维数为2，x_i,h表示SP_i,h的中心像素点的坐标位置，s_i,h表示SP_i,h的面积；①‑5、计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的背景先验特征矢量，将R_i中的第h个区域SP_i,h的背景先验特征矢量记为其中，的维数为36，此处符号“[]”为矢量表示符号，e_i,h表示SP_i,h的第一特征矢量u_i,h与背景区域的第一特征矢量的距离，f_i,h的维数为20，f_i,h表示SP_i,h中的所有像素点的频率响应特征矢量的均值，c_i,h的维数为9，c_i,h表示SP_i,h中的所有像素点的颜色特征矢量的均值，表示SP_i,h的视差幅值的均值，表示SP_i,h中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图与R_i中的背景区域中的所有像素点在RGB颜色空间的R分量、G分量和B分量的颜色直方图的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量、a分量和b分量的颜色直方图与R_i中的背景区域中的所有像素点在CIELAB 颜色空间的L分量、a分量和b分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS颜色空间的H分量的颜色直方图与R_i中的背景区域中的所有像素点在HVS颜色空间的H分量的颜色直方图的距离，表示SP_i,h中的所有像素点在HVS颜色空间的S分量的颜色直方图与R_i中的背景区域中的所有像素点在HVS颜色空间的S分量的颜色直方图的距离，表示SP_i,h中的所有像素点的LBP特征统计直方图与R_i中的背景区域中的所有像素点的LBP特征统计直方图的距离，表示SP_i,h中的所有像素点的视差统计直方图与R_i中的背景区域中的所有像素点的视差统计直方图的距离，此处的背景区域是指R_i中位于最左边、最右边、最上边、最下边的区域；①‑6、将{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量、通用特征矢量和背景先验特征矢量按顺序进行排列，构成{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的用于反映视觉显著性的特征矢量，将R_i中的第h个区域SP_i,h的用于反映视觉显著性的特征矢量记为X_i,h，其中，X_i,h的维数为105，此处符号“[]”为矢量表示符号；①‑7、采用随机森林回归，对{L_i,R_i,d_i|1≤i≤N}中的所有立体图像的右视点图像中的所有区域的用于反映视觉显著性的特征矢量进行训练，并使得经过训练得到的回归函数值与平均眼动值之间的误差最小，得到最优的随机森林回归训练模型，记为f(D_inp)，其中，f()为函数表示形式，D_inp表示随机森林回归训练模型的输入矢量；所述的测试阶段的具体步骤如下：②‑1、对于任意一副测试立体图像S_test，将S_test的左视点图像、右视点图像、右视差图像对应记为L_test、R_test、d_test；然后采用超像素分割技术将R_test分割成M个互不重叠的区域，将R_test中的第h个区域记为SP_h'；其中，M≥1，1≤h≤M；②‑2、按照步骤①‑3至步骤①‑6的过程，以相同的操作方式获取R_test中的每个区域 的用于反映视觉显著性的特征矢量，将R_test中的第h个区域SP_h'的用于反映视觉显著性的特征矢量记为F_test,h；然后根据训练阶段得到的最优的随机森林回归训练模型f(D_inp)，将F_test,h作为最优的随机森林回归训练模型的输入矢量，获取R_test中的每个区域的三维视觉显著值，将R_test中的第h个区域SP_h'的三维视觉显著值记为S_3D,h，S_3D,h＝f(F_test,h)；再将R_test中的每个区域的三维视觉显著值作为对应区域中的所有像素点的显著值，从而得到R_test的三维显著图，记为{S_3D(x,y)}，其中，此处(x,y)表示S_test中的像素点的坐标位置，1≤x≤W,1≤y≤H，W和H对应表示S_test的宽度和高度，S_3D(x,y)表示{S_3D(x,y)}中坐标位置为(x,y)的像素点的像素值。