基于深度变分模型的空间显著性区域提取方法

摘要

本发明属于计算机视觉领域，涉及基于深度变分模型的空间显著性区域提取方法。首先，对相机进行校正，选取图像中关键帧图像序列，运用离散空间采样法获取初始深度图，构造变分模式下深度估计模型的能量函数；然后，借助于原始对偶算法求解能量函数，实现深度模型优化；利用显著性滤波器算法对优化后的深度图进行显著性区域粗提取，进一步利用改进脉冲耦合神经网络对显著性区域进行优化，实现深度显著性区域准确提取；最后对三维显著性区域进行重建。本发明基于特定视角下不同坐标系间关联性，以及摄像机透视投影变换关系，使得该能量函数模型蕴含了多视成像约束，降低了算法模型求解的计算复杂度，提高了深度图估计质量。

主权项

基于深度变分模型的空间显著性区域提取方法，其特征在于包括以下步骤： 步骤1，进行相机校正； 在世界坐标系中，相机位姿T_cw可以表示为如下矩阵： T_cw＝[R_cw,t_cw]         (1) 式中，下标cw表示从世界坐标系到当前相机坐标系，T_cw∈SE(3)，且SE(3)：＝{[R，t]|R∈SO(3)，t∈R³}。t_cw、R_cw由六元组ξ＝(μ₁，μ₂，μ₃，μ₄，μ₅，μ₆)表示，即： 式中，μ₁，μ₂，μ₃为相机在世界坐标系下的坐标，μ₄，μ₅，μ₆分别为世界坐标系下相机沿x,y,z方向上的旋转向量，ξ的数学表达式如下： 相机的位姿T_cw建立了相机坐标系下点P_c到世界坐标系下点P_w的变换关系，即： P_c＝T_cwP_w         (4) 在相机坐标系下，三维空间点到像平面上的投影定义为： π(p)＝K(x/z,y/z,1)^T      (5) 式中，P∈R³的三维空间点，x,y,z为该点的坐标值，K为相机的内参矩阵，f_u,f_v为相机焦距，u₀,v₀为像平面中心坐标；根据当前坐标的深度值d，利用逆向投影法确定当前空间三维点坐标p，其坐标关系表示为： 式中，为u的齐次表达式；采用FOV模型实现对单目相机的矫正，其数学描述如下： r_u＝||x_u|| 式中，x_u为像素归一化坐标，u_d为畸变后像素坐标，ω为畸变系数，r_d,r_u分别为矫正前后归一化坐标到坐标系中心的距离； 利用上述相机模型，将图像像素坐标映射到归一化坐标平面，同时结合相机内参数矩阵K，实现图像畸变矫正，即： u＝Kx_n        (9) 步骤2，基于变分模型的深度图的建立与求解； 步骤3，显著性粗提取； 原图像经显著性滤波器算法处理，获得初始显著性图OSM和亮度特征图IFM； 步骤4，显著性精细提取； 步骤5，显著性区域三维重建； 将提取的显著性区域范围反投影到深度图，获取显著性区域的深度图，结合相机投影模型实现当前环境下三维显著性区域的重建。