基于轮廓锐度的单目图像深度信息估计方法

摘要

本发明提出一种基于轮廓锐度的单目图像深度信息估计方法，该方法应用边缘轮廓锐度作为模糊信息估计特征、通过低层次线索信息进行深度信息提取。首先对图像进行边缘检测；接着对图像中的边缘计算边缘能量、轮廓锐度，并以边缘能量、轮廓锐度作为轮廓的外部能量，结合轮廓的内部能量—轮廓线特征性能量和轮廓线距离能量建立轮廓跟踪模型，求解能量函数的最小值，搜索图像轮廓；然后以深度梯度假设作为先验假设梯度模型，对具有不同的轮廓线的区域进行深度值填充，计算得出深度分布；最后利用原图像信息和所得深度图像信息对得到的深度图像进行优化处理，得到最终的视差图。实验结果证明，本发明的深度估计算法简单，能快速准确地估计单目图像的深度图。

主权项

基于轮廓锐度的单目图像深度信息估计方法，其特征在于,包括如下步骤：(1)对于输入图像，进行边缘检测，得到图像中物体的边缘点P＝{p₁,p₂,…p_n}；(2)根据先验深度梯度模型进行初始轮廓线的定义，定义一组互相平行且间距相等的轮廓线作为初始轮廓线V＝{v₀,v₁...v_m}；其中，v(s)＝[x(s),y(s)]，x(s),y(s)为初始轮廓线中的点s的坐标；轮廓线的总能量定义为E_total＝w₁E_edge+w₂E_sharp+w₃E_s+w₄E_d其中E_edge为轮廓边缘能量函数，表示轮廓的梯度幅度；E_sharp轮廓锐度能量函数，代表轮廓的模糊程度；E_s为轮廓线特性能量函数，用于约束轮廓的平滑度；E_d为轮廓线距离能量函数，用于控制轮廓跟踪曲线不会超出搜索区域；w₁、w₂、w₃、w₄为各个函数权重控制参数；(3)对图像中每一条初始轮廓线从图像的左侧起始点开始，由图像底部向顶部更新每一轮廓点的位置，对每一个轮廓点根据步骤(2)中轮廓线总能量定义计算轮廓跟踪能量；(4)求解能量函数的最小值；对与当前轮廓点相邻的像素列中的像素点进行搜索，搜索满足能量函数定义的边缘点P＝{p₁,p₂,…p_n}中具有最小能量值的点，选择具有最小能量的像素点位置作为新的轮廓点；从图像左侧至右侧，重复搜索最小值，得到最终的轮廓搜索结果，即得到目标轮廓线V；(5)以深度梯度假设作为先验假设梯度模型，对具有不同的轮廓线的区域进行深度值填充，计算得出深度分布；轮廓线集中轮廓线V＝{v₀,v₁,...,v_m}，对于i＝0…m对应的分配深度值Depth为：$Depth\left(v_i\right)=255\times \frac{m-i}{m}$(6)利用原图像灰度信息和所得深度图像信息对得到的深度图像进行优化处理：${{\mathrm{Depth}}_f}^{bf}\left(x_i\right)=\frac{1}{W\left(x_i\right)}\underset{x_j\in \Omega \left(x_i\right)}{\Sigma }\exp \left(G_{{\sigma }_s}\right(\left|\right|x_i-x_j\left|\right|\left)G_{{\sigma }_r}\right(I\left(x_i\right)-I\left(x_j\right)\left)\right)Depth\left(x_j\right)$$W\left(x_i\right)=\underset{q\in S}{\Sigma }\exp \left(G_{{\sigma }_s}\right(\left|\right|x_i-x_j\left|\right|\left)G_{{\sigma }_r}\right(I\left(x_i\right)-I\left(x_j\right)\left)\right)$其中Depth(x_i)为输入深度图像，Ω(x_i)是以像素x_i为中心的邻域，I(x_i)为像素x_i的亮度I分量，x_j为像素x_i在邻域Ω(x_i)的邻域像素，W(x_i)是滤波器参数的归一化因子；||x_i‑x_j||为两像素的空间欧式距离；I(x_i)‑I(x_j)表示两像素的亮度相似性，像素x_i和x_j的空间坐标分别为(x_ix,x_iy)和(x_jx,x_jy)；空间权重系数和色度权重系数定义为：$G_{{\sigma }_s}\left(\right||x_i-x_j|\left|\right)=\frac{{\left[\sqrt{{(x_{jx}-x_{ix})}^2+{(x_{jy}-x_{iy})}^2}\right]}^2}{2{{\sigma }_s}^2}$$G_{{\sigma }_r}\left(I\right(x_i)-I(x_j\left)\right)=\frac{|I\left(x_j\right)-I\left(x_i\right){|}^2}{2{{\sigma }_r}^2};$其中σ_s为空间权重的方差、σ_r为色度权重的方差。(7)得到了对输入单目图像进行深度信息估计后的视差图。