一种双目图像中显著性目标的距离测量方法

摘要

一种双目图像中显著性目标的距离测量方法，本发明涉及一种双目图像中目标的距离测量方法。本发明的目的是提出一种双目图像中显著性目标的距离测量方法，以解决现有的目标距离测量方法处理速度慢的问题。步骤一、利用视觉显著性模型对双目图像进行显著性特征提取，并标出种子点和背景点；步骤二、对双目图像建立加权图；步骤三、利用步骤一中的种子点和背景点和步骤二中的加权图，通过随机游走图像分割算法将双目图像中的显著性目标分割出来；步骤四、通过SIFT算法将显著性目标单独进行关键点匹配；步骤五、将步骤四求出的视差矩阵K'代入双目测距的模型中求出显著性目标距离。本发明可应用于智能汽车行驶中对视野前方图像显著性目标的距离测量。

主权项

一种双目图像中显著性目标的距离测量方法，其特征在于所述方法包括以下步骤：步骤一、利用视觉显著性模型对双目图像进行显著性特征提取，并标出种子点和背景点，具体包括：步骤一一、首先进行预处理，对双目图像进行边缘检测，生成双目图像的边缘图；步骤一二、利用视觉显著性模型对双目图像进行显著性特征提取，生成显著性特征图；步骤一三、根据显著性特征图找出图中灰度值最大像素点，标记为种子点；并以种子点为中心的25×25的窗口内遍历像素，找出像素点的灰度值小于0.1的且距离种子点最远的像素点标记为背景点；步骤二、对双目图像建立加权图；利用经典高斯权函数对双目图像建立加权图：$W_{\mathrm{ij}}=e^{-\beta {(g_i-g_j)}^2}---\left(1\right)$其中，W_ij表示顶点i和顶点j之间的权值，g_i表示顶点i的亮度，g_j表示顶点j的亮度，β是自由参数，e为自然底数；通过下式求出加权图的拉普拉斯矩阵L：其中，L_ij为拉普拉斯矩阵L中对应顶点i到j的元素，d_i为顶点i与周围点权值的和，$d_i=\Sigma W_{\mathrm{ij}};$步骤三、利用步骤一中的种子点和背景点和步骤二中的加权图，通过随机游走图像分割算法将双目图像中的显著性目标分割出来；步骤三一、将双目图像的像素点根据步骤一标记出的种子点和背景点分出两类集合，即标记点集合V_M与未标记点集合V_U，拉普拉斯矩阵L根据V_M和V_U，优先排列标记点然后再排列非标记点；其中，所述L分成L_M、L_U、B、B^T四部分，则将拉普拉斯矩阵表示如下：$L=\left[\begin{array}{cc}{L}_M& B\\ B^T& L_U\end{array}\right]---\left(3\right)$其中，L_M为标记点到标记点的拉普拉斯矩阵，L_U为非标记点到非标记点的拉普拉斯矩阵，B和B^T分别为标记点到非标记点和非标记点到标记点的拉普拉斯矩阵；步骤三二、根据拉普拉斯矩阵和标记点求解组合狄利克雷积分D[x]；组合狄利克雷积分公式如下：$D\left[x\right]=\frac{1}{2}\Sigma w_{\mathrm{ij}}{(x_i-x_j)}^2=\frac{1}{2}{x}^T\mathrm{Lx}---\left(4\right)$其中，x为加权图中顶点到标记点的概率矩阵，x_i和x_j分别为顶点i和j到标记点的概率；根据标记点集合V_M与未标记点集合V_U，将x分为x_M和x_U两部分，x_M为标记点集合V_M对应的概率矩阵，x_U为未标记点集合V_U对应的概率矩阵；将式(4)分解为：$D\left[x_U\right]=\frac{1}{2}\left[x_M^T{x}_U^T\right]\left[\begin{array}{cc}{L}_M& B\\ B^T& L_U\end{array}\right]\left[\begin{array}{c}{x}_M\\ x_U\end{array}\right]=\frac{1}{2}(x_M^T{L}_M{x}_M+{2x}_U^T{B}^T{x}_M+x_U^T{L}_U{x}_U)---\left(5\right)$对于标记点s，设定m^s，如果任意顶点i为s，则否则对D[x_u]针对x_U求微分，得到式(5)极小值的解即为标记点s的狄利克雷概率值：$L_U{x}_i^s=-{\mathrm{Bm}}^s---\left(6\right)$其中，表示顶点i首次到达标记点s的概率；根据通过组合狄利克雷积分求出的按照式(7)进行阈值分割，生成分割图：其中，s_i为某一顶点i在分割图中对应位置的像素大小；其中，所述分割图中亮度为1的像素点表示为图像中的显著性目标，亮度为0的即为背景；步骤三三、将分割图与原图像对应的像素相乘，生成目标图，即提取出分割出的显著性目标，公式如下：t_i＝s_i·I_i   (8)其中，t_i为目标图T的某一顶点i的灰度值，I_i为输入图像I(σ)对应位置i的灰度值；步骤四、通过SIFT算法将显著性目标单独进行关键点匹配；步骤四一、将目标图建立高斯金字塔，对滤波后的图像两两求差得到DOG图像，DOG图像定义为D(x,y,σ)，求取公式如下：D(x,y,σ)＝(G(x,y,kσ)‑G(x,y,σ))*T(x,y)                                       (9)＝C(x,y,kσ)‑C(x,y,σ)其中，为一个变化尺度的高斯函数，p，q表示高斯模板的维度，(x,y)为像素点在高斯金字塔图像中的位置，σ是图像的尺度空间因子，k表示某一具体尺度值，C(x,y,σ)定义为G(x,y,σ)与目标图T(x,y)的卷积，即C(x,y,σ)＝G(x,y,σ)*T(x,y)；步骤四二、在相邻的DOG图像中求出极值点，通过拟合三维二次函数确定极值点的位置和尺度作为关键点，并根据Hessian矩阵对关键点进行稳定性检测以消除边缘响应，具体如下：(一)对尺度空间DOG通过进行泰勒展开求其曲线拟合D(X)：$D\left(X\right)=D+\frac{{\partial D}^T}{\partial X}X+\frac{1}{2}{X}^T\frac{{\partial }^{2}D}{{\partial X}^2}X---\left(10\right)$其中，X＝(x,y,σ)^T，D为曲线拟合，对式(10)求导并令其为0，得到极值点的偏移量式(11)：$\hat{X}=-\frac{{\partial }^2{D}^{-1}}{{\partial X}^2}\frac{\partial D}{\partial X}---\left(11\right)$为去除低对比度的极值点，将式(11)代入公式(10)，得到式(12)：$D\left(\hat{X}\right)=D+\frac{1}{2}\frac{{\partial D}^T}{\partial X}\hat{X}---\left(12\right)$若式(12)的值大于0.03，保留该极值点并获取该极值点的精确位置和尺度，否则丢弃；(二)通过关键点处的Hessian矩阵筛选消除不稳定的关键点；利用Hessian矩阵特征值之间的比率计算曲率；根据关键点邻域的曲率判断边缘点；曲率的比率设置为10，大于10则删除，反之，则保留，保留下来的则是稳定的关键点；步骤四三、利用关键点邻域16×16的窗口的像素为每个关键点指定方向参数；对于在DOG图像中检测出的关键点，梯度的大小和方向计算公式如下：$\begin{array}{c}m(x,y)=\sqrt{{(C(x+1,y)-C(x-1,y))}^2+{(C(x,y+1)-C(x,y-1))}^2}\\ \theta (x,y)={\tan }^{-1}((C(x,y+1)-C(x,y-1))/(C(x+1,y)-C(x+1,y)-C(x-1,y)))\end{array}---\left(13\right)$其中，C为关键点所在的尺度空间，m为关键点的梯度大小，θ为所求点的梯度方向；以关键点为中心，在周围区域划定一个16×16邻域，求出其中像素点的梯度大小和梯度方向，使用直方图来统计这个邻域内点的梯度；直方图的横坐标为方向，将360度分为36份，每份是10度对应直方图当中的一项，直方图的纵坐标为梯度大小，对应为相应梯度方向的点的大小进行相加，其和作为纵坐标的大小；主方向定义为梯度大小最大为hm的区间方向，通过梯度大小在08*hm之上的区间作为主方向的辅助向，以增强匹配的稳定性；步骤四四、建立描述子表述关键点的局部特征信息首先在关键点周围的坐标旋转为关键点的方向；然后选取关键点周围16×16的窗口，在邻域内分为16个4×4的小窗口，在4×4的小窗口中，计算其相对应的梯度的大小和方向，并用一个8个bin的直方图来统计每一个小窗口的梯度信息，通过高斯加权算法对关键点周围16×16的窗口计算描述子如下式：$h=m_g(a+x,b+y)*e^{-\frac{{(-x^{\prime })}^2+{\left(y^{\prime }\right)}^2}{2\times {\left(0.5d\right)}^2}}---\left(14\right)$其中，h为描述子，(a,b)为关键点在高斯金字塔图像的位置，m_g为关键点的梯度大小即步骤四三直方图主方向的梯度大小，d为窗口的边长即16，(x,y)为像素点在高斯金字塔图像中的位置，(x′,y′)为像素在将坐标旋转为关键点的方向的邻域内的新坐标，新坐标的计算公式如式：$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right)=\left(\begin{array}{cc}\cos {\theta }_g& -\sin {\theta }_g\\ \sin {\theta }_g& \cos {\theta }_g\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)---\left(15\right)$θ_g为关键点的梯度方向；通过对16×16的窗口计算得到128个关键点的特征向量，记为H＝(h₁,h₂,h₃,...,h₁₂₈)，对特征向量进行归一化处理，归一化后特征向量记为L_g，归一化公式如式：$l_i=\frac{h_i}{\sqrt{\underset{j=1}{\overset{128}{\Sigma }}{h}_j}},j=\mathrm{1,2,3},....\left(16\right)$其中，L_g＝(l₁,l₂,...,l_i,...,l₁₂₈)为归一化之后的关键点的特征向量，l_i,i＝1,2,3,....为某一归一化向量；采用关键点的特征向量的欧氏距离作为双目图像中关键点的相似度的判定度量，对双目图像中的关键点进行匹配，相互匹配的关键像素点坐标信息作为一组关键信息；步骤四五、对生成的匹配关键点进行筛选；求出每对关键点的坐标水平视差，生成视差矩阵，视差矩阵定义为K_n＝{k₁,k₂...k_n}，n为匹配的对数，k₁、k₂、k_n为单个匹配点视差；求出视差矩阵的中位数k_m，并得到参考视差矩阵，记为K_n'，公式如下：K_n'＝{k₁‑k_m,k₂‑k_m,...,k_n‑k_m}   (17)设定视差阈值为3，将K_n'中大于阈值的对应视差删除，得到最终视察矩阵结果K'，k_1'、k_2'、k_n'均为筛选后的正确匹配点的视差，n'为最终正确匹配的对数，公式如下：K'＝{k_1',k_2',...,k_n'}   (18)步骤五、将步骤四求出的视差矩阵K'代入双目测距的模型中求出显著性目标距离；两个完全相同的成像系统的焦距沿水平方向相距J，两个光轴均平行于水平面，图像平面与竖直平面相平行；假设场景中一目标点M(X，Y，Z)，在左、右两个成像点分别是Pl(x₁,y₁)和Pr(x₂,y₂)，x₁,y₁与x₂,y₂分别为Pl与Pr在成像的竖直平面的坐标，双目模型中视差定义为k＝|pl‑pr|＝|x₂‑x₁|，由三角形相似关系得到距离公式，X，Y，Z为空间坐标系中横轴，竖轴，纵轴的坐标：$z=J\frac{f}{k}=J\frac{f}{|x_2-x_1|{\mathrm{dx}}^{\prime }}---\left(19\right)$其中dx'表示每一像素在成像的底片中水平轴方向上的物理距离，f为成像系统的焦距，z是目标点M到两成像中心连线的距离，将步骤四求出的视差矩阵带入式(19)中，根据双目模型的物理信息求出对应的距离矩阵Z'＝{z₁,z₂,...,z_n'}，z₁，z₂，z_n'为单个匹配视差求出的显著性目标距离，最后求出距离矩阵的平均值即为双目图像中显著性目标的距离Z_f，公式如下：$Z_f=\frac{1}{n}\underset{k=1}{\overset{n^{\prime }}{\Sigma }}{z}_k---\left(20\right).$