基于机载双目视觉的障碍物感知方法

摘要

本发明提出一种基于机载双目视觉的障碍物感知方法，包括以下步骤：设置机载双目视觉相机的坐标系，并根据所述坐标系计算所述机载双目视觉相机所成图像的计算机图像坐标与所述坐标系之间的转换公式，其中所述机载双目视觉相机包括左相机和右相机；提取所述机载双目视觉相机所成图像的特征点，并对所述特征点进行特征向量描述；据所述特征点的特征向量进行左右图像的立体匹配获得初步匹配点对，并剔除所述初步匹配点对中的错误匹配获得最终的匹配点对；以及根据所述最终的匹配点对生成视差图，并根据所述视差图进行障碍物感知。本发明的基于机载双目视觉的障碍物感知方法的适应性强，实时性好，隐蔽性好。

主权项

1.一种基于机载双目视觉的障碍物感知方法，其特征在于，包括以下步骤：S1：设置机载双目视觉相机的坐标系，并根据所述坐标系计算所述机载双目视觉相机所成图像的计算机图像坐标与所述坐标系之间的转换公式，其中所述机载双目视觉相机包括左相机和右相机；S2：提取所述机载双目视觉相机所成图像的特征点，并对所述特征点进行特征向量描述；S3：根据所述特征点的特征向量进行左右图像的立体匹配获得初步匹配点对，并剔除所述初步匹配点对中的错误匹配获得最终的匹配点对；以及S4：根据所述最终的匹配点对生成视差图，并根据所述视差图和所述匹配点所在的连通区域信息进行障碍物感知，其中，以所述左相机的光心作为所述坐标系的原点，所述左相机所成图像的计算机图像坐标与所述坐标系之间的转换公式为：$\left\{\begin{array}{c}{x}_w=\frac{-b·(u_1-u_0)}{u_2-u_1}\\ y_w=\frac{-b·d_y·(v_1-v_0)}{d_x·(u_2-u_1)}\\ z_w=\frac{-b·f}{d_x·(u_2-u_1)}\end{array}\right.,$所述右相机所拍摄的图像与所述左相机所成图像的图像坐标转换公式为：$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$其中，b为左右相机间的基距，f为相机焦距，（x_w，y_w，z_w）为所述左相机所成图像的计算机图像坐标，（X_c，Y_c，Z_c）为所述右相机所成图像的计算机图像坐标，（u₁，v₁）为像素点在左相机成像图像中的计算机图像坐标，u₂为同一像素点在右相机成像图像中的计算机图像横坐标，（u₀，v₀）为机载双目视觉相机的坐标系原点在计算机图像坐标系中的坐标，（d_x，d_y）为机载双目视觉相机的坐标系在x方向和y方向相邻像素间的距离，R为旋转矩阵，且在平行双目视觉系统中R为单位矩阵，t为平移向量，0^T为元素为0的横向量；其中，采用Harris角点检测器检测所述左右相机所成图像的特征点信息，并使用SIFT算法用128维的高维度对所述特征点进行特征向量描述；其中，所述步骤S3进一步包括：S31：根据所述特征点的特征向量，通过以下的公式计算左右相机图像中两个待匹配的特征点的特征向量欧式距离，$D=\sqrt{{({\lambda }_1-{\lambda }_1^{\prime })}^2+{({\lambda }_2-{\lambda }_2^{\prime })}^2+...+{({\lambda }_{128}-{\lambda }_{128}^{\prime })}^2}$其中，D为特征向量欧式距离，(λ₁,λ₂,…,λ₁₂₈)、(λ′₁，λ′₂，...，λ′₁₂₈)为待匹配的左右图像两个特征点的特征向量；S32：对于所述左图像中的某个特征点，在所述右图像中选取与其特征向量欧式距离最小的特征点作为初步匹配点；S33：计算每个初步匹配点对的斜率，并计算多个所述斜率的平均值；S34：将每个所述匹配点对的斜率与平均值的差值的绝对值和预先设定的阈值进行比较，如果所述差值的绝对值大于所述预先设定的阈值，则剔除所述匹配点对；其中，所述步骤S4进一步包括：S41：以左相机图像为基准生成视差图，并初始化所述视差图为全黑；S42：根据所述匹配点对，通过以下的公式计算相关系数，并根据所述相关系数对所述视差图进行着色，其中，(m,n)为匹配点对左图像坐标，(m',n')为右图像中相应匹配点坐标，d_相关为所述相关系数；S43：根据所述着色后的视差图和所述匹配点的连通区域信息进行障碍物感知，其中，所述根据相关系数对所述视差图像进行着色进一步包括：当d_相关>255时，在所述视差图像的匹配点坐标处涂以颜色(255,0,0)；当0<d_相关<255时，在所述视差图像的匹配点坐标处涂以(d_相关,0,255-d_相关)的颜色；以及当左图像某点处不存在匹配点时，则保留初始化时的黑色不变，其中，颜色值是以三原色红，绿，蓝的形式给出的；其中，所述步骤S43进一步包括：对所述视差图进行分割，获得多个图像块；计算各个所述图像块内的特征点的视差值；当当前图像块内的特征点的视差值大于预定的阈值时，将所述当前图像块标记为障碍物区域；以及在所述视差图中，选取由多个所述障碍物区域组成的连通区域判断为障碍物。