一种基于双模态数据融合的道路检测方法

摘要

本发明公开了一种基于双模态数据融合的道路检测方法。包括如下步骤：激光雷达三维点的坐标系转换；获取落在摄像机图像范围内的激光雷达三维点集合；设定高度阈值，获取障碍物激光雷达三维点的子集；获取可通行道路区域激光雷达三维点的子集；获取非路区域和可通行道路区域的颜色混合高斯模型；获取图像上道路检测的感兴趣区域；构建基于马尔科夫随机场能量函数，求解能量函数最小值，获得全局最优图像道路检测结果。本发明实现了对复杂环境的鲁棒；检测结果不受道路表面阴影影响；能将传感器感知环境中细小的障碍物与可通行道路路区域区分；能对激光雷达无数据返回的区域与非路的判断；它适用于自主车辆导航等领域。

主权项

1.一种基于双模态数据融合的道路检测方法，其特征在于，包括如下步骤：1.1）激光雷达三维点的坐标系转换：将激光雷达三维坐标系，包括x轴，y轴和z轴下的激光雷达三维点X_L＝(x_l,y_l,z_l)^T通过左乘激光雷达与摄像机之间的旋转平移矩阵[R_LC t_LC]转换为摄像机三维坐标系下的激光雷达三维点X_C＝(x_c,y_c,z_c)^T，其中R_LC表示激光雷达坐标系与摄像机坐标系之间的旋转矩阵，t_LC表示激光雷达坐标系与摄像机坐标系之间的平移量，(x_l,y_l,z_l)和(x_c,y_c,z_c)分别表示激光雷达坐标系下和摄像机坐标系下激光雷达三维点的坐标值，该坐标系转换公式（1）如下，其中和分别表示X_C和X_L的其次坐标(x_c,y_c,z_c,1)^T和(x_l,y_l,z_l,1)^T，${\tilde{X}}_C=\left[\begin{array}{cc}{R}_{\mathrm{LC}}& t_{\mathrm{LC}}\end{array}\right]{\tilde{X}}_L---\left(1\right)$1.2）获取落在摄像机图像范围内的激光雷达三维点集合Γ：通过摄像机的内外参矩阵K，将摄像机三维坐标系下的激光雷达三维点X_C投影为摄像机拍摄二维图像的坐标系，u轴，即图像横轴和v轴，即图像纵轴下的激光雷达二维点X_I＝(u_I,v_I)^T，(u_I,v_I)表示二维图像的坐标系下激光雷达二维点的坐标值，摄像机投影公式（2）如下，其中表示X_I的其次坐标(u_I,v_I,1)^T，${\tilde{X}}_I=K{\tilde{X}}_C,---\left(2\right)$选取激光雷达二维点X_I中在图像长I_L宽I_W范围内的二维点对应的激光雷达坐标系下的激光雷达三维点，记为X_L'＝(x_l',y_l',z_l')^T，作为集合Γ；1.3）获取障碍物激光雷达三维点的子集Γ_O，并拟合道路所在的地平面：根据激光雷达安装的高度，设定高度阈值h，令激光雷达三维点集合Γ中z坐标在阈值h以上的点作为激光雷达检测到障碍物点的子集，记为Γ_O，令激光雷达三维点集合Γ中z坐标在阈值h以下的点，记为Γ/Γ_O，用于RANSAC平面拟合算法，拟合得到的平面即为道路所在地平面，该拟合的地平面参数记为π＝(a,b,c,d)^T，RANSAC平面拟合算法得到的内点集合记为其中为X_L'的其次坐标，为设定的距离阈值；1.4）获取可通行道路区域激光雷达三维点的子集Γ_R：RANSAC平面拟合算法得到的内点集合Γ_G中包含了所有离平面π＝(a,b,c,d)^T距离小于的激光雷达三维点，但这些点中不仅包含可通行道路区域中的点，而且包含与道路平面垂直高度距离小于的绿化带上的点，为了将可通行道路区域与绿化带区分，需要运用激光雷达射线对含叶绿素的植物反射率强的性质，通过k-means聚类算法对路面上的激光雷达点进行两类的聚类，其中反射率均值较低的一类激光雷达三维点作为可通行道路区域激光雷达三维点的子集，记为Γ_R；1.5）分别获取非路区域和可通行道路区域的颜色混合高斯模型Θ_B和Θ_R：分别用激光雷达三维点集Γ_O和Γ_R对应的图像上激光雷达二维点X_I坐标值上的图像像素点颜色信息对非路区域和可通行道路区域进行混合高斯模型估计，得到估计的非路区域和可通行道路区域的颜色模型分别用Θ_B和Θ_R表示；1.6）获取图像上道路检测的感兴趣区域ROI：通过摄像机坐标系下拟合的地平面参数π＝(a,b,c,d)^T，定义摄像机坐标系下地平面无穷远处三维点X_∞为再通过摄像机的内外参矩阵K，得到摄像机坐标系下地平面穷远点对应的图像地平线上的点X_H＝(u_H,v_H)^T，如公式（3）所示，其中为X_H的其次坐标，${\tilde{X}}_H=K\left[\begin{array}{cc}{R}_{\mathrm{LG}}& t_{\mathrm{LG}}\end{array}\right]{\tilde{X}}_{\infty }---\left(3\right);$然后将Κ个图像地平线上的点X_H通过最小二乘算法拟合地平线H＝(α₀,-1,α₁)，其中α₀和α₁为直线参数，使地平线上的点满足v_H＝α₀u_H+α₁，并设定图像地平线H以下为图像上道路检测感兴趣区域ROI；1.7）马尔科夫随机场能量函数初始设计：利用马尔科夫随机场原理，将图像感兴趣区域ROI内的道路检测全局最优问题转化为解马尔科夫随机场的能量最小问题，该能量函数初始设计Ε(L,F,Θ)如公式（4）所示，Ε(L,F,Θ)＝λΕ_Smooth(L,F)+Ε_Data(L,F,Θ)    （4）其中，L＝{l_i|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应标记l_i的集合，l_i的取值0和1分别表示第i个像素点的标记为“非路”和“可通行道路”，F＝{f_i|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应特征f_i的集合，在本方法中选取图像像素点的RGB值作为该像素点的特征，即f_i＝(R_i,G_i,B_i)，(R_i,G_i,B_i)表示第i个像素点的R,G,B三个颜色通道的值，Θ＝{Θ_B,Θ_R}表示经计算得到的非路与可通行道路的先验概率模型，Ε_Smooth和Ε_Data分别是该能量函数的平滑项和数据项，λ是调节平滑项和数据项的权重参数；1.8）马尔科夫随机场能量函数最终设计：通过考虑激光雷达点提供的信息，在最终设计的能量函数中将在激光雷达三维点中获得的障碍物子集Γ_O和可通行道路区域子集Γ_R对应的图像像素点作为已知的部分分割结果，新的能量函数设计如公式（5）所示Ε(L,F,Θ,S)＝λΕ_Smooth(L,F)+Ε_Data(L,F,Θ,S)    （5）其中，与公式（4）不同在于，增加了变量S用于表示图像感兴趣区域ROI内的像素点对应的激光雷达三维点障碍物子集Γ_O和可通行道路区域子集Γ_R；1.9）求解能量函数最小值，获得全局最优图像道路检测结果：通过图割方法对公式（5）所示能量函数进行最小值求解，公式（5）所示能量函数的最小值对应的L的取值，即为图像感兴趣区域ROI内全局最优的可通行区域道路检测结果。