一种融合雷达和CCD摄像机信号的车辆检测方法

摘要

本发明公开了一种融合雷达和CCD摄像机信号的车辆检测方法，包括：输入雷达和CCD摄像机信号；进行摄像头校正，得到路平面坐标与图像坐标的投影矩阵，将路平面世界坐标转换成图像平面坐标；建立适合车辆HOG描述器的正负样本集；对车辆样本集进行批量特征提取，建立HOG样本集；建立线性支持向量机SVM分类模型，对SVM进行训练；提取雷达检测到的障碍物在视频图像中的感兴趣区域，输入SVM分类器中进行目标类型判断；输出识别结果；利用雷达测出判断为车辆的目标的距离。本发明利用雷达和CCD摄像机信号进行联合检测，不仅获取了车辆的深度信息，同时也能较好地检测出车辆的轮廓信息，提高了车辆检测、定位的可靠性和精确性。

主权项

1.一种融合雷达和CCD摄像机信号的车辆检测方法，其特征在于包括以下步骤：步骤一，输入来自雷达的路面障碍物信息信号和来自CCD摄像机的路平面图像信号；步骤二，进行包括照相机的内参和外参的摄像头校正，得到路平面坐标与图像坐标的投影矩阵，将路平面世界坐标转换成图像平面坐标；世界坐标系中的点到图像坐标中的点的投影过程分两步来实现：（1）将世界坐标系(或参考坐标系)中点的坐标（X_w,Y_w,Z_w）变换到照相机坐标系（X_c,Y_c,Z_c），变换公式为：$\left[\begin{array}{c}{X}_C\\ Y_C\\ Z_C\\ 1\end{array}\right]=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{32}& t_3\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]$式中，$\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]$为由世界坐标系到照相机坐标系的旋转矩阵，$\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right]$为由世界坐标系到照相机坐标系的平移矩阵；（2）由照相机坐标系变换到图像坐标系，变换公式为：$s\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_C\\ Y_C\\ Z_C\end{array}\right]$式中，f_x、f_y代表以像素为单位的水平方向和垂直方向焦距，u₀、v₀分别表示摄像机主轴与图像平面的交点的横、纵坐标，s为投影参数；世界坐标系中的点到图像坐标中的点的投影公式为：$s\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right]\left[\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]\right]$选择棋盘格中定义的坐标系作为参考坐标系，每个视角都建立相应的刚体变换，通过给定照相机内参数，得到求解过程的初始值，使求得的照相机的内参尽量使重投影误差最小；在标定出相机的内参数时，最后选择地平面上的一张标定板的图片的棋盘格坐标系作为参考坐标系；通过将雷达所在路平面坐标系与选定的标定板的坐标系之间进行变换，得到雷达监测到的路平面的车辆坐标与图像坐标的转换矩阵、车辆高度与图像坐标的转换矩阵，从而可以确定出车辆在图像平面上的位置及所在位置的车辆的高度；步骤三，建立适合车辆HOG特征描述器的正负样本集；步骤四，采用HOG算法对车辆样本集进行批量特征提取，从而建立HOG特征样本集；HOG特征是针对矩形区域中的梯度方向上的强度统计；采用行人模板大小为64*128，将行人模板样本分为16*16大小的block块，设block的高为H，宽为W，本发明采用H:W=1:1块特征提取方法：每个block块分为4个相同的cell单元，每个cell单元的大小为8*8，每个单元的特征是其内部64个像素的特征向量之和；用I(x,y)表示图像I在（x,y）处像素点的灰度值，按下式计算矩形区域中的梯度方向的强度统计特征：G_x(x,y)＝I(x+1,y)-I(x-1,y)G_y(x,y)＝I(x,y+1)-I(x,y-1)$G(x,y)=\sqrt{{G^2}_x(x,y)+{G^2}_y(x,y)}$α(x,y)＝arctan(G_y(x,y),G_x(x,y))其中，G_x(x,y)、G_y(x,y)分别表示（x,y）处像素点的水平方向和垂直方向的梯度幅值，G(x,y)为（x,y）处像素点的梯度强度，α(x,y)表示(x,y)处像素点的梯度方向；HOG特征将的梯度方向均匀分为9个bin(区间)，第k个方向的梯度幅值大小A_k(x,y)为：$A_k(x,y)=\left\{\begin{array}{cc}G(x,y),& \alpha (x,y)\in {\mathrm{bin}}_k\\ 0,& \mathrm{others}\end{array}\right.,1\le k\le 9$其中，bin_k(x,y)表示梯度方向的第k个方向区间；这样，(x,y)处像素点的每个方向上的梯度特征可以用一个9维的向量A_k(x,y)表示；为了消除光照等因素影响，对块内的每个单元进行归一化处理：$f(c_m,k)=\frac{{\Sigma }_{(x,y)\in c_m}{A}_k(x,y)+ϵ}{{\Sigma }_{(x,y)\in B}{A}_k(x,y)+ϵ},m=\mathrm{1,2,3,4}$其中，f(c_m,k)表示第m个单元c_m中的第k个区间的归一化强度，ε是为了避免分母为零设置的一个较小的数；由f(c_m,k)的表达式可知，每个单元提取的特征向量为9维，每个块的特征为将4个cell单元中的特征级联得到的36维向量；步骤五，建立线性SVM分类器，使用步骤四中的特征样本集训练SVM分类器；步骤六，目标类型判断；将雷达得到的车辆在路平面中的位置信息通过矩阵变换转换成图像坐标信息，将感兴趣区域图像进行特征提取，采用步骤五训练得到的SVM分类器进行预测，判断目标是否是车辆；步骤七，输出SVM分类器的目标物体识别结果；步骤八，利用单线激光雷达测出智能车前方判断为车辆的目标的距离。