基于双目立体视觉的驾驶辅助障碍物检测方法

摘要

本发明公开了一种基于双目立体视觉的驾驶辅助障碍物检测方法，属于环境感知技术领域。其主要步骤包括：同步采集安装在车辆正前方的两个CCD摄像机各自输出的一帧图像；对所采集的图像分别进行畸变校正；调用立体匹配子流程对校正后的两幅图像进行立体匹配，得到所有像素点的对应关系；根据摄像机参数分别计算两个CCD摄像机的投影矩阵；寻找两幅校正后的图像中所有对应像素点对；根据投影矩阵对该时刻采集的图像进行场景的三维重建，得到障碍物场景的空间坐标，并进行障碍物区域筛选，输出障碍物位置信息图像。本发明实现了车辆在静止或行进过程中对路面障碍物的自动检测功能，其突出优点是，可无人值守、检测结果精度高。

主权项

1.一种基于双目立体视觉的驾驶辅助障碍物检测方法，其特征在于，该方法是由装有驾驶辅助障碍物检测软件包的计算机实现的，当计算机上电后，该软件包执行以下操作步骤：第一步，打开CCD摄像机Cam_L和CCD摄像机Cam_R的电源，将存储器中存有的已知参数加载至计算机内存中，且计数参数circle_num清零；第二步，查询检测指令，若未接到检测指令，等待；若接到检测指令，通过图像采集卡同步采集CCD摄像机Cam_L和CCD摄像机Cam_R各自输出的一帧分辨率均为M×N的图像C_L和图像C_R，并存储于存储器中；第三步，调用存储器中的图像C_L和图像C_R，根据下组公式对图像C_L和图像C_R进行畸变校正，分别得到两幅分辨率均为M×N的图像C_L′和图像C_R′：$\left\{\begin{array}{c}{x_{\mathrm{cl}}}^{\prime }=x_{\mathrm{cl}}+x_{\mathrm{cl}}(k_{l1}(x_{\mathrm{cl}}^2+y_{\mathrm{cl}}^2)+k_{12}{(x_{\mathrm{cl}}^2+y_{\mathrm{cl}}^2)}^2)+p_{l1}({3x}_{\mathrm{cl}}^2+y_{\mathrm{cl}}^2)+2p_{12}{x}_{\mathrm{cl}}{y}_{\mathrm{cl}}\\ {y_{\mathrm{cl}}}^{\prime }=y_{\mathrm{cl}}+y_{\mathrm{cl}}(k_{l1}(x_{\mathrm{cl}}^2+y_{\mathrm{cl}}^2)+k_{l2}{(x_{\mathrm{cl}}^2+y_{\mathrm{cl}}^2)}^2)+p_{12}(3y_{\mathrm{cl}}^2+x_{\mathrm{cl}}^2)+2p_{l1}{x}_{\mathrm{cl}}{y}_{\mathrm{cl}}\end{array}\right.$$\left\{\begin{array}{c}{x_{\mathrm{cr}}}^{\prime }=x_{\mathrm{cr}}+x_{\mathrm{cr}}\left(k_{r1}(x_{\mathrm{cr}}^2+y_{\mathrm{cr}}^2){+k}_{r2}{(x_{\mathrm{cr}}^2+y_{\mathrm{cr}}^2)}^2\right)+p_{r1}({3x}_{\mathrm{cr}}^2+y_{\mathrm{cr}}^2)+2p_{r2}{x}_{\mathrm{cr}}{y}_{\mathrm{cr}}\\ {y_{\mathrm{cr}}}^{\prime }=y_{\mathrm{cr}}+y_{\mathrm{cr}}(k_{r1}(x_{\mathrm{cr}}^2+y_{\mathrm{cr}}^2)+k_{r2}{(x_{\mathrm{cr}}^2+y_{\mathrm{cr}}^2)}^2)+p_{r2}({3y}_{\mathrm{cr}}^2+x_{\mathrm{cr}}^2)+2p_{r1}{x}_{\mathrm{cr}}{y}_{\mathrm{cr}}\end{array}\right.$式中，(x_cl,y_cl)和(x_cr,y_cr)分别是图像C_L和图像C_R中任意像素点的图像坐标，(x_cl′,y_cl′)和(x_cr′,y_cr′)分别是图像C_L′和图像C_R′中任意像素点的图像坐标，且x_cl=1,2,...M，x_cr=1,2,...M，x_cl′=1,2,...M，x_cr′=1,2,...M，y_cl=1,2,...N，y_cr=1,2,...N，y_cl′=1,2,...N，y_cr′=1,2,...N，k_l1、k_l2均为CCD摄像机Cam_L的径向畸变参数，p_l1、p_l2均为CCD摄像机Cam_L切向畸变参数，k_r1、k_r2均为CCD摄像机Cam_R的径向畸变参数，p_r1、p_r2均为CCD摄像机Cam_R的切向畸变参数，k_l1、k_l2、p_l1、p_l2、k_r1、k_r2、p_r1、p_r2均为对摄像机标定得到的已知参数；第四步，对图像C_L′和图像C_R′进行立体匹配，具体步骤如下：（4.1）计算图像C_L′和图像C_R′的极线约束基本矩阵F；（4.2）将图像C_L′作为基准图像，图像C_R′作为待配准图像，进行如下匹配操作：（4.2.1）在基准图像C_L′中选取像素点A_L(x_A,y_A)，其中，x_A=n+1，y_A=n+1，且n满足n≤(min(M,N)-1)/2；（4.2.2）计算像素点A_L(x_A,y_A)在图像C_R′中满足下式的对应待配准像素点集S_A={P_q(x_q,y_q)}，q=1,2,...,k，其中，k为像素点集S_A中像素点的个数；[x_q y_q 1]F[x_A y_A 1]^T=0（4.2.3）在图像C_L′中建立一个以像素点A_L(x_A,y_A)为中心，大小为(2n+1)×(2n+1)的配准窗口，在图像C_R′中建立一个以像素点集S_A={P_q(x_q,y_q)}中第q个像素点为中心，大小为(2n+1)×(2n+1)的配准窗口，并按照下式计算像素点A_L(x_A,y_A)和像素点集S_A={P_q(x_q,y_q)}中所有像素点的相关参数C_q，共计得到k个C_q值；$\left\{\begin{array}{c}{C}_q=\underset{i=-n}{\overset{n}{\Sigma }}\underset{j=-n}{\overset{n}{\Sigma }}|I_l(x_A+i,y_A+j)-I_r(x_q+d_q+i,y_q+j)|\\ d_q=x_A-x_q\end{array}\right.$式中，I_l(x_A+i,y_A+j)为图像C_L′中对应像素点(x_A+i,y_A+j)的灰度值，I_r(x_q+d_q+i,y_q+j)为图像C_R′中对应像素点(x_q+d_q+i,y_q+j)的灰度值，其中，i=-n,-n+1,...,n，j=-n,-n+1,...,n，d_q为图像C_L′和图像C_R′中对应待配准像素点对A(x_A,y_A)和P_q(x_q,y_q)的视差；（4.2.4）将k个相关参数C_q与阈值T_th逐一比较，若有t个C_q值满足C_q<T_th，则计数参数circle_num=circle_num+t，其中1≤t≤k；（4.2.5）判断计数参数circle_num的值：若circle_num=0，直接跳至（4.2.6）；若circle_num=1，选择满足C_q<T_th时对应的像素点对A_L(x_A,y_A)和P_q(x_q,y_q)为一个配准点对，并存储，跳至步骤（4.2.6）；若circle_num≥2，选择满足C_q<T_th且满足C_q=min{C_q}时对应的像素点对A_L(x_A,y_A)和P_q(x_q,y_q)为一个配准点对，并存储；（4.2.6）令y_A=y_A+1，且计数参数circle_num清零，反复重复步骤（4.2.2）-（4.2.5），直至计算出图像C_L′中y_A=N-n的像素点在图像C_R′中的对应配准点为止；（4.2.7）令x_A=x_A+1，反复重复步骤（4.2.2）-（4.2.6），直至计算出图像C_L′中坐标值为(M-n,N-n)的像素点在图像C_R′中的对应配准点为止；（4.3）根据基准图像C_L′和待配准图像C_R′中的所有配准点对，并利用最小二乘法计算基准图像C_L′和待配准图像C_R′的像素点对应关系f_lr，其中，f_ij为矩阵f_lr中的元素，i=1,2,3，j=1,2,3；${[x_A,y_A,1]}^T=f_{\mathrm{lr}}{[x_q,y_q,1]}^T=\left[\begin{array}{ccc}{f}_{11}& f_{12}& f_{13}\\ f_{21}& f_{22}& f_{23}\\ f_{31}& f_{32}& f_{33}\end{array}\right]{[x_q,y_q,1]}^T$第五步，根据CCD标定的已知参数，计算CCD摄像机Cam_L的投影矩阵M_l和CCD摄像机Cam_R的投影矩阵M_r；第六步，根据下式计算图像C_L′中所有像素点(x_cl′,y_cl′)在图像C_R′中一一对应的配准点的坐标值(x_r,y_r)；${[x_r,y_r,1]}^T={\left[\begin{array}{ccc}{f}_{11}& f_{12}& f_{13}\\ f_{21}& f_{22}& f_{23}\\ f_{31}& f_{32}& f_{33}\end{array}\right]}^{-1}{[{x_{\mathrm{cl}}}^{\prime },{y_{\mathrm{cl}}}^{\prime },1]}^T$第七步，根据下式对图像C_L′中和图像C_R′中所有的对应配准点对(x_cl′,y_cl′)和(x_r,y_r)进行三维场景重建，得到所有的对应配准点对(x_cl′,y_cl′)和(x_r,y_r)在世界坐标系对应的实际坐标(X_W,Y_W,Z_W)，并将其存入存储器中；A=(P^TP)^-1P^Tb其中，A=[X_W,Y_W,Z_W]^T为图像C_L′中和图像C_R′中对应配准点对(x_cl′,y_cl′)和(x_r,y_r)在世界坐标系中对应的实际三维坐标(X_W,Y_W,Z_W)的列向量，其中，x_cl′∈{1,2,3,...,M}，x_r∈{1,2,3,...,M}，y_cl′∈{1,2,3,...,N}，y_r∈{1,2,3,...,N}，矩阵P为一个4×3的矩阵，表示如下：$P=\left[\begin{array}{ccc}{m}_{l31}{x_{\mathrm{cl}}}^{\prime }-m_{l11}& m_{l32}{x_{\mathrm{cl}}}^{\prime }-m_{l12}& m_{l33}{x_{\mathrm{cl}}}^{\prime }-m_{l13}\\ m_{l31}{y_{\mathrm{cl}}}^{\prime }-m_{l21}& m_{l32}{y_{\mathrm{cl}}}^{\prime }{-m}_{l22}& m_{l33}{y_{\mathrm{cl}}}^{\prime }-m_{l23}\\ m_{r31}{x}_r-m_{r11}& m_{r32}{x}_r-m_{r12}& m_{r33}{x}_r-m_{r13}\\ m_{r31}{y}_r-m_{r21}& m_{r32}{y}_r-m_{r22}& m_{r33}{y}_r-m_{r23}\end{array}\right]$b为一个四维列向量，表示如下：$b=\left[\begin{array}{c}{m}_{l14}-m_{l34}{x_{\mathrm{cl}}}^{\prime }\\ m_{l24}-m_{l34}{y_{\mathrm{cl}}}^{\prime }\\ m_{r14}-m_{r34}{x}_r\\ m_{r24}-m_{r34}{y}_r\end{array}\right]$其中，m_lij为CCD摄像机Cam_L投影矩阵M_l中的元素，m_rij为CCD摄像机Cam_R投影矩阵M_r中的元素，i=1,2,3，j=1,2,3,4；第八步，根据世界坐标系中每一个场景点的实际坐标用下式进行障碍物区域筛选，得到筛选后的所有场景点的实际坐标(X_W′,Y_W′,Z_W′)；其中，Des_th为探测距离阈值；第九步，根据下式建立障碍物信息图像IMG，存储并在计算机屏幕上显示；$\left\{\begin{array}{c}{x}_{\mathrm{img}}={X_W}^{\prime }\\ y_{\mathrm{img}}={Y_W}^{\prime }\\ I(x_{\mathrm{img}},y_{\mathrm{img}})=255({Z_W}^{\prime }/{\mathrm{Des}}_{\mathrm{th}})\end{array}\right.$其中，(x_img,y_img)为障碍物信息图像IMG中的像素点坐标，I(x_img,y_img)为障碍物信息图像IMG中对应像素点(x_img,y_img)的灰度值；第十步，计算障碍物信息图像IMG中满足I(x_img,y_img)≠0的区域面积S，若满足S≥S₀,则进入第十一步，若满足S<S₀，则进入第十二步，其中，S₀为障碍物正向投影面积阈值；第十一步，计算障碍物信息图像IMG中满足I(x_img,y_img)≠0区域中所有像素点坐标(x_img,y_img)所对应的Z_W′坐标值的平均值Z_average，将Z_average与障碍物报警距离阈值Z_th进行比较：若满足Z_average<Z_th时，向蜂鸣器发送障碍物报警指令，若满足Z_average≥Z_th时，则直接进入第十二步，其中，Z_th=V_MOV·time_th，V_MOV为车辆当前行驶速度，time_th为车辆当前位置至与障碍物发生碰撞所需的时间阈值；第十二步，查询关机指令，若未接到关机指令，返回第二步；若接到关机指令，结束。