一种基于单应性变换矩阵的分段空间对准方法

摘要

本发明公开了一种基于单应性变换矩阵的分段空间对准方法，通过对较大的标定距离进行分段，针对每一分段分别求得摄像机和毫米波雷达坐标系之间的单应性变换矩阵，避免了现有技术中由于用同一个单应性变换矩阵表达两个传感器之间的坐标关系引起的误差，从而能够实现对较大标定距离目标探测的空间对准；通过推导表征摄像机和毫米波雷达的不同坐标系之间的关系，最后采用单应变换矩阵N表征两者的坐标系关系，用两个传感器分别获得的目标数据再解得单应变换矩阵N，避免了求解缩放比例因子、焦距等构成的摄像机内部参数矩阵以及旋转矩阵、平移向量构成的摄像机外部参数矩阵，大大简化了运算过程，节省运算时间。

主权项

一种基于单应性变换矩阵的分段空间对准方法，其特征在于，包括如下步骤：步骤1：建立摄像机坐标系与毫米波雷达坐标系之间的基于单应性变换矩阵的关系：定义摄像机的图像坐标系O′uv，其中O′位于摄像机成像平面的左上角；u轴与摄像机扫描行方向平行；v轴垂直于摄像机扫描行方向；定义O″″ρθ为毫米波雷达极坐标系，O″″为毫米波雷达表面的中心；ρ为目标与毫米波雷达间的直线距离；θ为目标偏离毫米波雷达扫描平面中心线的角度，则摄像机的图像坐标系O′uv与毫米波雷达极坐标系O″″ρθ之间关系表示为：$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=N\left[\begin{array}{c}\rho \sin \theta \\ \rho \cos \theta \\ 1\end{array}\right]---\left(7\right)$其中，$N=\left[\begin{array}{ccc}{n}_{11}& n_{12}& n_{13}\\ n_{21}& n_{22}& n_{23}\\ n_{31}& n_{32}& n_{33}\end{array}\right],$定义为单应性变换矩阵；步骤2：确定无人车与标定目标之间的合适的标定距离：定义O″″X_rY_rZ_r表示毫米波雷达直角坐标系，O″″为毫米波雷达表面的中心；Y_r轴为毫米波雷达扫描平面中心线，垂直于毫米波雷达表面，指向正前方；X_r轴与Y_r垂直，指向右侧；Z_r轴垂直于X_r、Y_r确定的平面，指向上方；则毫米波雷达直角坐标系和毫米波雷达极坐标系之间的关系为：$\left[\begin{array}{c}{X}_r\\ Y_r\\ 1\end{array}\right]=\left[\begin{array}{c}\rho \sin \theta \\ \rho \cos \theta \\ 1\end{array}\right]---\left(7^{\prime }\right)$标定目标与无人车的距离在毫米波雷达直角坐标系纵轴Y_r上的投影称为标定距离；在毫米波雷达的探测范围内，根据无人车的最大运动速度，确定合适的标定距离L；将标定距离L由近到远分为近距范围L1和远距范围L2，在近距范围L1内，将其均分成m1段，在远距范围L2内，将其均分成m2段，且保证L1/m1小于L2/m2；步骤3：通过无人车中装载的摄像机和毫米波雷达分别采集标定目标的图像和数据信息：将标定目标分别放置在步骤2中将标定距离L分成的不同分段处，毫米波雷达和摄像机分别对上述m1+m2段距离处的目标进行探测，在探测时，针对每段距离处的目标，将目标沿Y_r轴方向均分成m行，再将每一行沿X_r轴方向均分成h小段，控制毫米波雷达获取每个小段的坐标数据控制摄像机拍摄每小段的图像数据f_k^M，其中M＝1,...,(m1+m2)，k＝1,2,...,mh；步骤4：针对步骤3中摄像机获得的每一个分段内每一个小段的图像数据f_k^M，分别计算图像的质心坐标步骤5：求解表示毫米波雷达坐标系与摄像机坐标系之间关系的单应性空间变换矩阵：针对整个标定距离L中分出的每一段距离获得的所有小段对应的毫米波雷达坐标数据和图像的质心坐标组成每个分段内对应的数据集，将每个数据集分别代入到式(7)和(7)′中，得到：$\left[\begin{array}{c}{u}_1^M\\ .\\ .\\ .\\ u_k^M\end{array}\right]=\left[\begin{array}{ccc}{X}_{r1}^M& Y_{r1}^M& 1\\ .& .& .\\ .& .& .\\ .& .& .\\ X_{\mathrm{rk}}^M& Y_{\mathrm{rk}}^M& 1\end{array}\right]\left[\begin{array}{c}{n}_{11}^M\\ n_{12}^M\\ n_{13}^M\end{array}\right]---\left(8\right)$$\left[\begin{array}{c}{v}_1^M\\ .\\ .\\ .\\ v_k^M\end{array}\right]=\left[\begin{array}{ccc}{X}_{r1}^M& Y_{r1}^M& 1\\ .& .& .\\ .& .& .\\ .& .& .\\ X_{\mathrm{rk}}^M& Y_{\mathrm{rk}}^M& 1\end{array}\right]\left[\begin{array}{c}{n}_{21}^M\\ n_{22}^M\\ n_{23}^M\end{array}\right]---\left(9\right)$和$\left[\begin{array}{c}1\\ .\\ .\\ .\\ 1\end{array}\right]=\left[\begin{array}{ccc}{X}_{r1}^M& Y_{r1}^M& 1\\ .& .& .\\ .& .& .\\ .& .& .\\ X_{\mathrm{rk}}^M& Y_{\mathrm{rk}}^M& 1\end{array}\right]\left[\begin{array}{c}{n}_{31}^M\\ n_{32}^M\\ n_{33}^M\end{array}\right]---\left(10\right)$定义$P^M=\left[\begin{array}{ccc}{X}_{r1}^M& Y_{r1}^M& 1\\ .& .& .\\ .& .& .\\ .& .& .\\ X_{\mathrm{rk}}^M& Y_{\mathrm{rk}}^M& 1\end{array}\right],N^M={\left[\begin{array}{ccc}{n}_{11}^M& n_{21}^M& n_{31}^M\\ n_{12}^M& n_{22}^M& n_{32}^M\\ n_{13}^M& n_{23}^M& n_{33}^M\end{array}\right]}^T,U^M={\left[\begin{array}{ccc}{u}_1^M& ...& u_k^M\end{array}\right]}^T,V^M={\left[\begin{array}{ccc}{v}_1^M& ...& v_k^M\end{array}\right]}^T,$I_k×1＝[1 … 1]^Τ，则单应性空间变换矩阵N^M的最小二乘解表示为：$N^M={\left[\begin{array}{ccc}{N}_1^{M^T}& N_2^{M^T}& N_3^{M^T}\end{array}\right]}^T,$其中，和分别为：$N_1^M={\left(P^M{P}^{M^T}\right)}^{-1}{P}^{M^T}{U}^M,$$N_2^M={\left(P^M{P}^{M^T}\right)}^{-1}{P}^{M^T}{V}^M$和$N_3={\left(P^M{P}^{M^T}\right)}^{-1}{P}^{M^T}{I}_{k\times 1};$步骤6：实现视觉传感器和毫米波雷达的空间对准：根据毫米波雷达扫描的标定目标的实际距离，判断该距离在步骤2中哪个分段内，在步骤5计算得到的m1+m2个结果中查找该距离对应的单应性空间变换矩阵，实现空间对准。