基于激光扫描测距仪与多相机融合的透视成像方法

摘要

本发明涉及一种基于激光扫描测距仪与多相机融合的透视成像方法，摒弃了传统方法只采用图像传感器的方式，在使用图像传感器获取图像信息的基础上引入了激光扫描测距仪获取场景的点云数据，利用点云数据获取场景的深度信息，根据深度信息进行聚焦深度的选择，减少时间复杂度。同时本发明利用场景的深度信息，可以对获得的投影点进行筛选，提高透视成像结果的清晰度。由于本发明采用全景相机获取场景的图像信息，同时获取多视角的图像，因此能够获取多视角透视成像结果。本发明在自建数据库上进行测试结果，测试结果显示本方法能够快速有效的得到更清晰的多视角透视成像结果。

主权项

一种基于激光扫描测距仪与多相机融合的透视成像方法，其特征在于步骤如下：步骤1：确定以激光扫描测距仪载台中心为世界坐标系原点的世界坐标系，测量激光扫描测距仪A、B和C的二维扫描坐标系的原点到世界坐标系的距离和偏转角度，计算激光扫描测距仪扫描获取的二维点云到世界坐标系的旋转矩阵和平移矩阵，完成激光扫描测距仪的标定；步骤2：对激光扫描测距仪A在t时刻采集的目标点云集P_t中每个点的领域进行高斯分布统计分析，删除不符合高斯分布的离群点，获得目标点集P'_t；使用KD‑tree方法对激光扫描测距仪A在t‑1时刻采集的点集P_t‑1构建拓扑结构，利用点集P'_t查找点集P_t‑1中对应的临近点，获得参考点集P_t‑1'；使用ICP算法获取目标点集P'_t到参考点集P_t‑1'的2x2的旋转矩阵R_t'和2x1的平移矩阵T_t'，计算点集P_t投影到全局世界坐标系的旋转矩阵R_t＝R_t‑1gR′_t，平移矩阵T_t＝R_tgT′_t+T_t‑1，其中R_t‑1、T_t‑1分别为点集P_t‑1'到全局世界坐标系的旋转矩阵和平移矩阵，将点集P_t投影到全局世界坐标系中，获取二维地图；步骤3：利用张氏标定法对第0‑5号相机的镜头进行内参标定，获取内参矩阵K₀,K₁,K₂,K₃,K₄,K₅；步骤4：利用黑白格标定板方法，计算标定平面参数N，采用标准线性最小二乘法计算矩阵H：$N·H\widehat{P^l}=\left|\right|N|{|}^2$通过H计算第0号镜头相对于激光扫描测距仪A的标准正交方向矩阵以及位置向量利用非线性优化算法进一步优化方向矩阵以及位置向量同样方法得到第1号镜头与激光扫描测距仪B的标准正交方向矩阵以及位置向量第4号镜头与激光扫描测距仪C的标准正交方向矩阵以及位置向量为激光扫描测距仪获取的点云坐标P^l的简化，步骤5：根据二维地图构建过程中所获取的点集P_t^A到全局世界坐标系的旋转矩阵R_t以及平移矩阵T_t，所述的P_t^A为激光扫描测距仪A在t时刻获取激光点云集合，则在t时刻相机视角对应的位姿参数为：$R_c=\left[\begin{array}{cc}{R}_t& 0\\ 0& 1\end{array}\right],T_c={\left[\begin{array}{cc}{T}_t& 0\end{array}\right]}^T$步骤6：利用二维地图构建过程中使用的ICP算法，获取激光扫描测距仪B或C在t时刻采集的点集P_ti^s(i＝1,2,L,n.s＝B,C)到上一组点集P_t0^s(s＝B,C)所在坐标系的旋转矩阵R_ti0^s和T_ti0^s，计算变换后的点集及$\widehat{P_{ti}^s}={R_{ti0}}^s·{P_{ti}}^s+{T_{ti0}}^s,(i=1,2,L,n.s=B,C)$计算及到第1号镜头及第4号镜头的相机坐标系中的对应点集合：$\widehat{P_{ti}^B}=\left[\begin{array}{cc}{R}_{c1}^l& T_{c1}^l\\ 0& 1\end{array}\right]P^{c1}$$\widehat{P_{ti}^C}=\left[\begin{array}{cc}{R}_{c4}^l& T_{c4}^l\\ 0& 1\end{array}\right]P^{c4}$根据小孔成像模型P_img＝KP_c获取点集P_t1^B,P_t2^B,L,P_tn^B以及P_t1^C,P_t2^C,L,P_tn^C在彩色图像上的对应像素坐标，K表示相机内参标定获取的相机内参矩阵；从而得到点云数据的彩色纹理信息，实现点云数据与图像数据的融合，获取图像数据中部分像素所对应的深度信息；步骤7：计算聚焦平面Π_des上的像素点p_des(x,y)在参考视角坐标系下对应的3维空间点p_ref为：p_ref＝p_desgstep+ws其中step表示在参考视角坐标系下Π_des中一个像素的大小，ws表示Π_des在参考视角坐标系下的起始点，所述的参考视角为每个相机采集的第一帧图像；step可以由以下公式求取：$step=\left[\begin{array}{c}stepx\\ stepy\end{array}\right]=\pm 0.5*(\left[\begin{array}{c}w\\ h\end{array}\right]/\left[\begin{array}{c}{f}_x\\ f_y\end{array}\right])*dep$其中w和h分别表示合成图像的宽和高，f_x和f_y表示相机的焦距，dep表示聚焦平面的深度，计算p_ref在世界坐标系下的对应点p_w：p_w＝R_refgp_ref+T_ref其中R_ref表示参考视角的旋转矩阵，T_ref表示参考视角的平移矩阵，通过对p_w利用针孔相机模型进行投影变换，得到像素点p_des(x,y)在每一个视角下对应的点p_i'，并组成一个点集合表示为P'＝{p₁',p₂',L,p_n'}：其中[R_i|T_i]为第i个视角的旋转矩阵和平移矩阵，如果p_i'在成像平面Π_i上，则可以获得这个点的RGB值，记为c_j，以及深度值d_j，同样方法获取所有投影点的像素值，组成颜色值集合C_des＝{c₁,c₂,L,c_n}和深度值集合D_des＝{d₁,d₂,L,d_n}，根据深度值信息，去除不合理的投影点，采用求取平均值的方式，获取点p_des(x,y)的颜色值，得到遮挡目标的透视成像。