一种基于激光点云与全景影像的交互式测图方法

摘要

本发明公开了一种基于激光点云与全景图像的交互式测图方法，它包括正向交互或/和反向交互测图步骤，正向交互步骤是从全景图像像素坐标定位到激光点坐标；反向交互步骤是从激光点坐标定位到全景图像像素坐标。本发明在正向交互时，从全景图像中确认测图对象，具有直观、清晰、明确的特点。在反向交互时，利用缓冲方法交互获得指定激光点，利用坐标转换参数转为空间直角坐标，并利用空间检校参数、全景点GPS坐标和空间姿态信息计算全景图像像素坐标，从而在全景图中显示激光点对应的方位。

主权项

一种基于激光点云与全景图像的交互式测图方法，其特征在于，它包括正向交互或/和反向交互测图步骤，正向交互步骤是从全景图像像素坐标定位到激光点坐标；反向交互步骤是从激光点坐标定位到全景图像像素坐标；其中：所述的正向交互步骤是：第一步、首先利用全景图像空间姿态信息以及坐标转换参数，将图像像素坐标转为三维地方坐标p₁；同时计算该全景拍摄点的三维地方坐标o₁；具体为：第1.1步：获取全景图像的像素坐标，建立图像像素坐标与空间直角坐标的转换关系：第1.1.1步：将全景像素坐标P_r(X,Y)转换为像空间坐标P_r′(X,Y,0)，其中P_r(X,Y)坐标系为以全景图像左下角为原点的笛卡尔直角坐标系；0<X<w，w为全景图像的横向像素数；0<Y<h，h为全景图像的纵向像素数；第1.1.2步：将像空间坐标P_r′(X,Y,0)转换为全景球空间坐标P_sp(X_sp,Y_sp,Z_sp)定义全景球空间坐标系，以球心为原点，设该球半径为R，建立像空间坐标系与全景球空间坐标系的转换关系，转换公式为：ψ＝X/R；θ＝Y/R；X_sp＝R*sin(θ)*cos(ψ)；Y_sp＝R*sin(θ)*sin(ψ)；Z_sp＝R*cos(θ)；由上述转换公式将像空间坐标P_r′(X,Y,0)转换为全景球空间坐标P_sp(X_sp,Y_sp,Z_sp)；第1.1.3步：将全景球空间坐标P_sp(X_sp,Y_sp,Z_sp)转换为组合导航系统坐标获取全景相机与组合导航系统的空间检校参数，取逆时针方向为正，设X、Y、Z轴对应的旋转矩阵为R_Z,R_X,R_Y，球在物方坐标系下的6个外方位元素为ω、κ、ΔX、ΔY、ΔZ，其中ΔX、ΔY、ΔZ分别表示X、Y、Z轴的三个偏移量，ω、κ分别表示绕Z、X、Y轴的三个旋转角；则全景球空间坐标与组合导航系统坐标的转换关系为：${\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]}_{imu}=R_Z{R}_X{R}_Y\left[\begin{array}{c}x\\ y\\ z\end{array}\right]+\left[\begin{array}{c}\Delta X\\ \Delta Y\\ \Delta Z\end{array}\right]=R_1\left[\begin{array}{c}{X}_{sp}\\ Y_{sp}\\ Z_{sp}\end{array}\right]+\left[\begin{array}{c}\Delta X\\ \Delta Y\\ \Delta Z\end{array}\right],R_1=\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right],$其中，通过上述转换关系将全景球空间坐标P_sp(X_sp,Y_sp,Z_sp)转换为组合导航系统坐标P_imu(X_imu,Y_imu,Z_imu)；第1.1.4步：将组合导航系统坐标P_imu(X_imu,Y_imu,Z_imu)转换为空间直角坐标获取IMU测量的当前全景的惯导信息，包括全景拍摄时的空间姿态角侧滚角R、俯仰角P、偏航角H和拍摄点空间直角坐标下的经度L、纬度B；其中R代表惯导x轴与水平方向之间的夹角，P代表惯导y轴与水平方向之间的夹角，H代表惯导前进方向与正北方向之间的夹角；则设R、P、H分别为r、p、y，绕z轴旋转y；再绕x轴旋转p；最后绕y轴旋转r；则有：${\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]}_l=R_b^l{\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]}_{imu}$其中设该点在普通地表坐标系下的坐标为[X Y Z]_e^T(在惯导信息中记录着该值)；先绕x轴旋转再绕z轴旋转则有：${\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]}_e=R_l^e{\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]}_l+{\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]}_{oe}$其中：$\begin{array}{c}{R}_l^e=R_Z\left(-\frac{\pi }{2}-L\right)R_X\left(-\frac{\pi }{2}+B\right)\\ =\left[\begin{array}{ccc}\cos \left(\frac{\pi }{2}+L\right)& -\sin \left(\frac{\pi }{2}+L\right)& 0\\ \sin \left(\frac{\pi }{2}+L\right)& \cos \left(\frac{\pi }{2}+L\right)& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left(\frac{\pi }{2}-B\right)& -\sin \left(\frac{\pi }{2}-B\right)\\ 0& \sin \left(\frac{\pi }{2}-B\right)& \cos \left(\frac{\pi }{2}-B\right)\end{array}\right]\\ =\left[\begin{array}{ccc}-\sin L& -\sin B\cos L& \cos B\cos L\\ \cos L& -\sin B\sin L& \cos B\sin L\\ 0& \cos B& \sin B\end{array}\right]\end{array}$${\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]}_{oe}=\left[\begin{array}{c}(N+h)\cos B\cos L\\ (N+h)\cos B\sin L\\ (\frac{b^2}{a^2}N+h)\sin B\end{array}\right]$其中，a为WGS84椭球参数的长半轴(6378137米)；b为WGS84椭球参数的短半轴(6356752.314米)；${\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]}_{oe}=\left[\begin{array}{c}\left(N+h\right)\cos B\cos L\\ \left(N+h\right)\cos B\sin L\\ \left(\frac{b^2}{a^2}N+h\right)\sin B\end{array}\right]=\left[\begin{array}{c}\left(\frac{a}{\sqrt{1-e^2{\sin }^{2}B}}+h\right)\cos B\cos L\\ \left(\frac{a}{\sqrt{1-e^2{\sin }^{2}B}}+h\right)\cos B\sin L\\ \left(\frac{b^2}{a^2}\frac{a}{\sqrt{1-e^2{\sin }^{2}B}}+h\right)\sin B\end{array}\right]$则为转换得到的空间直角坐标；第1.1.5步：最后，利用坐标转换参数，将空间直角坐标转换为三维地方坐标；第1.2步：获取当前全景图像的宽度为w，高度为h，w、h单位为像素，则全景中心点的像素坐标为(w/2,h/2)，按照1.1.1—1.1.4步骤中描述的全景图像像素坐标转空间直角坐标的处理过程，先将全景图像像素坐标转为空间直角坐标，再根据1.1.5步骤利用坐标转换参数转为三维地方坐标o₁；第二步、由o₁、p₁构建空间三维直线线段l′，并基于该线段计算平面投影缓冲区；获取该缓冲范围内的激光点集PC；具体为：第2.1步：利用两三维空间点o₁(Xo₁,Yo₁,Zo₁)与p₁(Xp₁,Yp₁,Zp₁)，构造空间直线l；以向量模式进行处理，以o₁为向量的初始点，p₁为指向点，因此计算其单位方向向量v为:其中Lo₁p₁为o₁与p₁的三维空间距离；第2.2步：基于l的向量的Z分量，按照不同情况计算，获取指定线段；对于l上的一点P′：如果有Zp₁≥Zo₁，则：P′＝(Xo₁+v[0]*L_v,Yo₁+v[1]*L_v,Zo₁+v[2]*L_v)其中L_v为最大搜索长度；如果有Zp₁<Zo₁，则：首先计算全景拍摄点的地面高程：Z_g＝Zo₁‑H_c，其中H_c为设备的相机高度；设平面P_g为经过(0,0,Z_g)点的水平面，则P′为l与P_g的交点；进一步计算当前P′与o₁的空间距离L_P′O1，如果L_P′O1>L_v，则P′＝(Xo₁+v[0]*L_v,Yo₁+v[1]*L_v,Zo₁+v[2]*L_v)由o₁与P′作为两个顶点构成线段l′；第2.3步：将三维线段l′进行投影处理，得到二维平面线段l″；获得经过l″的一个端点且垂直于l″的线段l_v1，其长度为d*4，d为激光点云数据的抽稀间距，且被该端点平分；使用同样的方法获得经过l″的另一个端点的垂线段l_v2；由l_v1与l_v2四个端点形成的矩形，作为线段的平面投影缓冲区；第2.4步：基于矩形缓冲区，利用空间查询方法，获取该平面范围内的激光点集合PC；第三步、遍历激光点集中的点，获取距l′的距离小于阈值的备选点集合；进一步筛选出该集合中距离全景拍摄点最近的点，以该点的坐标作为全景图像像素坐标对应的激光点坐标；具体为：第3.1步：遍历激光点集合PC中的每个点pcp(X_pcp,Y_pcp,Z_pcp)，计算其到直线l的空间直线距离L_pcp；如果L_pcp<L_n则将该点云点放入备选点集合PC′；其中L_n为点云点到l的距离阈值，L_n＝d*2，d为点云数据的抽稀间距；第3.2步：遍历点云点集合PC′中的每个点pcp′，计算其到o₁的空间直线距离，则与o₁距离最近的点为最终所求点，其坐标即为测图坐标；所述的反向交互步骤如下：第一步、首先交互获取激光点三维地方坐标和时间属性，然后根据时间属性值确定对应的全景图像及其空间姿态信息；具体为：第1.1步：交互获取地方二维坐标p_l，创建以该点为中心且边长为d*4的正方形缓冲区，基于该缓冲区进行激光点云的空间查询，获得该范围内的激光点集合C；其中d为激光点云数据的抽稀间距；第1.2步：遍历该集合中的每个点云点P_i(1<i<N)，分别计算其与p_l的平面直线距离，获得距离值最小的激光点P。读取P点包含的时间信息，从惯导信息文件中获取包含该时间的全景图像及其信息，信息包括全景拍摄点GPS坐标以及空间姿态信息；第二步、利用坐标转换参数将激光点三维地方坐标转为空间直角坐标；第三步、利用全景的GPS坐标全景图像及空间姿态信息，将空间直角坐标转为全景像素坐标，该坐标即为激光点坐标对应的图像像素坐标；具体为：第3.1步：将空间直角坐标转为组合导航系统坐标利用当前全景对应的惯导数据中的侧滚角R、俯仰角P、偏航角H以及拍摄点空间直角坐标下的经度L和纬度B，结合普通地表坐标系统，基于矩阵运算，根据技术方案正向交互步骤的1.1.4步的计算公式进行逆运算，将空间直角坐标转为组合导航系统坐标；第3.2步：将组合导航系统坐标转为全景球空间坐标利用组合导航系统的空间检校参数ΔX、ΔY、ΔZ、ω、κ六个参数，基于步骤1.1.3中矩阵的逆运算，构建组合导航系统与全景球空间坐标系统的转换关系，将组合导航系统坐标转为全景球空间坐标；第3.3步：将全景球空间坐标转为全景图像像素坐标设全景球空间坐标的半径为R，全景球空间坐标为(X_sp,Y_sp,Z_sp)，则如果X_sp>0，有Lon＝π+arccos(Y_sp/R)如果X_sp≤0，有Lon＝π‑arccos(Y_sp/R)Lat＝arcsin(Z_sp/R)再将(Lon,Lat)转为(X,Y)：X＝Lon/(π*2)Y＝(lat+π/2)/π(X*w,Y*h)即全景图像像素坐标，其中w为全景图像宽度即横向像素数，h为全景图像高度即纵向像素数。