倒车影像的三维测量方法

摘要

本发明倒车影像的三维测量方法，涉及3D目标的图像数据处理，利用摄像机模型与射影几何的基本原理，推导出基于倒车影像的三维测量方法，步骤包括制作倒车影像摄像机测量装置、倒车影像系统的标定、摄像机位置的计算、目标高度计算、坐标系变换调整和倒车影像的三维标尺显示。该方法能有效测量路面上目标的高度及三维坐标，同时还能实现倒车影像的二维平面测量功能，克服了倒车影像的二维平面测量中不能测量目标高度的缺点，减少了交通事故的发生。

主权项

1.倒车影像的三维测量方法，其特征在于：利用摄像机模型与射影几何的基本原理，推导出基于倒车影像的三维测量方法，步骤是：第一步，制作倒车影像摄像机测量装置此装置包括：带有棋盘格的abcd的面，abcd所在的平面称为参考平面，将abcd放到地面上，地面成为参考平面，参考平面abcd中的棋盘格由48个黑白正方形组成，每个正方形的尺寸为50cm×50cm，参考平面abcd的边ad为测距线；一个垂直于参考平面abcd的左侧平面cdef，平面cdef上设有九条平行的间隔均为50cm的垂直于参考平面的直线、高度测量线mn和高度测量线ef；高度测量线mn和高度测量线ef均平行于参考平面abcd的边cd，高度测量线mn距离参考平面30cm,高度测量线ef距离参考平面20cm；一个与左侧平面cdef平行的垂直于参考平面abcd的右侧平面abgh，其构成和左侧平面cdef相同；左侧平面cdef能左右移动，根据汽车的宽度不同，通过左右移动左侧平面cdef，来调整参考平面abcd的边ad的长度，即调整测距线的长度；第二步，倒车影像系统的标定采用Matlab相机标定工具箱来进行摄像机标定，具体步骤如下：（1）摄像机采用的是针孔摄像机，准备一张黑白棋盘格的图片，规格为包括13×10个黑白棋盘格方格，每个黑白棋盘格的大小为2cm×2cm，用需要标定的摄像机从不同角度拍摄15张图片，进行角点检测，计算出需要标定的摄像机的内参数，内参数包括x轴和y轴的焦距f_x、f_y和成像原点(u₀,v₀)，内参数矩阵K为$K=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right],$（2）进一步标定摄像机与路面之间的相对几何关系，利用（1）中计算出的内参数，用摄像机正对着第一步制作的倒车影像测量装置拍摄照片，进行角点检测，计算出摄像机的外参数矩阵，该外参数矩阵M由旋转矩阵（R）和平移向量(t)组成，摄像机标定采用的是平面标定法，外参数矩阵简化为M＝[r₁ r₂ t]，其中r₁和r₂为R的前两列，（3）计算出内、外参数，标定完成后，通过图像中参考平面上某点像素与真实场景中某点的对应关系：λ[u v 1]^T＝K[r₁ r₂ t][X Y 1]^T＝H[X Y 1]^T，将公式简化为其中λ为比例因子，H为单应性矩阵，A为参考平面上的点，为在世界坐标系下的坐标,为在摄像机图像上的对应点的坐标，利用单应性矩阵求解出在世界坐标系中的坐标，就可得到参考平面内任意两点间的距离，利用此方法进行参考平面的二维测量；第三步，摄像机位置的计算C点为摄像机的光心，O点为C点在参考平面上的垂点，摄像机在参考坐标系下的三维坐标由对应的旋转矩阵（R）与平移运动矢量（t）确定，及摄像机的光心C在参考平面上的正交投影点O，因为C＝-R^Tt，从而，摄像机的光心C在参考平面上的正交投影点O即沿平面法向量方向投影计算为其中r₁、r₂和r₃为旋转矩阵的3列，摄像机距离参考平面的高度即为两点之间的距离计算出的距离为其中r₃＝r₁×r₂，通过摄像机成像公式，计算出正交投影点O在摄像机图像上的成像点o，根据单应性矩阵因为正交投影点O点的坐标已经得出，所以：通过公式不难看出，该正交投影点O对应在摄像机图像上的点o刚好为参考平面法向量对应的消失点。根据单应性矩阵，通过摄像机图像上的点，两点确定一直线，求解参考平面上任意一条直线到摄像机正交投影点O的距离，进一步得到距离车尾的距离；第四步，目标高度计算根据高度计算方法，设目标点即需要测量其高度的点为P点，P点的背投影点为G点，P点在参考平面的垂点为M，这些点都是世界坐标系中的点，P、C和G三点共线，摄像机图像中的点p，p为P在摄像机图像上的成像点，根据单应性矩阵，总能找到P点的背投影点G，点P与点G在成像平面上图像点重合，根据点p，计算出G点在参考平面的物理坐标：其中根据单应性矩阵，确定G，M，O点在参考平面上的物理坐标，从而确定GM，OM的距离：$\frac{\left|\right|\mathrm{PM}\left|\right|}{\left|\right|\mathrm{CO}\left|\right|}=\frac{\left|\right|\mathrm{GM}\left|\right|}{\left|\right|\mathrm{GO}\left|\right|}$通过上式，计算出目标点P点的高度：$\left|\right|\mathrm{PM}\left|\right|=\frac{\left|\right|\mathrm{GM}\left|\right|}{\left|\right|\mathrm{GO}\left|\right|}\left|\right|\mathrm{CO}\left|\right|$第五步，坐标系变换调整考虑到驾驶员观察影像的习惯问题，需要将坐标系进行变换调整，使得纵坐标轴为车子倒退的方向，而横坐标轴为垂直方向，这种坐标变换通过二维欧氏变换描述，即变换参数包含一个旋转角度与一平移矢量，变换方程为：$\left[\begin{array}{c}{X}^{\prime }\\ Y^{\prime }\end{array}\right]=\left[\begin{array}{cc}\cos \left(\beta \right)& -\sin \left(\beta \right)\\ \sin \left(\beta \right)& \cos \left(\beta \right)\end{array}\right]\left[\begin{array}{c}X\\ Y\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right]$第六步，倒车影像的三维标尺显示利用上述的高度计算方法方法，在原有的二维倒车辅助线，包括测距线和边缘线，其中测距线两边的成对出现的边缘线间的距离与ad相同，确保倒车的安全，在此基础上加入高度标尺，完成倒车影像的三维测量，通过第二步的步骤（1）的方法得到摄像机的内参数，将摄像机置于第一步制作的倒车影像摄像机标定装置的正前方，保持摄像机位置不动，对着标定装置，用摄像机录一段视频，摄像机的内参数根据已经由第一步得出，外参数通过截取视频中的一张图片，进行角点检测，得到外参数，根据高度计算方法，由此恢复视频中实景的目标的高度，在二维测距线的两端加上高度标尺，高度标尺是在垂直于参考平面的直线上取点，通过高度计算方法，求解出它的高度，找到适合的高度后，做出高度标尺，并标出刻度。通过opencv软件将二维测距线、边缘线和高度标尺加入视频中，并通过显示器显示出来，其中，不同的车的宽度不同，而且能极限通过障碍物的高度也不相同，根据车型调整第一步制作的倒车影像摄像机标定装置的左侧平面cdef的位置，使之适合该车的宽度，高度标尺的高度也根据车型的不同做出调整。