一种基于时间转轴约束的双目视觉测量方法

摘要

本发明属于计算机视觉测量技术领域，涉及一种基于时间转轴约束的双目视觉测量方法。该方法结合电控转台的激光扫描速度和测量时间的计算，建立时间转轴约束，确定特征激光平面的空间精确位置，将图像误差转换为运动与时间的控制误差，实现激光特征信息的高精度重建。测量方法将基于图像的双目测量误差转换为基于时间转轴的控制误差，可使空间测量误差降低一个数量级，提高双目视觉的三维测量精度，并融合序列图像中激光光条重建信息完成被测物表面几何量的测量，实现被测物表面激光光条的高精度重建。

主权项

一种基于时间转轴约束的双目视觉测量方法，其特征是，该方法结合电控转台的激光扫描速度和测量时间的计算，建立时间转轴约束，确定特征激光平面的空间精确位置，从而将图像误差转换为运动与时间的控制误差，实现激光特征信息的高精度重建；首先对双目相机、激光平面初始位置、电控转台转轴位置系统结构参数分别进行标定，然后提取图像中的激光光条特征信息，通过控制激光器扫描的电控平台的扫描速度及相机采集帧频，确定动态序列图像中激光平面的空间精确位置，将双目相机采集的激光特征点与激光所处的空间平面关系建立优化模型，将基于图像的双目测量误差转换为基于时间转轴的控制误差，并融合序列图像中激光光条重建信息完成被测物表面几何量的测量，实现被测物表面激光光条的高精度重建；方法具体步骤如下：第一步结构视觉系统的标定1)双目相机的标定采用张正友的平面靶标标定方法，以靶标平面建立世界坐标系，对系统中的双目相机进行标定，其相机模型如下：$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\alpha }_x& 0& u_0\\ 0& {\alpha }_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\alpha }_x& 0& u_0\\ 0& {\alpha }_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M_1\times M_2\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(1\right)$其中，u,v分别是图像的行列像素坐标值，X_w,Y_w,Z_w代表被测点在世界坐标系里的三维坐标值，X_c,Y_c,Z_c代表被测点在摄像机坐标系里的三维坐标值，M₁为相机内参数矩阵，包括列向量等效焦距α_x、行向量等效焦距α_y、主点的像素坐标(u₀,v₀)，M₂为相机内参数矩阵，包括旋转矩阵R、平移矩阵T，s是未知的尺度因子；根据靶标平面上已知空间三维坐标和二维图像坐标的角点信息，获得双目相机的内参数矩阵及相对平面靶标的外参数矩阵；由于相机镜头存在畸变，基于图像畸变原理计算镜头畸变，其公式如下：$\begin{array}{c}{u}^k=u+(u-u_0)[k_1(x^2+y^2)+k_2{(x^2+y^2)}^2]\\ v^k=v+(v-v_0)[k_1(x^2+y^2)+k_2{(x^2+y^2)}^2]\end{array}---\left(2\right)$其中，u^k,v^k分别是实际径像畸变的情况下的图像行列像素坐标，x,y代表理想无畸变时的连续图像坐标，k₁,k₂为图像畸变系数；最后，采用LM优化方法对相机内外参数及畸变系数进行优化求解；2)激光平面的标定将相机位置和激光器位置保持恒定不变，由于激光器投射的激光平面在空间恒定，且激光在被测靶标平面的投影恒属于激光平面，将平面靶标进行任意移动，通过靶标平面上的激光投影和相机标定结果计算激光平面在全局世界坐标系下的平面方程；首先，在靶标初始位置标定全局世界坐标系的平面靶标位置，投射激光表面，使用相机采集靶标平面上的激光光条信息，无约束移动靶标平面，使用相机采集多张激光光条图像，基于图像畸变公式(2)对图像进行畸变校正；针对校正后的图像，激光光条在i位置的图像像坐标为(uⁱ,vⁱ)，根据公式(3)计算激光光条在摄像机平面上的归一化坐标：$\begin{array}{c}{x}_s^i=(u^i-u_0^i)/{\alpha }_x\\ y_s^i=(v^i-v_0^i)/{\alpha }_y\end{array}---\left(3\right)$根据公式(1)的相机模型推导出公式(4)，求得激光光条在摄像机坐标系下Z轴的坐标值$\left[\begin{array}{c}{X}_w^i\\ Y_w^i\\ Z_c^i\end{array}\right]={\left[\begin{array}{ccc}{r}_{11}^i& r_{12}^i& -x_s^i\\ r_{21}^i& r_{22}^i& -y_s^i\\ r_{31}^i& r_{32}^i& -1\end{array}\right]}^{-1}(-T^i)---\left(4\right)$其中，为激光光条以i位置平面靶标所建立的局部世界坐标系坐标，${\left[\begin{array}{ccc}{r}_{11}^i& r_{21}^i& r_{31}^i\end{array}\right]}^T,{\left[\begin{array}{ccc}{r}_{12}^i& r_{22}^i& r_{32}^i\end{array}\right]}^T$分别为该位置的旋转矩阵R的第1,2列，Tⁱ为该位置的平移矩阵，计算该位置时激光光条在摄像机坐标系下X轴、Y轴的坐标$\begin{array}{c}{X}_c^i=x_s^i·Z_c^i\\ Y_c^i=y_s^i·Z_c^i\end{array}---\left(5\right)$由于相机的位置恒定，即相机坐标系恒定，根据相机坐标与全局世界坐标系的关系计算在不同位置拍摄的激光光条点的全局世界坐标：$\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]=R^{-1}\left[\left[\begin{array}{c}{X}_c^i\\ Y_c^i\\ Z_c^i\end{array}\right]-T\right]---\left(6\right)$其中，X_w，Y_w，Z_w代表被测点在全局世界坐标系里的三维坐标值，R,T分别为全局坐标系相对摄像机坐标系的旋转、平移矩阵，R^‑1为旋转矩阵R的逆阵；根据公式(6)计算出不同位置的激光光条在全局世界坐标系下的三维坐标值，由于激光平面在空间位置相对恒定，这些激光光条点都属于激光平面，因此采用最小二乘法拟合激光平面，其平面方程为：aX_w+bY_w+cZ_w+d＝0   (7)其中，a,b,c,d为平面方程系数；3)激光器旋转轴的标定采用电控转动控制激光投射平面旋转，按照激光平面的标定方法标定旋转后的激光平面，两个平面的交线为旋转轴，其直线方程为：$\left\{\begin{array}{c}{a}_1{X}_w+b_1{Y}_w+c_1{Z}_w+d_1=0\\ a_2{X}_w+b_2{Y}_w+c_2{Z}_w+d_2=0\end{array}\right.---\left(8\right)$其中，a₁,b₁,c₁,d₁为平面π₁的平面方程系数，为平面π₁的法向量；a₂,b₂,c₂,d₂为平面π₂的平面方程系数，为平面π₂的法向量；根据公式(8)求得旋转轴l的方向向量其中，绕旋转轴逆时针至方向，向量与向量夹角为锐角；计算旋转轴l的单位方向向量$\overrightarrow{s_d}=\frac{\overrightarrow{s}}{\left|\overrightarrow{s}\right|}---\left(10\right)$第二步扫描激光光条的采集与提取采用控制装置同步触发双目相机采集与激光器旋转平台旋转，通过双目相机采集激光光条序列图像，获得被测物的三维信息；分别提取图像中的激光光条信息，首先对图像进行滤波处理，然后基于Sobel边缘提取算法计算激光光条边缘，计算公式如下：$\begin{array}{c}g\left(i,j\right)={\left\{d_x^2\left(i,j\right)+d_y^2\left(i,j\right)\right\}}^{\frac{1}{2}}\\ \begin{array}{cc}{d}_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]& d_y=\left[\begin{array}{ccc}-1& 2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\end{array}\end{array}---\left(11\right)$其中，g(i,j)为图像坐标为(i,j)的Sobel边缘检测算子，d_x和d_y分别为计算的卷积模板；按照灰度重心法，计算激光光条中心，其公式如下：$(v_i^l,u_i^l)=\frac{\underset{j=min}{\overset{max}{\Sigma }}{\mathrm{jI}}_{ij}^l}{\underset{j=min}{\overset{max}{\Sigma }}{I}_{ij}^l}---\left(12\right)$其中，为激光光条第i行的灰度重心坐标，为第i行第j列灰度值；min为激光光条在图像每行上的最小列值，max为激光光条在图像每行上的最大列值；第三步基于时间转轴约束的激光平面重建1)基于时间转轴约束的激光平面的重建设定激光平面的初始位置为基准平面，根据标定结果，基准平面方程为a₁X_w+b₁Y_w+c₁Z_w+d₁＝0，根据公式(10)计算平面的单位法向量由于电控转台与相机同步触发，根据电控转台匀角速度为ω，相机响应时间为t，则采集的第h张图像，激光平面逆时针旋转角度为：根据扫描旋转后的平面与基准平面相交线为旋转轴，且两平面夹角为计算扫描旋转后的第h张图像中激光平面的单位法向量根据公式(14)求解得单位法向量$\overrightarrow{n_h}=\left(\begin{array}{ccc}{a}_h& b_h& c_h\end{array}\right);$由于光平面过旋转轴上任意一点，则根据公式(8)取旋转轴上一点p₀＝(x₀ y₀ z₀)，第h张图像中激光平面方程为：a_h(X_w‑x₀)+b_h(Y_w‑y₀)+c_h(Z_w‑z₀)＝0   (15)其中(X_W Y_W Z_W)为全局坐标系下的坐标值，整理公式(15)可推导得：a_hX_w+b_hY_w+c_hZ_w+d_h＝0   (16)其中，a_h,b_h,c_h,d_h为平面π_h的平面方程系数d_h＝‑(a_hx₀+b_hy₀+c_hz₀)；2)双目相机采集点的匹配基于第二步的光条采集和提取分别获得左右相机图像的激光光条中心的灰度重心，然后采用极限约束法对左右图像提取的灰度重心进行匹配，其计算公式如下：(x^l)^TF(x^r)＝0   (17)其中，x^l＝(u^l,v^l)为左相机的灰度重心坐标；x^r＝(u^r,v^r)为与x^l相匹配右图像重心坐标；F为通过八点法计算的两相机之间的基本矩阵；若左右图像中两点满公式(17)，则左右图像中的重心点为匹配点；3)双目视觉测量的三维重建基于双目视觉测量结果与基于时间转轴约束获得的激光平面方程对被测三维点做多重约束，以获得更为准确的三维坐标；首先根据公式(1)推导得相机采集的图像坐标与其实际三维世界坐标满足以下关系：$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=M_1\times M_2\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(17\right)$其中，u,v分别是图像坐标，X_w,Y_w,Z_w代表被测点在世界坐标系里的三维坐标值，Z_c代表在摄像机坐标系下轴的坐标值，M₁、M₂分别为相机内、外参数矩阵，M为投影矩阵；m_ij为投影矩阵M中第i行第j列的值；根据公式(17)推导相机采集激光点的重建方程为：$\left\{\begin{array}{c}{X}_w{m}_{11}+Y_w{m}_{12}+Z_w{m}_{13}+m_{14}-{\mathrm{uX}}_w{m}_{31}-{\mathrm{uY}}_w{m}_{32}-{\mathrm{uZ}}_w{m}_{33}={\mathrm{um}}_{34}\\ X_w{m}_{21}+Y_w{m}_{22}+Z_w{m}_{23}+m_{24}-{\mathrm{vX}}_w{m}_{31}-{\mathrm{vY}}_w{m}_{32}-{\mathrm{vZ}}_w{m}_{33}={\mathrm{vm}}_{34}\end{array}\right.---\left(18\right)$根据相机采集激光点的重建公式(18)以及激光器平面的空间方程即公式(16)对被测点进行多重约束优化求解其空间三维坐标，计算公式如下：$\left\{\begin{array}{c}{X}_w{m}_{11}^l+Y_w{m}_{12}^l+Z_w{m}_{13}^l+m_{14}^l-u^l{X}_w{m}_{31}^l-u^l{X}_w{m}_{32}^l-u^l{Z}_w{m}_{33}^l=u^l{m}_{34}^l\\ X_w{m}_{21}^l+Y_w{m}_{22}^l+Z_w{m}_{23}^l+m_{24}^l-v^l{X}_w{m}_{31}^l-v^l{Y}_w{m}_{32}^l-v^l{Z}_w{m}_{33}^l=v^l{m}_{34}^l\\ X_w{m}_{11}^r+Y_w{m}_{12}^r+Z_w{m}_{13}^r+m_{14}^r-u^r{X}_w{m}_{31}^r-u^r{Y}_w{m}_{32}^r-u^r{Z}_w{m}_{33}^r=u^r{m}_{34}^r\\ X_w{m}_{21}^r+Y_w{m}_{22}^r+Z_w{m}_{23}^r+m_{24}^r-v^r{X}_w{m}_{31}^r-v^r{Y}_w{m}_{32}^r-v^r{Z}_w{m}_{33}^r=v^r{m}_{34}^r\\ a_h{X}_w+b_h{Y}_w+c_h{Z}_w+d_h=0\end{array}\right.---\left(19\right)$其中，为左、右相机投影矩阵M^l、M^r中第i行第j列的值；uⁱ，v^j分别是左相机图像像素值；u^r,v^r分别是右相机图像像素值，且左右图像的像素点为匹配点；X_w,Y_w,Z_w为最终所求被测点的三维坐标，采用上述方法将双目相机采集的激光光条序列图像进行重建，最终获得被测物的三维形面。