基于时空约束的双目视觉三维形貌测量方法

摘要

本发明基于时空约束的双目视觉三维形貌测量方法属于计算机视觉测量技术领域，涉及一种基于时空约束的双目视觉三维形貌测量方法。该方法针对大型复合材料构件表面形貌，采用激光扫描双目视觉测量系统进行图像采集和图像处理；提取边缘信息，建立约束条件。结合时间维度信息预测光条位置，建立适度的感兴趣提取区域，快速高精度的提取对应左、右光条图像的激光光条中心；对在边界约束内的光条中心信息进行保留，对在约束外的光条中心信息予以剔除。将保留的光条中心信息和边界信息进行匹配和重建，最终还原完整的三维形貌信息。本发明提高了测量效率，测量精度高，检测信息完整，运算速度快，可满足大型零部件表面的三维形貌测量。

主权项

一种基于时空约束的双目视觉三维形貌测量方法，其特征是，该方法针对大型复合材料构件表面形貌，采用基于激光结构光扫描的双目视觉测量系统进行图像采集和图像处理；并对轮廓边界进行边缘提取，建立基于边界信息的光条提取约束条件；结合时间维度信息预测光条位置，建立适度的感兴趣提取区域，快速高精度的提取对应左、右光条图像的激光光条中心；对在边界约束内的光条中心信息进行保留，对在约束外的光条中心信息予以剔除；将保留的光条中心信息和边界信息进行匹配和重建，最终还原完整的三维形貌信息；方法具体步骤如下：第一步对被测物体表面形貌进行图像采集和图像处理，提取轮廓边缘，建立时空约束条件1)轮廓边缘提取方法对于双目视觉测量系统采集的被测物体表面形貌的图像，首先采用Sobel算子进行边缘检测，达到像素级的边缘提取精度；对应图像二维函数f(x,y)的一阶导数表达式为：$G(x,y)={\left[\begin{array}{cc}{G}_x& G_y\end{array}\right]}^T={\left[\begin{array}{cc}\partial f/\partial x& \partial f/\partial y\end{array}\right]}^T---\left(1\right)$其中，G(x,y)为图像二维函数f(x,y)的梯度，G_x和G_y分别是对x和y的偏导数；Sobel算子将方向差分运算与局部平均相结合，利用像素点(x,y)附近的3×3的邻域来计算梯度值，其两个卷积模板为：$G_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],G_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]---\left(2\right)$采用∞范数衡量梯度的幅值|G(x,y)|＝max(|G_x|,|G_y|)，即将两个模板算子的最大值作为该点的输出位；然后计算每一点的梯度值，将梯度最大处定义为边界；2)基于边界信息建立光条提取约束条件根据上述提取到的轮廓边缘点，构成封闭的边界信息,将边界及边界内的二维图像区域定义为边界约束函数R(x,y)，若在边界约束内则赋值为1，在边界约束外赋值为0，即$R(x,y)=\left\{\begin{array}{cc}1,& withinboundary\\ 0,& beyondboundary\end{array}\right.---\left(3\right)$粗提取光条中心时，假设得到的光条中心圆整后为(i,j)；若R(i,j)＝1，则保留其光条中心信息，进而进行光条中心的精提取，若R(i,j)＝0，则去除该部分的光条信息；最后得到的将仅剩有用精确地光条中心信息；3)基于时间维度信息的约束根据激光器的扫描速度和摄像机的采集帧数，初步预测光条的实时位置，建立光条实时位置预测模型，${\phi }_i=\frac{\omega ·i}{f}---\left(4\right)$Δ_i＝dtanα‑dtan(α‑φ_i)  (5)其中，ω为激光器的扫描速度，即转角速度，f为摄像机的采集帧数，φ_i为采集到的第i张光条图像的转角位置，d为激光器到测量对象的垂直距离，α为激光器到测量对象的垂直方向与初始扫描位置之间的夹角，Δ_i为第i张光条图像的实时位置B与初始光条扫描位置A的距离；根据距离Δ_i向左右分别扩展一个光条宽度定义为光条图像的感兴趣区域从而建立光条实时位置约束；第二步光条中心提取方法1)有效光条信息获取根据上述确定的光条图像感兴趣区域，逐行搜索光条的左右边界；利用几何中心法求得每行的光条中心点，$(x_i,y_i)=(\frac{{\mathrm{xl}}_i+{\mathrm{xr}}_i}{2},\frac{{\mathrm{yl}}_i+{\mathrm{yr}}_i}{2})---\left(6\right)$其中，(xl_i,yl_i)、(xr_i,yr_i)分别代表第i行左、右边界点坐标；对几何中心坐标(x_i,y_i)取整得到然后进行边界约束条件检验，即计算若则剔除该光条中心点，若则予以保留进行下一步光条中心精提取；2)精提取光条中心信息以上述得到的光条几何中心为初始点左右搜索光条边界位置，在左右边界的光条宽度上进行灰度重心计算，得到精提取的光条中心；假设左右边界的列区间为(p,q)，则光条灰度重心为$(u_i,v_i)=\frac{\underset{j=p}{\overset{q}{\Sigma }}j·I_{ij}}{\underset{j=p}{\overset{q}{\Sigma }}{I}_{ij}}---\left(7\right)$其中，(u_i,v_i)为第i行光条灰度重心坐标，I_ij为第i行第j列灰度值；第三步三维形貌还原方法根据上述第一、二步得到的结果，利用双目视觉系统左、右摄像机极线约束来完成对应左、右图像边界点和光条中心的匹配；假设左图像边界点或光条中心点x_i'与右图像边界点或光条中心点x_i′′相匹配，根据极线约束条件：x_i^'TFx_i′′＝0  (8)其中，x_i'＝(u_i,v_i)为左摄像机采集的图像边界点或光条中心点的像面坐标；x_i′′＝(u_i',v_i')为与x_i'相匹配由右摄像机所采集图像边界点或光条中心点的像面坐标；F为两摄像机之间的基本矩阵；对上述左、右图像中所有匹配上的边界点和光条中心点进行三维重建，得到边界点和光条中心点在世界坐标系下的三维坐标值，重建公式如下：$\left\{\begin{array}{c}{x}_i=\frac{{{\mathrm{zX}}_i}^{\prime }}{f_1}\\ y_i=\frac{{{\mathrm{zY}}_i}^{\prime }}{f_1}\\ z_i=\frac{f_1(f_2{t}_y-{Y_{i^{\prime }}}^{\prime }{t}_z)}{Y(r_7{X_i}^{\prime }+r_8{Y_i}^{\prime }+r_9{f}_1)-f_2(r_4{X_i}^{\prime }+r_5{Y_i}^{\prime }+r_6{f}_1)}\end{array}\right.---\left(9\right)$其中，假设x_i'＝(X_i',Y_i')，X_i'，Y_i'分别为左摄像机采集的图像边界点或光条中心点x_i'在像面坐标系下的横、纵坐标；x_i′′＝(X_i′′,Y_i′′)，X_i′′，Y_i′′分别为右摄像机采集的图像光斑中心点x_i′′在像面坐标系下的横、纵坐标；f₁、f₂分别为左、右摄像机标定得到的焦距；$\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right]$是右摄像机相对于左摄像机的旋转矩阵，[t_x t_y t_z]是右摄像机相对于左摄像机的平移矩阵，由标定实验得到；则(x_i,y_i,z_i)为重建出来的对应点的三维坐标。